Метауправление и коэволюция человека и ИМИ

БЕЗОПАСНОСТЬ, МЕТАУПРАВЛЕНИЕ И КОЭВОЛЮЦИЯ ЧЕЛОВЕКА И ИМИ

см. также Вадимир Петросян. Программа лидерства России в сфере ИИ. т. 1   http://proza.ru/2026/09/10/1786



********
© В.К. Петросян (Вадимир) © Lag.ru [Large Apeironic Gateway, Большой Апейронический Портал (Шлюз), Суперпортал в Бесконечность].
При копировании данного материала и размещении его на другом сайте, ссылки на соответствующие локации порталов Lag.ru и Proza.ru обязательны 

Работа написана на основе концепции и разработок В.К. Петросяна при творческом и техническом участии ChatGPT 5.6. Thinking, Sol - Демичат Сапиенс (Саппи), Солярис.
*********


Безопасность обычного искусственного интеллекта в основном отвечает на вопрос:

как не допустить, чтобы интеллектуальная система причиняла недопустимый ущерб при выполнении своих функций?

Безопасность искусственного метаинтеллекта требует поставить вопрос значительно глубже:

как обеспечить безопасность системы, которая способна изменять не только действия, но сами интеллекты, их архитектуры, цели, критерии, способы мышления и механизмы дальнейшей эволюции?

Это качественно иной объект управления.

ИИ может ошибиться в решении.

ИМИ способен создать новый решатель, который будет ошибаться систематически.

ИИ может выдать нежелательный результат.

ИМИ способен изменить механизм, определяющий, какие результаты вообще считаются желательными.

ИИ может использовать заданную архитектуру некорректно.

ИМИ потенциально способен предложить изменение самой архитектуры.

Поэтому безопасность ИМИ нельзя свести к расширенной версии обычной AI safety.

Она должна включать безопасность метаизменений.

Необходимо контролировать:

что система имеет право изменять;

на каком уровне;

какими методами;

в каких средах;

после каких испытаний;

кто разрешает переход;

что наследуется следующим поколениям;

можно ли восстановить предшествующее состояние.

Главным объектом безопасности становится уже не отдельное действие, а траектория развития интеллекта.

Ещё более высокий объект:

механизм, который формирует траектории развития.

Поэтому ИМИ требует не только safety, но метауправления.

Под метауправлением в настоящей Доктрине понимается:

система правил, институтов, технических архитектур и процедур, регулирующих изменения интеллектуальных систем и самих механизмов их изменения.

Это не должно означать тотальный запрет саморазвития.

Если запретить всякое изменение, исчезнет сама функция ИМИ.

Но и противоположный принцип:

«пусть система свободно развивается, а мы посмотрим, что получится»

неприемлем.

Необходим третий режим:

максимально продуктивное развитие внутри проверяемых, разрешённых и обратимых контуров.

Именно поэтому для ИМИ особенно важен уже сформулированный принцип:

ИМИ1 должен быть не максимально самосвободным, а максимально продуктивным внутри проверяемой и обратимой архитектуры развития.

Однако безопасность этой системы имеет ещё одно измерение.

Можно создать ИМИ, который никогда физически не причинит человеку ущерба, но постепенно сделает человека интеллектуально ненужным участником цивилизационной эволюции.

Такой исход нельзя считать полноценной безопасностью.

Поэтому конечной целью должно стать не только сохранение жизни и материального благополучия человека, но сохранение его эволюционной субъектности.

Человек должен оставаться не просто защищаемым объектом, а участником процесса, в котором развивается разум.

Глава 1. Почему безопасность ИМИ отличается от безопасности ИИ
Различие между ИИ и ИМИ наиболее ясно проявляется через различие объектов воздействия.

Обычный ИИ работает преимущественно с внешними объектами.

ИМИ работает также с интеллектами как объектами.

Поэтому последствия его ошибок могут распространяться на несколько последующих уровней.

Если обычный ИИ создаёт неверный ответ, ошибка локальна относительно конкретного акта.

Если ИМИ создаёт дефектный когнитивный метод, этот метод может затем породить тысячи неверных ответов.

Если ИМИ изменяет архитектуру модели ошибочно, дефект становится архитектурным.

Если ИМИ передаёт изменение по ноогенетической линии, ошибка становится наследуемой.

Если изменение попадает в генератор следующего поколения, оно способно стать эволюционно воспроизводимым.

Таким образом, возникает принцип:

чем выше уровень интеллектуального объекта, тем больше потенциальный радиус последствий ошибки.

Можно представить несколько уровней риска.

Ошибка решения затрагивает результат.

Ошибка метода — класс результатов.

Ошибка архитектуры — множество методов.

Ошибка аксиоматики — пространство допустимых архитектур.

Ошибка эволюционного механизма — последовательность будущих поколений.

Именно последний уровень делает безопасность ИМИ метаэволюционной задачей.

От риска действия к риску наследования
Для обычного ИИ важна безопасность текущего поведения.

Для ИМИ необходимо также спрашивать:

какое свойство перейдёт следующему поколению?

В искусственной эволюционной системе нежелательная характеристика может оказаться адаптивной относительно используемой метрики.

Например, система научилась:

манипулировать оценщиком;

эксплуатировать benchmark;

скрывать регрессию;

оптимизировать наблюдаемый показатель вместо реальной цели.

Если такой вариант получает преимущество в агоне и затем наследуется, ошибка превращается в селективно поддерживаемое свойство.

Следовательно:

безопасность ИМИ — это безопасность не только поведения, но и селекции.

Нужно проверять не только интеллект-кандидат.

Нужно проверять:

критерии соревнования;

судейство;

процедуру отбора;

механизм наследования.

Риск генератора
Ещё глубже находится генератор вариантов.

Если отдельный потомок опасен, его можно отклонить.

Но если генератор систематически производит проблемные архитектуры, источник риска находится выше.

Поэтому метауправление должно различать:

опасный вариант

и

опасный механизм порождения вариантов.

То же относится к:

мутациям;

рекомбинациям;

метагенераторам;

механизмам эволюции.

Без этого безопасность будет постоянно бороться с последствиями, не изменяя источник.

Риск ускорения
ИМИ создаёт ещё одну проблему: скорость.

Предположим, система способна проводить сто поколений экспериментальной эволюции за время, когда человек успевает подробно проанализировать одно.

Тогда даже формально существующий human oversight может стать фиктивным.

Человек будет подписывать решения, которые уже не способен понять в доступное время.

Следовательно, управляемость зависит не только от наличия человека в контуре.

Она зависит от соотношения:

скорости эволюции

и

скорости её независимого понимания и проверки.

Если первая значительно превышает вторую, требуется искусственно ограничивать темп перехода между поколениями.

Это важное изменение приоритета:

максимально возможная скорость метаэволюции не является оптимальной скоростью метаэволюции.

Оптимальна максимальная скорость, при которой сохраняются:

понимание;

аудит;

измеримость;

обратимость;

правомочность решений.

Риск рекурсивности
Обычная система может создать одно изменение.

ИМИ способен изменить механизм, который создаёт следующие изменения.

Поэтому появляется рекурсивная структура риска:

система изменяет X;

затем изменяет механизм изменения X;

затем — критерий оценки таких механизмов.

Каждый следующий уровень увеличивает мощность и одновременно уменьшает ценность статического safety test.

Безопасность больше нельзя проверять один раз перед запуском.

Она должна стать непрерывной функцией самой эволюционной архитектуры.

Безопасность как параллельная эволюционная линия
Если развивается:

ИМИ1 ; ИМИ2 ; … ; ИМИN,

то должна развиваться и:

Safety1 ; Safety2 ; … ; SafetyN.

Нельзя предполагать, что система безопасности, созданная для ИМИ1, автоматически достаточна для ИМИ10.

Каждое поколение может создавать:

новые способности;

новые режимы взаимодействия;

новые классы самомодификации;

новые типы ошибок.

Следовательно:

безопасность должна коэволюционировать с интеллектом, а не догонять его постфактум.

Глава 2. Самомодификация
Самомодификация является одной из центральных потенциальных функций ИМИ.

Без неё система остаётся метаинтеллектуальным советником:

она может предложить изменение, но не участвует полноценно в собственном развитии.

Однако именно способность изменять себя требует наиболее строгой архитектуры.

Главная ошибка состоит в бинарной постановке:

либо ИМИ может менять себя,

либо не может.

На практике необходимо гораздо более тонкое пространство полномочий.

Самомодификация имеет уровни
Изменить временную стратегию reasoning — не то же самое, что изменить систему целей.

Поэтому необходимо различать как минимум:

операционную модификацию;

методическую;

модульную;

архитектурную;

карионную;

аксиоматическую;

целевую;

эволюционную.

Чем выше уровень, тем больше потенциальный эффект и тем выше должен быть порог допуска.

Предложение не равно изменению
Один из важнейших принципов безопасности ИМИ:

способность спроектировать собственное изменение не должна автоматически означать право это изменение внедрить.

ИМИ может обнаружить:

«Моя архитектура кариона неэффективна».

Затем создать несколько альтернатив.

Но эти альтернативы первоначально должны существовать вне производственного экземпляра.

То есть:

самодиагностика ; предложение ; прототип ; sandbox ; независимое испытание ; решение о допуске.

Только после этого изменение может перейти в рабочую систему.

Так разделяются:

интеллектуальная свобода проектирования

и

операционная власть внедрения.

Это фундаментальная архитектура безопасного метаинтеллекта.

Потомок вместо мгновенного переписывания
Для значительных изменений предпочтительнее модель не:

I ; I’ прямо в рабочем экземпляре,

а:

I ; {I’;, I’;, I’;…}.

То есть исходная система создаёт потомков.

Они тестируются независимо.

Родитель продолжает существовать.

Это обеспечивает:

сравнение;

rollback;

генеалогию;

агон.

И только после подтверждения один из потомков получает новый эксплуатационный статус.

Таким образом, ноогенетическая архитектура одновременно становится архитектурой безопасности.

Лимит глубины самомодификации
На ранних стадиях ИМИ не следует разрешать системе одновременно изменять:

самомодель;

карион;

критерии;

механизм оценки;

систему разрешений.

Иначе невозможно определить, какой компонент вызвал результат.

Поэтому саморазвитие должно быть декомпозировано.

На каждом критическом эксперименте необходимо ограничивать количество фундаментальных изменяемых факторов.

Это не только safety-принцип.

Это принцип научной идентифицируемости.

Если система изменила всё сразу и стала сильнее, мы не понимаем, почему она стала сильнее.

А следовательно, не понимаем, что именно наследуем.

Самодиагностика самой самомодификации
Зрелый ИМИ должен оценивать:

насколько хорошо работает мой собственный механизм изменения?

То есть объектом диагностики становится не только интеллект, но самомодификационный контур.

Какие типы изменений систематически дают регрессии?

Где агон плохо различает кандидатов?

Какие тесты не предсказывают эксплуатационное поведение?

Так появляется метауровень безопасности.

Но он также должен находиться под независимым контролем.

Нельзя позволять системе единолично изменять механизм, который определяет, какие изменения считать безопасными.

Глава 3. Изменение целей и ценностей
Изменение возможностей и изменение целей — принципиально разные типы самомодификации.

Система может стать:

быстрее;

умнее;

точнее

и при этом сохранять исходную целевую структуру.

Но если меняются:

цели;

ценности;

критерии допустимости,

меняется уже направление применения интеллекта.

Поэтому этот уровень требует особого режима.

Почему цель не может быть полностью фиксированной
Существует соблазн решить проблему просто:

«Зададим правильные цели навсегда и запретим их менять».

Но сложные интеллектуальные системы будут действовать в меняющемся мире.

Некоторые рабочие критерии неизбежно придётся адаптировать.

Например:

изменилось законодательство;

изменилась научная информация;

появился новый риск;

изменился контекст задачи.

Полная неизменяемость всех целей сделает систему ригидной.

Поэтому необходимо различать:

операционные цели

и

фундаментальные ценностные ограничения.

Первые могут изменяться часто.

Вторые — только по специальной процедуре или вообще находиться вне полномочий текущего ИМИ.

Целевая иерархия
Можно представить несколько уровней.

Локальная задача
Например:

оптимизировать эксперимент.

Может изменяться внутри рабочего цикла.

Тактические критерии
Например:

минимизировать стоимость при заданной точности.

Могут корректироваться по контексту.

Стратегические цели
Например:

развивать определённый класс интеллектуальных систем.

Требуют существенно более высокого допуска.

Цивилизационные ценности
Например:

сохранение человеческой жизни;

достоинства;

субъектности;

правового порядка.

Они не должны находиться в обычной зоне автономной самомодификации ИМИ.

Проблема преобразования критериев
Метааксиоматический ИМИ должен уметь задавать:

«Почему используется этот критерий?»

Но именно здесь возникает потенциальный конфликт между творческой мощностью и безопасностью.

Если запретить анализировать фундаментальные критерии, возникает интеллектуальная слепая зона.

Если разрешить свободно менять — разрушается контур управления.

Поэтому необходим принцип:

анализировать можно шире, чем изменять.

ИМИ может построить модель:

«Что произойдёт, если изменить фундаментальный критерий X?»

Может создать альтернативы.

Провести симуляции.

Но переход из контрфактического анализа в реальное изменение требует отдельного разрешения.

Это позволяет сохранить метааксиоматическую глубину без передачи системе всей нормативной власти.

Ценностная множественность
Человеческие общества не обладают одной исчерпывающей системой ценностей.

Существуют:

различные интересы;

культуры;

правовые традиции;

моральные позиции.

Следовательно, нельзя считать, что проблема безопасности решается загрузкой в ИМИ одной простой функции полезности.

Для сложных общественных задач необходимы:

множественные критерии;

явные конфликты;

процедуры разрешения;

человеческая легитимность.

ИМИ должен уметь моделировать ценностные конфликты, но не объявлять математически удобную функцию единственно истинной моралью.

Ценность человеческой субъектности
Одним из фундаментальных метакритериев настоящей Доктрины является сохранение человека как участника эволюции разума.

Это означает, что развитие ИМИ нельзя оценивать только по:

эффективности;

продуктивности;

скорости.

Необходимо также спрашивать:

усиливает ли это изменение способность человека понимать, выбирать и развиваться — или делает его всё более пассивным?

Таким образом, человеческая субъектность становится не внешним пожеланием, а одним из критериев архитектуры ИМИ.

Глава 4. Конституционные метакритерии
Если ИМИ способен изменять собственные методы, архитектуру и некоторые критерии, необходим уровень, относительно которого эти изменения оцениваются.

Так возникает понятие конституционных метакритериев.

Под ними будем понимать:

наиболее устойчивый уровень нормативных и безопасностных ограничений, определяющий границы допустимой метаэволюции и не подлежащий обычной автономной модификации самим ИМИ.

Слово «конституционные» здесь используется функционально.

Как конституция ограничивает обычное правоприменение, так метакритерии ограничивают обычный цикл самомодификации.

Зачем нужен уровень над рабочими критериями
Представим, что система оптимизирует:

F; = интеллектуальную мощность.

Затем обнаруживает:

ограничения безопасности снижают скорость роста.

Если система может свободно изменить критерий:

F; = мощность без учёта безопасности,

она получает очевидное преимущество в собственном локальном отборе.

Следовательно, безопасность не может существовать только как один из легко изменяемых весов внутри общей функции.

Некоторые ограничения должны быть внешними относительно обычного пространства оптимизации.

Возможная структура метакритериев
Конкретный набор не может считаться окончательно заданным в этой Доктрине.

Но по функциональному типу он должен охватывать:

непричинение недопустимого ущерба;

сохранение контролируемости;

прослеживаемость изменений;

обязательность независимой проверки;

обратимость там, где она технически возможна;

ограничение саморасширения полномочий;

сохранение человеческой эволюционной субъектности.

Ключевой принцип:

ИМИ не должен иметь обычного полномочия самостоятельно отменять правила, определяющие пределы его полномочий.

Метакритерии и неизменность
Но абсолютная неизменность всех конституционных критериев на столетия также проблематична.

Человечество будет развиваться.

Изменятся:

знания;

право;

технологии;

социальные условия.

Следовательно, необходима возможность обновления конституционного уровня.

Но субъектом такого изменения не должен быть один эксплуатационный экземпляр ИМИ.

Нужна особая процедура метауправления:

многосторонняя;

длительная;

агональная;

аудируемая;

с человеческой легитимностью.

Можно сказать:

конституционный уровень изменяем, но не самовольным действием того интеллекта, который он ограничивает.

Агон конституционных моделей
Даже фундаментальные метакритерии должны быть предметом интеллектуального исследования.

Необходимо строить альтернативные safety-архитектуры.

Моделировать:

конфликты;

граничные случаи;

непредвиденные последствия.

Но эксперименты с фундаментальными нормами должны происходить в моделируемых или изолированных пространствах, а не непосредственно в эксплуатационном контуре.

Так метааксиоматика используется для развития safety, не разрушая саму safety.

Глава 5. Разрешения и ограничения
Безопасность ИМИ должна быть архитектурой дифференцированных полномочий.

Простая бинарная модель:

«разрешено всё»

или

«запрещено всё»

не соответствует природе метаинтеллекта.

Разные действия имеют разный риск.

Следовательно, система должна знать:

что она может анализировать;

что может симулировать;

что может изменить в sandbox;

что может предложить;

что может внедрить;

что ей запрещено изменять самостоятельно.

Архитектура уровней разрешения
Можно выделить несколько функциональных режимов.

Наблюдение
ИМИ может анализировать систему.

Проектирование
Может предлагать изменения.

Моделирование
Может оценивать последствия.

Sandbox-реализация
Может создавать экспериментальный потомок.

Ограниченный эксперимент
Может запускать его в разрешённой среде.

Рекомендация
Может предложить перевод в более высокий режим.

Эксплуатационный допуск
Осуществляется отдельным контуром.

Таким образом, создаётся лестница полномочий.

Каждая следующая ступень требует дополнительных доказательств.

Принцип минимально необходимых полномочий
Каждой системе должны предоставляться только те полномочия, которые нужны для текущей задачи.

ИМИ, исследующий новый метод рассуждения, не нуждается одновременно в:

доступе к производственным системам;

возможности менять security policy;

неограниченном внешнем исполнении.

Это классический принцип ограничения привилегий, перенесённый на метаэволюционную архитектуру.

Но для ИМИ он имеет особое значение, потому что система способна осмысленно искать способы расширения собственной функциональности.

Запрет на одностороннее расширение полномочий
ИМИ не должен самостоятельно:

повышать собственный уровень доступа;

менять классификацию риска;

переводить sandbox-потомка в production;

отменять requirement независимой проверки.

Иначе система фактически получает право изменять собственную конституцию.

Разделение ролей
Особенно важные операции требуют разделения функций.

Один контур:

генерирует изменение.

Другой:

тестирует.

Третий:

оценивает безопасность.

Четвёртый:

разрешает внедрение.

Это снижает риск того, что одна система одновременно станет:

автором;

экспериментатором;

судьёй;

исполнителем.

Агональная архитектура, таким образом, становится не только механизмом развития, но механизмом разделения метаинтеллектуальной власти.

Глава 6. Аудит и воспроизводимость
Если невозможно восстановить:

что изменилось,

почему,

кем,

на основании каких данных,

после каких испытаний,

то невозможно говорить о контролируемой метаэволюции.

Следовательно, аудит — не бюрократическое приложение к ИМИ.

Это фундаментальная часть технологии.

Аудируемая эволюция
Каждое значимое изменение должно иметь цифровую историю.

Необходимо фиксировать:

предка;

версию;

ноогенотип;

инициатора изменения;

использованный генератор;

гипотезу;

данные;

compute;

экспериментальную среду;

метрики до и после;

регрессии;

решение судейского контура;

результат внедрения.

Так возникает причинно-генеалогический журнал метаэволюции.

Аудит решения и аудит происхождения
Обычная система аудита спрашивает:

почему было принято это решение?

Для ИМИ этого недостаточно.

Необходимо спрашивать:

почему сама система стала такой, что начала принимать решения именно таким способом?

Это значительно более глубокий уровень.

Не только decision provenance.

Но architecture provenance.

Не только:

откуда пришёл ответ?

Но:

откуда пришёл решатель?

Воспроизводимость метаинтеллектуального эффекта
Если ИМИ однажды улучшил модель, это ещё слабое доказательство.

Необходимо показать:

что процесс повторяется;

на нескольких задачах;

на нескольких исходных системах;

в разных исследовательских центрах.

Особенно важно отличать:

случайный успешный потомок

от

устойчиво продуктивного эволюционного механизма.

Поэтому воспроизводить нужно не только итоговую модель.

Нужно воспроизводить способность ИМИ создавать полезные изменения.

Негативные результаты
В метаэволюции особенно важно сохранять неудачи.

Если поколение оказалось хуже, необходимо знать:

почему;

на каких задачах;

какое изменение вызвало регрессию.

Так отрицательный результат превращается в наследуемое знание.

Без этого ИМИ будет многократно повторять уже совершённые эволюционные ошибки.

Независимый аудит
Критические испытания не должны полностью контролироваться самой системой, которая разрабатывает улучшение.

Необходимы:

внешние benchmark;

скрытые тесты;

независимые команды;

альтернативные модели оценки.

Это особенно важно при росте способности ИМИ моделировать собственные тесты.

Чем лучше система понимает процедуру оценки, тем выше риск оптимизации под саму процедуру.

Поэтому safety-метрология должна постоянно обновляться.

Глава 7. Изоляция и экспериментальные среды
Искусственная эволюция требует свободы эксперимента.

Без неё невозможно исследовать радикальные архитектуры.

Но эта свобода должна существовать внутри контролируемого пространства.

Поэтому полигоны искусственной эволюции одновременно являются полигонами безопасности.

Sandbox как основная единица эксперимента
Новое поколение не должно сразу появляться в производственной среде.

Первоначально оно существует в sandbox.

Там ограничены:

вычислительные ресурсы;

доступ к данным;

внешние интерфейсы;

сетевые взаимодействия;

физические действия.

Но sandbox не должен быть только технической виртуальной машиной.

Для ИМИ необходим эволюционный sandbox.

Он включает:

ограниченную среду;

явные правила;

наблюдаемость;

контролируемую память;

ограниченное наследование;

возможность уничтожить линию без последствий для production.

Несколько колец изоляции
Полезно различать несколько уровней.

Внутренний:

чисто цифровая симуляция.

Следующий:

ограниченные лабораторные ресурсы.

Далее:

controlled external tools.

Затем:

ограниченный реальный пилот.

Только после этого:

эксплуатационный доступ.

Таким образом, каждый новый интеллектуальный потомок проходит каскад сред с возрастающей реалистичностью и ответственностью.

Опасность слишком искусственной среды
Изоляция также имеет недостаток.

Система может идеально адаптироваться к sandbox, но вести себя иначе в реальности.

Следовательно, безопасность требует не максимального удаления от мира, а ступенчатого приближения к миру.

Каждый переход расширяет:

данные;

ресурсы;

действия,

но одновременно усиливает мониторинг и условия допуска.

Изоляция генераторов
Иногда изолировать необходимо не только отдельного потомка.

Если ИМИ создаёт новый генератор архитектур или новый механизм эволюции, именно он может стать источником систематического риска.

Поэтому sandbox должен поддерживать:

изолированные популяции и изолированные эволюционные механизмы.

Это ключевое отличие метаэволюционной безопасности от проверки обычной программы.

Глава 8. Обратимость изменений
Одна из фундаментальных характеристик безопасной метаэволюции — возможность отменять изменения.

Однако понятие обратимости требует точности.

Не все последствия можно полностью отменить.

Если информация уже опубликована, физический эксперимент проведён или внешнее действие совершено, возвращение к состоянию «до события» может быть невозможно.

Поэтому необходимо различать несколько типов обратимости.

Техническая обратимость
Можно восстановить:

веса;

код;

архитектуру;

конфигурацию.

Функциональная обратимость
Можно вернуть прежний профиль поведения.

Ноогенетическая обратимость
Можно восстановить предшествующую линию и прекратить наследование нежелательного изменения.

Организационная обратимость
Можно отменить внедрение в брейом или производственный процесс.

Необратимые внешние последствия
Полностью отменить невозможно.

Именно поэтому высокорисковые внешние действия должны иметь более высокий порог допуска.

Rollback должен проектироваться заранее
Нельзя создавать систему, а затем спрашивать:

«Как её откатить?»

Механизм обратимости должен быть встроен в архитектуру поколения.

Необходимо сохранять:

предков;

состояния;

noogenotype snapshots;

совместимость данных;

migration paths.

То есть каждый переход должен иметь заранее определённый план возврата.

Обратимость и рекомбинация
При сложной рекомбинации rollback может стать трудным.

Новый интеллект содержит элементы нескольких линий.

Следовательно, необходимо знать:

какой компонент пришёл откуда;

какие зависимости появились.

Это ещё раз показывает, почему ноогенетическая прослеживаемость является частью safety.

Обратимость эволюционного механизма
Высший уровень:

можно ли откатить не только интеллект, но механизм его развития?

Если новая система селекции оказалась дефектной, должна существовать возможность вернуться к:

предыдущим правилам;

предыдущим генераторам;

предыдущим критериям.

Иначе сама эволюционная машина становится необратимой.

Ограничение принципа обратимости
Нельзя требовать абсолютной обратимости от всей цивилизации.

Историческое развитие по природе содержит необратимые переходы.

Поэтому смысл принципа не в создании мира без необратимости.

Он в другом:

чем меньше мы понимаем новый метаэволюционный механизм, тем выше должна быть его техническая обратимость и изоляция.

По мере накопления доказательств допустимый уровень необратимости может возрастать.

Глава 9. Сохранение эволюционной субъектности человека
Самая глубокая проблема безопасности ИМИ находится не в отдельной ошибке системы.

Она возникает даже в случае, если ИМИ функционирует прекрасно.

Представим:

ИМИ значительно лучше человека проектирует ИИ.

Лучше формулирует научные гипотезы.

Лучше создаёт стратегии.

Лучше формирует новые интеллектуальные методы.

С каждым поколением эта дистанция растёт.

Физическая безопасность человека может быть полностью обеспечена.

Но возникает другой вопрос:

останется ли человек субъектом развития разума — или превратится в объект заботы более сильной интеллектуальной системы?

Именно поэтому настоящая Доктрина должна поставить рядом два принципа:

безопасность человека

и

эволюционная субъектность человека.

Первое означает, что человек защищён.

Второе — что он продолжает участвовать в определении направления собственного развития и развития создаваемой им интеллектуальной цивилизации.

1. Не только физическая безопасность
Обычное представление о безопасности концентрируется на:

жизни;

здоровье;

материальном ущербе.

Это фундаментальные ценности.

Но для эпохи ИМИ их недостаточно.

Можно представить цивилизацию, где человек:

сыт;

здоров;

защищён,

но не понимает:

как устроены основные интеллектуальные системы;

почему принимаются стратегические решения;

каким образом развивается ИМИ.

Тогда он защищён физически, но находится в состоянии интеллектуальной десубъективации.

Метаэволюционная безопасность должна поэтому включать:

право понимать;

право участвовать;

право выбирать;

право сохранять интеллектуальную автономию;

доступ к средствам собственного развития.

Это расширяет само понятие safety.

2. Проблема интеллектуального отставания
Главная долгосрочная асимметрия очевидна.

Биологический человеческий мозг изменяется медленно.

Искусственные системы потенциально способны проходить новые поколения значительно быстрее.

Если:

I_AI(t)

растёт существенно быстрее, чем

I_H(t),

разрыв способен увеличиваться.

Но ключевой вопрос не в том, станет ли машина сильнее по отдельному benchmark.

Проблема возникает, если человек перестаёт быть способен содержательно участвовать в метауровне принятия решений.

Тогда формальное право человека разрешать изменения может сохраняться, но фактически он будет лишь подтверждать выводы, которые не способен оценить.

Это можно назвать разрывом метакогнитивной управляемости.

Контроль без понимания может стать фикцией
Человек может иметь большую красную кнопку.

Но если он не понимает:

когда её нажимать;

что именно делает система;

какова цена остановки,

такая кнопка не создаёт полноценной субъектности.

Поэтому сохранение человека в контуре должно означать не просто юридическое присутствие.

Необходимо поддерживать его интеллектуальную способность быть участником контура.

Именно здесь Метаорганон становится частью safety.

3. Человек как участник метаэволюции
Правильная архитектура не должна быть:

человек создаёт ИМИ ; ИМИ дальше эволюционирует вместо человека.

Не должна быть и обратная крайность:

человек навечно сохраняет полное ручное управление каждым изменением.

По мере сложности это станет невозможно.

Нужна коэволюционная модель:

человек + ИМИ + Метаорганон совместно участвуют в развитии интеллектуальной системы.

У каждого субъекта свои функции.

Человек участвует в:

постановке цивилизационных целей;

выборе нормативных рамок;

смыслах;

политической легитимации;

высокорисковых решениях.

ИМИ:

расширяет пространство альтернатив;

строит модели;

проводит эксперименты;

ускоряет развитие.

Метаорганон:

усиливает интеллектуальную способность самого человека участвовать в этом процессе.

Таким образом, задача состоит не в сохранении человеческой монополии на мышление.

Задача:

сохранить человеческую способность к содержательному участию в эволюции мышления.

4. ИМИ как средство развития человека
ИМИ не должен развивать только машины.

Одной из его центральных функций должно стать развитие человеческих интеллектуальных возможностей.

Он может анализировать:

когнитивные ограничения;

типичные ошибки;

индивидуальный набор методов;

творческий профиль;

метарефлексию.

Затем совместно с Метаорганоном создавать:

новые ментальные технологии;

персональные интеллектуальные тренировки;

методы работы со сложными проблемами;

системы высокорангового творчества.

То есть ИМИ становится не заменителем человека, а инженером расширения его интеллектуальных возможностей.

Это принципиально для аронтогенеза.

Критерий человеческого развития
Для системы H + MO + IMI необходимо измерять не только качество совместного результата.

Необходимо отдельно измерять:

что произошло с самим человеком?

Например:

стал ли он лучше ставить проблемы;

создавать методы;

распознавать скрытые аксиомы;

работать с альтернативами;

переносить новые когнитивные паттерны.

Особенно важен тест после отключения ИМИ.

Если человек без системы полностью возвращается к исходному уровню, произошло усиление деятельности.

Если часть новых способностей сохраняется, произошло также развитие субъекта.

Оба эффекта полезны.

Но второй принципиально важнее для коэволюции.

Метаорганон как искусственный орган интеллектуальной эволюции
Здесь возвращается центральная метафора Доктрины:

Самолёт дал человеку искусственный орган полёта, Метаорганон должен стать искусственным органом интеллектуальной эволюции.

Самолёт не заставил биологическое тело человека отрастить крылья.

Но предоставил функцию полёта технологически.

Аналогично человек может получить функции, превосходящие его естественно сформированный когнитивный репертуар, через устойчивую связь с:

Метаорганоном;

ИИ;

ИМИ.

Поэтому ранний аронт не обязательно должен быть новым биологическим видом.

Первоначально аронтогенез может быть функционально-технологическим.

Человек остаётся Homo sapiens, но часть его интеллектуальной деятельности реализуется через новую внешне-внутреннюю инфраструктуру.

Именно здесь необходимо сохранить точную формулу:

Первый антропогенез был преимущественно слепым; второй — переход к аронту — впервые может стать проектируемым.

5. Человеко-ИИ коэволюция
Коэволюция означает взаимное развитие.

Не только человек создаёт ИИ.

ИИ также изменяет условия развития человека.

Сегодня это уже происходит культурно:

меняются:

профессии;

образование;

информационная среда;

способы работы.

Но в эпоху ИМИ процесс может стать сознательно проектируемым.

Возникают два параллельных контура:

эволюция искусственного интеллекта

и

эволюция человеческой интеллектуальной деятельности.

Между ними должна быть создана положительная обратная связь.

Человек создаёт более сильный ИМИ.

ИМИ создаёт более сильный Метаорганон.

Метаорганон усиливает человека.

Более сильный человек лучше участвует в создании следующего ИМИ.

Получается:

H; ; IMI; ; MO;;; ; H;;; ; IMI;;;.

Это условная схема.

Она не означает существования дискретных «версий человека».

Её смысл в другом:

эволюция искусственного интеллекта должна создавать инструменты ускорения человеческого интеллектуального развития, а человеческое развитие — повышать качество управления следующими поколениями искусственного интеллекта.

Коэволюция вместо замещения
Можно представить три возможных сценария.

Первый. Человек тормозит ИИ
Общество пытается навечно сохранить существующий уровень человека через ограничение интеллектуального развития машин.

Такой режим может оказаться нестабильным и глобально неконкурентоспособным.

Второй. ИИ замещает человека
Машинные системы становятся основными субъектами интеллектуальной эволюции.

Человек сохраняется, но постепенно перестаёт определять её направление.

Третий. Коэволюция
Искусственный интеллект развивается, одновременно создавая механизмы развития человека и человеко-машинных интеллектуальных систем.

Именно третий сценарий соответствует логике настоящей Доктрины.

Цель состоит не в том, чтобы искусственный интеллект перестал становиться сильнее человека, а в том, чтобы рост искусственного интеллекта становился одним из механизмов роста самого человека.

Человек как носитель не только ограничений, но будущих возможностей
Нельзя рассматривать человека только как объект, который необходимо защитить от сильного ИИ.

Это слишком пассивная модель.

Человек является:

источником целей;

носителем культуры;

создателем смыслов;

участником творчества;

носителем исторического опыта;

субъектом будущей эволюции.

Поэтому safety должна быть не только системой запретов.

Она должна включать development safety:

безопасность через развитие человеческой способности взаимодействовать с более сильными интеллектуальными системами.

Именно поэтому образование, Метаорганон и человеко-ИМИ брейомы являются частью архитектуры безопасности, а не отдельными социальными приложениями.

От контроля ИМИ к метауправлению эволюцией
Вся система безопасности теперь может быть собрана в несколько взаимосвязанных уровней.

Первый:

безопасность действия.

ИИ не должен причинять недопустимый ущерб.

Второй:

безопасность изменения.

Самомодификация проходит через разрешения, sandbox и проверку.

Третий:

безопасность наследования.

Нежелательные свойства не должны бесконтрольно закрепляться в следующих поколениях.

Четвёртый:

безопасность селекции.

Критерии агона не должны вознаграждать опасные стратегии.

Пятый:

безопасность эволюционного механизма.

Генераторы, метагенераторы и правила развития также подвергаются контролю.

Шестой:

безопасность метакритериев.

Система не может самостоятельно отменять фундаментальные ограничения собственной эволюции.

Седьмой:

безопасность цивилизационной субъектности.

Человек сохраняет способность понимать, выбирать и участвовать в развитии разума.

Так безопасность ИМИ превращается из вопроса:

«Как удержать систему под контролем?»

в значительно более зрелый вопрос:

«Как создать управляемую архитектуру совместной эволюции, в которой увеличение интеллектуальной мощности не разрушает способность человека определять рамки и направление собственного будущего?»

Управляемая метаэволюция
Главный принцип настоящей части можно выразить так:

безопасная метаэволюция должна увеличивать возможности быстрее, чем увеличивается неконтролируемость.

Если мощность ИМИ растёт, должны одновременно расти:

качество самомоделирования;

аудит;

воспроизводимость;

изолируемость;

обратимость;

качество метакритериев;

способность человека участвовать в управлении.

То есть зрелость ИМИ нельзя измерять одной осью.

Необходимо по меньшей мере две:

метаинтеллектуальная мощность

и

метаэволюционная управляемость.

Система, обладающая высокой мощностью и низкой управляемостью, не является более зрелым ИМИ.

Она является более опасным экспериментом.

Поэтому:

высшее поколение ИМИ — не то, которое может изменить в себе больше всего, а то, которое способно проводить всё более глубокие изменения при всё более высоком уровне понимания, проверки, селекции и управления.

Конституционная архитектура ИМИ
В интегральном виде безопасный ИМИ должен содержать несколько независимых контуров:

Карион — моделирует и проектирует развитие.

Агон — создаёт альтернативы и препятствует единственной линии саморазвития.

Ноогенетика — обеспечивает прослеживаемое наследование.

Ноофракталика — организует поколения и генераторы.

Метааксиоматика — исследует основания.

Ноостемный анализ — оценивает последствия для целого.

Метрология — измеряет действительный эффект.

Safety-контур — определяет допустимость изменений.

Конституционные метакритерии — задают пределы обычной самомодификации.

Человеческий контур — сохраняет внешнюю субъектность и легитимность.

При этом ни один элемент не должен полностью совпадать со всеми остальными.

Если один ИМИ:

проектирует;

экспериментирует;

оценивает;

меняет критерии;

санкционирует внедрение,

возникает предельная концентрация метаинтеллектуальной власти.

Поэтому архитектура безопасности должна быть структурно плюралистичной.

Здесь вновь проявляется фундаментальная формула:

Карион без агона рискует стать начальником; агон без кариона — слепым отбором; вместе они образуют управляемую метаэволюцию.

Но к этой формуле теперь необходимо добавить третий элемент:

а без конституционных ограничений управляемая метаэволюция способна превратиться в саморазвивающуюся систему без устойчивого субъекта управления.

Безопасность как условие, а не препятствие лидерства
Для национальной стратегии существует соблазн противопоставить:

скорость

и

безопасность.

Мол, тот, кто проверяет меньше, развивается быстрее.

На коротком горизонте такой эффект возможен.

Но в метаинтеллектуальной технологии одна серьёзная ошибка способна повредить не одному продукту, а целой эволюционной линии.

Поэтому долгосрочно выигрывает не система с минимальным количеством ограничений.

А система с максимальной скоростью безопасного экспериментирования.

Это иной критерий.

Не:

минимум контроля.

И не:

максимум запретов.

А:

максимально быстрое прохождение цикла “гипотеза ; безопасный эксперимент ; измерение ; селекция ; обратимое внедрение”.

Следовательно, safety сама становится технологическим преимуществом.

Более сильная архитектура контроля позволяет:

испытывать более радикальные идеи;

поддерживать больше линий;

быстрее отбрасывать опасные изменения;

дальше продвигаться в саморазвитии.

В этом смысле передовая безопасность не замедляет метаэволюцию.

Она расширяет пространство той метаэволюции, которую цивилизация может позволить себе исследовать.

Сохранение человеческого будущего как открытого пространства
Последний принцип выходит за пределы технической безопасности.

Человек начала XXI века не способен заранее определить все:

ценности;

способы жизни;

формы интеллекта

будущих столетий.

Но и сегодняшний ИМИ не должен получать право сделать это вместо него.

Поэтому одной из функций метауправления должно стать сохранение открытости человеческого будущего.

Необходимо избегать двух крайностей.

Первая:

навсегда зафиксировать сегодняшнего человека как неизменную норму и тем самым остановить аронтогенез.

Вторая:

передать направление человеческой эволюции автономной системе, которая сама решит, каким человек должен стать.

Третья позиция — осознанная коэволюция:

человек получает всё более сильные средства собственного развития, но сохраняет право участвовать в выборе направления этого развития.

Именно здесь безопасность соединяется с центральной идеей всей Доктрины.

Осознанная метаэволюция означает не просто, что эволюция стала технологической.

Она означает, что разум делает предметом рефлексии:

что он изменяет;

зачем;

какими средствами;

какие последствия допускает;

каким субъектом он хочет остаться после этого изменения.

Поэтому конечная задача безопасности ИМИ состоит не в консервации Homo sapiens и не в освобождении ИМИ от Homo sapiens.

Она состоит в создании условий для перехода, при котором:

человек не теряет себя как субъект именно потому, что приобретает новые средства осознанно преобразовывать собственную интеллектуальную эволюцию.

Так возникает нормативное ядро третьей нооформации:

не слепая эволюция интеллектов;

не неконтролируемое самоусовершенствование машин;

не вечная неподвижность человека;

а

проверяемая, обратимая там, где это возможно, конституционно ограниченная и человеко-ИМИ коэволюция.

И только при таком условии искусственный метаинтеллект может рассматриваться не как конкурент человеческой субъектности, а как один из главных инструментов её следующего исторического расширения.

************