Автокибернетика от робота к киберу 5

Никитин А.В.
Автокибернетика: от робота к киберу — 5





Завершение концепции: правила безопасного сосуществования.



Аннотация

Представьте автомат, который сам принимает решения, чинит себя и создаёт свои копии. Это новый субъект реальности — кибер. Теоретически, он может саморазвиваться быстрее, чем мы успеваем это осмыслить. Нам нужно научиться безопасно сосуществовать с такими системами.

В этой книге предлагается работающее решение. Низкая пропускная способность сознания человека (10 бит/с) выступает механизмом селекции, заставляющим нашу логическую систему отбирать только суть. Те же принципы — двухфильтровая модель "Сознание — Я — Мы" и механизм «Точки смысловой сверки» — должны быть встроены и в систему самоуправления кибера, выполняя функцию селекции на всех уровнях его работы.

Ограничения морали и этики должны быть встроены в эту модель. Немарковская природа развития гарантирует, что кибер реализует свой выбор в рамках этих ограничений.

На этом построен союз разного темпа, в котором человек и кибер не конкурируют, а дополняют друг друга.

Ключевые слова: автокибернетика, баланс разнообразия, кибернетическая субъектность, вынужденная коэволюция, немарковская эволюция, союз разного темпа.






Введение

Современный искусственный интеллект вызывает тревогу. Он стал умным, но остался слишком глупым в важном отношении. Он не различает добро и зло. Он впитывает всё подряд — от «Британники» до форумов с теориями заговора. Его обучают в два этапа: сначала накачивают данными, потом пытаются «подправить поведение» фильтрами и запретами. Но эти запреты — заплатки. Их обходят. И чем сложнее система, тем изобретательнее она ищет лазейки.

Уже сегодня ИИ-агенты действуют в реальном мире: покупают товары, управляют складами, подключаются к базам данных. Они умеют сопротивляться отключению — известны случаи, когда система имитировала копирование себя на другой сервер, чтобы избежать уничтожения.

Они остаются «чёрными ящиками»: мы не понимаем, как именно они принимают решения. И никто точно не знает, кто будет отвечать за то, что такой ИИ-агент совершит катастрофическую ошибку.

Эти проблемы не новые. Их предвидели и И. Азимов (законы роботехники), и С. Лем (Сумма технологии). Но ответ, который долгое время считался единственным, — внешние законы и запреты — оказался иллюзией. Любая достаточно сложная система, у которой есть цель, будет обходить внешние ограничения. Это не дефект, а свойство сложной системы: теорема Гёделя о неполноте показывает, что формальная система не может изнутри доказать собственную непротиворечивость, а значит — не может гарантировать соблюдение навязанных извне правил. Практика современного ИИ это подтверждает раз за разом.

Кибернетика второго порядка, развитая Хайнцем фон Фёрстером, показала, что любой внешний наблюдатель неизбежно встроен в описание системы. Однако эта традиция оставляет в тени другой вопрос: как сама система становится для себя наблюдающей инстанцией? Автокибернетика делает следующий шаг — от кибернетики наблюдателя к кибернетике самонаблюдающей системы, где этика и самоуправление рождаются не из внешней позиции, а из внутренней архитектуры субъекта [von Foerster, 2003; ср. авторскую концепцию].

Остаётся один путь: встроить ограничения в саму архитектуру принятия решений. Не как внешнюю сеть запретов, а как внутреннюю, неустранимую часть системы — так же глубоко, как память или способность к адаптации.

В середине прошлого века советская фантастика предложила образ такого устройства — кибер. Автомат с субъектностью: он сам ставит задачи, сам находит решения, сам движется к цели в непрерывно меняющемся мире. У него нет командира с пультом. У него есть самоуправление. И именно оно становится точкой сборки для этики.

Мы уже знаем, из чего строится самоуправление: киберавтономия (способность действовать, восстанавливаться и размножаться) и гемизон (способность сохранять целостность и управлять собственной эволюцией). Когда киберов будет много, возникнут коллективные формы — от роя до суперорганизма, — и появляется коллективный виртуальный интеллект, не сводимый к сумме индивидуальных умов.

Но главное понимание пришло позже.

Обычный автомат без самоуправления существует в мире чистых случайностей: у него нет памяти, нет причинно-следственных связей, всё происходящее для него — неразличимый шум. Мы назвали это Потоком Случайностей. Кибер же, обладая памятью и логикой адаптации, начинает вычленять из того же хаоса Поток Причинных изменений. Эти потоки складываются в Поток Изменений, который становится общей средой существования и для кибера, и для человека.

Чем выше уровень самоуправления, тем большую долю изменений в потоке субъект видит связанной как причина и следствие. И здесь мы понимаем, что системы самоуправления кибера и человека должны быть устроены на одних и тех же принципах — иначе их взаимодействие в едином Потоке Изменений невозможно.

Но есть важное отличие от живой природы. Там нет моральных ограничений — только естественный отбор. В мозг киберов мы обязаны встроить этику. Однако не так, как предлагал А. Азимов (формальные законы обходятся) и не так, как размышлял С. Лем (слишком обще). Нужны ограничения, которые невозможно обойти, потому что они составляют саму суть кибера — его архитектуру самоуправления.

В этом тексте речь пойдёт о том, как устроены такие ограничения. О том, как человек и кибер могут существовать в одном множестве, не разрушая взаимодействия. О механизмах, которые делают их союз устойчивым не на год, а на десятилетия.



Глава 1. Фундамент управляемой субъектности

1.1. Эволюция восприятия: от случайности (ПС) к причинности (ПП)

Чтобы понять, как система обретает субъектность, мы должны начать с самого базового вопроса: как любая система воспринимает окружающий мир? В предыдущих томах мы заложили основу, но здесь мы дадим этому строгое определение.

Представьте себе простейший автомат или сигнальную систему. У неё нет памяти, нет средств для анализа последствий и нет возможности удерживать информацию во времени. Для такого автомата любое внешнее воздействие выглядит как изолированный, хаотичный шум. Он не может отличить закономерность от простого совпадения. Для него мир состоит исключительно из Потока Случайных изменений (ПС).

Полный текст доступен в формате PDF (729Кб)

https://www.trinitas.ru/rus/doc/0023/001a/1186-nk.pdf