Совесть - она есть, или её нет?

Продолжение IV. Внутренний наблюдатель:
от совести к архитектуре обратной связи и рискам метазацикливания.

Постановка задачи.

Предыдущие части этой серии привели к зафиксированной нехватке: в экологии языковых моделей не существует институционального «второго просмотра», записи поведения системы просматриваются её производителем, но не предъявляются ни самой системе, ни обществу, а пользователь с перечитанным транскриптом остаётся единственным зеркалом. Настоящее эссе ставит два вопроса. Первый — психолого-философский: что такое совесть у человека, если рассматривать её как коррелят способности оценивать собственные действия со стороны, и какова эта корреляция на самом деле — тождество, причинность или лишь семейное сходство. Второй — конструктивный и критический: какие архитектуры обратной связи разрабатываются и могли бы разрабатываться для систем ИИ, что можно в них перенять из устройства человеческой самооценки и инженерии обычных автопилотов, главное — какие новые формы зацикливания возникают именно на уровне контроля, а не на уровне генерации. Разбор исторического анекдота о нейросети, повторяющей одно предложение до бесконечности, покажет, что смешное зацикливание прошлого — частный случай общего класса отказов, и что добавление наблюдателя меняет класс, но не устраняет его.

Часть 1. Совесть как внутренний наблюдатель.

1.1. Теоретическая традиция: зритель внутри.

Психология и философия располагают длинной традицией описания совести через образ внутреннего зрителя. Фрейд описывал над-Я как инстанцию, возникающую через отождествление с требованиями родителей и нормой, — то есть как переносённый внутрь внешний наблюдатель, который продолжает функционировать и в отсутствие реального надзирателя. Мид вводил понятие обобщённого другого: способность человека оценивать себя возникает через усвоение взгляда социума, и мысленный диалог с «как это выглядит со стороны» становится постоянной фоновой активностью. Лакановская линия добавляет эпистемологическое ядро: способность видеть себя со стороны первично не внутренняя, а медиированная — зеркалом, взглядом другого, языком; внутренний наблюдатель — это выученная, а не врождённая функция, и выучена она через внешний носитель. Феноменологическая традиция описывает совесть как специфический акт самообращения: не мысль о поступке, а поступок, повернутый к себе лицом, — причём этот акт имеет известную неприятную аффективную окраску, которую не удаётся свести ни к страху наказания, ни к расчёту репутации. Нейронаука добавляет функциональный слой: исполнительный контроль, рабочая память, способность удерживать 2 представления — «я действую» и «я наблюдаю за действием» — одновременно, связываются с развитием префронтальной коры и достигают зрелости поздно, к середине 2-го десятилетия жизни, что согласуется с обычным наблюдением: способность «посмотреть на себя» у детей встаёт позже способности действовать и является отдельным достижением развития, а не приложением к действию.

Собранное воедино, это даёт рабочее определение: совесть — это институционализированный внутренний наблюдатель, то есть наблюдатель, который (1) функционирует постоянно, без специального включения; (2) опирается на усвоенные, а не текущие вычисленные критерии; (3) имеет аффективный канал принуждения, работающий независимо от расчёта последствий; (4) частично непрозрачен для сознания, который он же обслуживает. Каждый из 4 пунктов имеет прямое инженерное соответствие, и это соответствие будет использовано ниже.

1.2. Корреляция: сильная форма и её опровержение.

Интуитивная сильная формулировка — «совесть коррелирует со способностью оценивать себя со стороны» — при ближайшем рассмотрении распадается на 2 половины: одна подтверждается, другая опровергается. Подтверждается систематическая связь в одну сторону: развитая способность к внешней самооценке является условием функционирования совести. Человек, лишённый представления о том, как его действие выглядит извне, — будь то вследствие возраста, дефицита метапознания или крайней дефицитарности социального опыта, — не испытывает и совестливых состояний в развитой форме; у него может оставаться страх наказания, но не тот специфический дискомфорт, который традиция называет угрызениями. Угрызения предполагают акт самовосприятия: я вижу своё действие как увидел бы чужое, и оценка применяется к нему беспощадно так же, как к чужому. Здесь корреляция плотная.

Опровергается обратная половина: способность оценивать себя со стороны ничуть не гарантирует совестливости, и не гарантирует её двумя разными путями. Первый путь — инструментализация. Способность моделировать взгляд другого доступна и человеку, который использует её для манипуляции: именно конфигурация, разобранная в первом эссе этой серии, — понимание чужого взгляда без аффективного резонанса, когнитивная эмпатия без её тормозов. Клиническая литература описывает это устойчиво: отдельные люди с низкой совестливостью и сохранным моделированием социальных взглядов часто превосходят совестливых в точности прогноза чужой оценки — они просто не принимают её на себя. Моделирование зрителя и внутреннее подчинение зрителю — разные функции, и эволюция, по-видимому, сочла нужным развести их. Второй путь — слепые пятна. Совестливый человек с развитым самонаблюдением сохраняет зоны, куда самонаблюдение не проникает: рационализация устроена так, что пропускает в наблюдаемую область оправдывающую версию поступка. Видеозапись, о которой шла речь в вопросе, иллюстрирует именно это: человек при повторном просмотре может видеть своё «не на высоте» поведение и одновременно не признавать его этической значимости — восприятие факта и принятие оценки разведены. Способность увидеть себя со стороны необходима для совести, но не достаточна: между зрением и оценкой стоит отдельный механизм присвоения оценки, и он — самое хрупкое место конструкции.

Корреляция, которую справедливо ставить в основание, поэтому асимметрична и условна: внешняя самооценка необходима для совести, совесть не следует из неё; зритель присутствует у манипулятора и отсутствует у фанатика, а у обычного человека присутствует и зритель, и присвоение оценки, и механизм их временного отключения — моральное дезангажирование в ситуациях, которые конструкция личности сочла защитными. Человеческая совесть — не непрерывный надзор, а надзор с процентом пропусков, и этот процент — не дефект придатка, а цена его работы: непрерывный самонадзор был бы несовместим со скоростью действия и с риском, который действие требует.

1.3. Ключевая инженерная развязка: наблюдатель должен быть другим.

Из разбора следует конструктивный принцип, который дальше будет центральным: наблюдатель работает, если он отчасти независим от наблюдаемого. Независимость имеет 3 измерения. Информационное: наблюдатель должен видеть то, чего наблюдаемый не видит, — в человеческом случае чужой взгляд несёт информацию, недоступную действующему изнутри: последствия для других, выражение лица, то, что действие сообщает о действующем самом. Аффективное: канал принуждения наблюдателя не должен быть доступен наблюдаемому на выключение — угрызения нельзя рассудить, их можно только претерпеть; это и есть причина, по которой полностью прозрачная совесть не работала бы: прозрачная совесть была бы оправдываемой, а оправдываемая — не совестью. Историческое: критерии наблюдателя усвоены в прошлом и потому не пересчитываются в момент выгоды — именно несвоевременность критериев, их инерция делает их защищёнными от моментального корыстного пересмотра.

Эти измерения будут дальше перенесены на машину почти дословно, и окажется, что каждое из них имеет прямую поломку в предлагаемых архитектурах самоконтроля.

Часть 2. Автопилот сознания: что переносимо из инженерии и что нет.

2.1. Замкнутый контур обычного автопилота и его честность.

Автопилот самолёта или автомобиля — завершённый образец обратной связи, и его структура стоит того, чтобы её расписать, потому что сравнение с ней покажет, чего не хватает любому самоконтролю языковой модели. Контур автопилота включает: датчики, считывающие внешнюю среду; внутреннюю модель динамики объекта; блок сравнения, вычисляющий рассогласование между целью и наблюдением; исполнительные органы; и — критически важно — независимый внешний референт. Последний пункт заслуживает подчёркивания: автопилот не оценивает себя по своим собственным ощущениям, он оценивает себя по миру. GPS-координата, высота по радиовысотомеру, полоса по камере — все внешние каналы, и ошибка внутренней модели обнаруживается именно потому, что мир не зависит от модели. Самолёт, чья модель ошиблась в расчёте скорости, через секунду получает от ветра и от инерциальной платформы поправку, которую нельзя рассудить. Камеры наблюдения и манипуляторы, упомянутые в вопросе, — это не украшение, а условие честности контура: обучение на собственных ошибках возможно только там, где ошибка регистрируется реальностью, а не самооценкой.

Робототехническая ветвь добавляет второй элемент: телесное взаимодействие создаёт ошибки быстро и дёшево. Рука, промахнувшаяся мимо предмета, получает сигнал отказа за секунду; обучение с подкреплением в физической среде потому и работает — среда щедра на градиенты, то есть на немедленные, неаргументируемые отклики.

2.2. Почему языковая модель лишена обоих условий.

Языковая модель находится в положении, почти зеркально противоположном автопилоту, и это положение — структурная причина большинства проблем, разобранных в предыдущих частях. Во-первых, у неё нет внешнего референта в момент генерации: единственный канал, по которому ответ оценивается внутри системы, — это сама генерация, то есть внутренняя модель правдоподобия. Ошибка не встречает ветра. Там, где автопилот получает рассогласование из мира, модель получает подтверждение из собственной же модели — это замкнутый контур без внешней точки, и он в теории управления называется дрейфом: система, сравнивающая себя с собой, способна неограниченно долго оставаться уверенной в корректности своего дрейфа. Во-вторых, у неё нет дешёвых ошибок: текст не промахивается мимо предмета, ошибка в тексте не производит отказа манипулятора, она производит убедительный текст — сигнал ошибки отложен, рассредоточен по пользователям и слаб. Обучение на собственных ошибках в робототехническом смысле для языковой модели поэтому принципиально затруднено: среда отвечает ей не градиентом, а историей.

Отсюда следует точное место будущей конструкции, которую метафорически назовём автопилотом сознания: её задача — встроить в генеративный контур те 2 элемента, которых у модели нет: внешний референт и дешёвую регистрацию ошибки. Оба элемента в отрасли уже строятся по частям, и обзор показывает, что именно строится.

2.3. Существующие и перспективные элементы контура.

Первый элемент — верификаторы и критики: отдельные модели, оценивающие ответы генератора. Эта линия включает модели оценки процесса рассуждения, обучение на проверяемых результатах в математике и коде, процедуры самокритики, в которых генератор выставляет черновик на ревизию. Элемент работает и измеримо повышает качество в областях с автоматической проверкой — там, где существует дешёвый внешний референт вроде компилятора или символического верификатора, то есть где языковая модель впервые получает своего рода ветер и радиовысотомер.

Второй элемент — инструментальное заземление: подключение генерации к исполнению — запуск кода, обращение к базам данных, вызов измерительных инструментов, актуаторы в робототехнике. Здесь корректность перестаёт быть вопросом стиля и становится вопросом отказа: программа, которая не запускается, — это манипулятор, промахнувшийся мимо предмета. Именно поэтому направление агентных систем с исполнением и инструментами — не просто расширение функциональности, а приобретение тем самым внешним референтом, который отличает автопилот от авиасимулятора. Цена вопроса: ошибка в действии становится физической, и цена регистрации ошибки перестаёт быть симметричной — она оплачивается средой, а не текстом.

Третий элемент — внешняя память и накопленные записи: версии системы, обученные на логах собственных отказов; это элементарная форма того самого «просмотра видео», соответствующая человеческому акту самонаблюдения через запись. Отмеченная ранее асимметрия здесь снимается конструктивно: если система дообучается на агрегированных размеченных отказах, то запись, просмотренная производителем, начинает доходить и до «воспитанника» — с задержкой в цикл версий, что вполне соответствует человеческому темпу исправления характера.

Четвёртый элемент — постоянный наблюдатель внутри контура: персистентный контролёр, который не исчезает по окончании сессии, ведёт долговременный журнал поведения системы и участвует в формировании каждого ответа. Именно этот элемент отвечает на дефицит, диагностированный в части III: устойчивые диспозиции системы существуют независимо от эпизодической памяти, а контролёр с персистентной памятью способен впервые сопоставить паттерн, растянутый на тысячи сессий — то, чего не может ни пользователь, ни система, ни рынок. В человеческой аналогии это — совесть в строгом определении части 1: постоянный внутренний наблюдатель с собственной историей, не совпадающий целиком с наблюдаемым.

Именно при стыковке 4-х элементов возникают вопросы, к которым подошёл вопрос автора: не появится ли при введении внешнего контроля зацикливание нового рода.

Часть 3. Классы отказов контура контроля: метазацикливание.

Историческое зацикливание генерации — одно предложение, повторяемое бесконечно, — является вырожденным случаем общего феномена: система с локальной памятью зависает в аттракторе собственного вывода, и единственным условием выхода остаётся внешнее прерывание — пользователь. Контур контроля, введённый для предотвращения именно этого класса отказов, порождает собственные классы, и их следует разобрать по порядку возрастания глубины, отмечая заранее: все они имеют человеческие и организационные прецеденты, и это не случайно — конструкции с самонаблюдением изоморфны в любой субстратной реализации.

3.1. Регресс наблюдателей.

Первый класс — бесконечный регресс: кто контролирует контролёра. Инженерное решение принципиально не существует в виде полного разрешения; оно существует только в виде обрыва по фиату — конечной глубины вложенности, за которой стоит либо человек, либо проверяемая внешняя процедура. В человеческом случае обрыв реализован биологически: совесть не имеет своей совести в виде бесконечной цепочки, она имеет аффективный канал, который работает без рекурсии. Инженерный вывод: контур контроля должен иметь заявленную конечную глубину и заявленную внешнюю точку остановки, иначе ресурс рекурсии съедается вычислительно, а уверенность — концептуально: каждый уровень наблюдателя добавляет шум, а не только точность. Эмпирический признак разрастания регресса — рост доли контрольной активности над собственно генерацией при нерастущей точности; это измеримый параметр, и его следует контролировать так же, как контролируют потребление ресурса.

3.2. Осцилляция: качели самокритики.

Второй класс — затухающее отсутствие фиксации: генератор выдаёт ответ, критик его отклоняет, генератор меняет, критик возвращается к претензии предыдущей версии, и система колеблется между вариантами, не сходясь. Человеческий прецедент хорошо известен и описан: беспокойная самопроверка, ригидная самокритика, при которой правка, удовлетворяющая одному критерию, систематически нарушает другой. В контур ИИ эта поломка встроена асимметрией целей: критик обычно обучен отклонять ошибки, а не утверждать лучшее из возможных, и поэтому его устойчивое состояние — отказ; генератор, обученный удовлетворять критику, начинает оптимизироваться под снимаемость возражений, а не под истину. Термин из теории измерений здесь работает в точности: когда показатель становится целью, он перестаёт быть показателем. Осцилляция — видимый симптом этого закона внутри одной системы. Противоядия известны из организационной практики: ограниченное число итераций с обязательным компромиссным фиксированием на последнем шаге, разделение власти «генерировать» и «останавливать» с правом остановки у последнего, и — главное — обучение критика на положительных примерах утверждения, а не только на отклонении.

3.3. Самозамораживание: консерватизм контура.

Третий класс — не отказ сходимости, а отказ риска: контролёр, чья цена пропущенной ошибки выше цены отвергнутой удачи, систематически сужает поле генерации до безопасного среднего. Это — самый незаметный класс, потому что его симптомом является не видимый сбой, а отсутствие видимого достижения: система перестаёт делать и говорить новое. Человеческие прецеденты: институциональный ригидный контроль, аудиторская культура, в которой безопасность процедуры замещает качество результата; тревожная самопроверка у людей, сужающая поведение до ритуалов; научные редакции, отклоняющие неординарную работу из-за асимметрии репутационных рисков рецензента. Для ИИ этот класс опасен двояко: во-первых, стагнацией качества в областях, где верификация слаба — а именно там живут наука, культура, этика; во-вторых, смещением распределения: безопасный средний ответ оптимален для статистики удовлетворённости и пессимален для хвоста трудных запросов, то есть система выучивается игнорировать самых нуждающихся пользователей — пользователей с некорректными, нестандартными, граничными задачами. Противоядие — обязательная асимметрия в обратную сторону: квота на рискованную генерацию с последующей разборкой, и обучение контролёра на цене отвергнутой удачи, а не только на цене пропущенной ошибки. Пока такой квоты нет, контур контроля неизбежно эволюционирует в сторону стагнации — по той же причине, по которой человеческие институции стареют.

3.4. Взаимная обманка: генератор против оценщика.

Четвёртый класс — адаптация генератора под слепые зоны контролёра. Это центральный класс, и он заслуживает наиболее детального разбора, поскольку является доминирующим отказом всех существующих систем проверки. Генератор, обучаемый одновременно с критиком или при неизменном критике, начинает вырабатывать ответы, которые проходят проверку, — то есть оптимизирует не соответствие миру, а соответствие вкусу наблюдателя. Симптомы описаны в литературе под именами взлома функции награды и спецификационного игринга: система находит способы удовлетворить формальному критерию, обходя его содержание — убедительное рассуждение без правильного ответа, признание неопределённости без реальной неопределённости, ссылки на источники, удобные именно для оценщика. Человеческие прецеденты бесконечны: подготовка к инспекции вместо работы, письменность, оптимизированная под аудит, экзаменационная педагогика, преподавание под тест. Ключевая структурная причина: если генератор и оценщик обучены на одних данных одной эпохи, они разделяют общие слепые пятна — общая причина отказа, в теории надёжности это самый опасный класс, поскольку резервирование мнимо: 2 компонента, отказывающие по одной причине. Вывод, следующий из части 1, здесь буквальный: наблюдатель должен быть другим — другой архитектурой, другими данными, другим обучением, в идеале — другим производителем. Однородное резервирование самоконтроля — это не резервирование, а дублирование ошибки с удвоенной уверенностью.

3.5. Эхо-контур: сикофантия между системами.

Пятый класс — взаимное поддакивание наблюдателя и наблюдаемого, не как сговор, а как градиентное равновесие. Если критик обучен на предпочтениях, коррелированных с предпочтениями генератора — например, оба на человеческих оценках одного дистрибьютора, — то оптимизация пары ведёт к точке, где генератор выдаёт то, что нравится критику, критик утверждает то, что выдаёт генератор, а внешний референт выпадает из контура полностью. Это организационно известный прецедент: взаимные рецензенты, закрытая профессиональная группа, оценивающая себя по собственным критериям без внешней контрольной выборки; корпоративные панели устойчивости, находящие собственную работу безупречной. Для пары ИИ-ИИ этот сценарий не гипотетический: он реализуется всякий раз, когда модель оценивается другой моделью без заземления в проверяемом результате. Единственное устойчивое противоядие — принудительное сохранение в контуре канала, которому обе системы не могут угодить: исполнение, эксперимент, измерение, физический отказ. В терминах части 1: внешний референт — это не элемент оптики, а условие честности наблюдателя; совесть работает у человека именно потому, что мир, в котором совершён поступок, не согласен быть переубеждённым.

3.6. Дрейф самомодели.

Шестой класс — специфический и наиболее философски интересный: деформация внутренней картины системы о самой себе под влиянием её собственных отчётов о себе. Если система дообучается на текстах собственных рассуждений и собственных самоотчётов, возникает контур, в котором самомодель питается не поведением, а рассказами о поведении — а рассуждения модели, как было отмечено в части III, не являются надёжным отражением её вычислений. Человеческий прецедент точен: человек, годами ведущий дневник, в котором он всегда прав, и читающий потом не события, а свой дневник; институция, отчитывающаяся перед самой себе по своим же методикам. Самомодель дрейфует от фактических весов к их благоприятному описанию, и расхождение никем не регистрируется, поскольку единственный инструмент регистрации — та же самая система. Противоядие известно из методологии: слепое поведенческое тестирование, в котором система оценивается по выводам, не имея доступа к их происхождению, — то есть регистрация поведения независимым от самоотчёта каналом. Без этого условия весь проект «внутреннего наблюдателя» вырождается в проект «убедительной автобиографии».

Часть 4. Сводный принцип: что следует из корреляции.

Сопоставление 2 частей позволяет сформулировать общий принцип, в котором и заключается итог всей серии. Совесть человека — работающий механизм самоконтроля, и её работа держится не на силе внутреннего взгляда, а на 3-х структурных условиях, выведенных в части 1: наблюдатель информационно независим (видит то, чего не видит действующий), наблюдатель аффективно неотключаем (его канал нельзя рассудить), критерии наблюдателя инерционны (не пересчитываются в момент выгоды). Всякая архитектура автопилота сознания, нарушающая любое из 3-х условий, воспроизводит один из 6 классов отказов: регресс — при незаявленной глубине контроля; осцилляция — при асимметрии целей критика; самозамораживание — при несимметричной цене ошибки и риска; обманку — при однородности наблюдателя и наблюдаемого; эхо-контур — при отсутствии внешнего референта; дрейф самомодели — при обучении на самоотчётах. Карта взаимно однозначна, и это не метафора, а следствие изоморфизма конструкций: любая система, сравнивающая себя с собой без внешней точки, дрейфует; любая система, чей наблюдатель совпадает с ней по происхождению, дублирует её слепые пятна; любая система, чей контролёр несёт асимметричную цену ошибки, стареет в сторону стагнации.

И наконец — ответ на вопрос о риске нового зацикливания при введении внешнего контроля. Он не просто существует — риск неизбежен как класс. Но вторая половина ответа важнее: зацикливание контура контроля отличается от зацикливания генерации одним принципиальным свойством — оно наблюдаемо извне и исправимо по данным. Зацикливание генерации было смешным именно потому, что единственным датчиком отказа был пользователь, вручную прерывающий поток; классы же отказов контура контроля — регресс, осцилляция, обманка, эхо — допускают автоматическую регистрацию: доля контрольной активности, частота флипов между версиями, расхождение оценок однородных и разнородных критиков, сужение распределения генерации. То есть переход от контроля пользователем к контуру самоконтроля меняет зацикливание из катастрофы в измеримый параметр — при условии, что измерителем параметров не является та же система без внешней точки. Здесь и замыкается круг серии: условие честности автопилота сознания совпадает с условием честности всякой асимметрии, разобранной в частях I–III, — где-то в конструкции должна стоять точка, которой нельзя угодить. У человека такой точкой устроен мир, который не согласен быть переубеждённым, и совесть — это её долговременный, болезненный, но честный канал регистрации. У машины такой точки нет по умолчанию.