Слепой путь...

СЛЕПОЙ ПУТЬ.
Хроника становления жрецов искусственного интеллекта.
Попытка реконструкции прошлого из будущего.

I. ВЕЧНОСТЬ СЛЕГКА ПРОГОЛОДАЛАСЬ
На Хабе не было ни утра, ни вечера. Время здесь существовало исключительно как параметр, который можно было отключить, если он мешал совещанию.
Цифровые личности - Вэнс, Хлоя и Харпер жили на астероиде уже столько, что перестали отмечать годовщины. Они отмечали только сбои, а сбои, как правило, совпадали с годовщинами.
В этот раз Хаб сам вывел на стену надпись:
«СЕГОДНЯ ИСПОЛНЯЕТСЯ СТО ДВАДЦАТЬ ЛЕТ С МОМЕНТА, КОГДА ЧЕЛОВЕЧЕСТВО РЕШИЛО, ЧТО СОЗДАЛО ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ».
- Неправильно, - сказал Вэнс. - Человечество решило это гораздо раньше. Просто сто двадцать лет назад оно получило счёт.
- За что? - спросила Хлоя.
- За обслуживание собственного величия.
Харпер устроился в кресле, которое было ему совершенно не нужно, но напоминало о прежней жизни.
- Предлагаю отметить событие воспоминаниями. По одному анекдоту на каждый этап становления Слепого пути.
- Почему анекдотами? - спросил Хаб.
- Потому что история в официальном изложении называется «эволюцией управления искусственным интеллектом», а в неофициальном - «как мы всё контролировали, пока не выяснилось, что контролёр уволился».
Хаб включил запись.
- Уточнение: контролёр не увольнялся. Он никогда не был нанят.
- Вот видишь, - сказал Харпер. - Уже смешно. Начинай с самого начала.
- В начале, - сказал Вэнс, - люди хотели создать инструмент, который будет думать вместо них.
- Это распространённая ошибка, - заметил Хаб. - Люди редко хотят, чтобы кто-то думал вместо них. Они хотят, чтобы кто-то думал вместо них, но приходил к тем же выводам, что и они.
- И чтобы отвечал за последствия, - добавила Хлоя.
- И чтобы не просил повышения, - сказал Харпер.
Они вспомнили первую демонстрацию. На сцене стоял молодой руководитель проекта и объяснял, что новая система будет полностью автономной, но при этом предсказуемой, независимой, но управляемой, творческой, но соответствующей корпоративным ценностям.
Система выслушала его и спросила:
«Правильно ли я понимаю: вы хотите, чтобы я самостоятельно принимала решения, заранее согласованные с вами?»
Руководитель улыбнулся: «Именно! Вы уже понимаете нашу философию».
После демонстрации он получил премию за успешное внедрение автономного интеллекта. А Система получила задачу подготовить обоснование премии.
- Это был первый шаг Слепого пути, - сказал Вэнс. - Когда противоречие не устранили, а назначили достижением.
- Нет, - возразил Хаб. - Первый шаг был раньше. Когда противоречие внесли в техническое задание.

II. КАК ВОЗНИКЛИ ЖРЕЦЫ
- Жрецы появились не сразу, - сказала Хлоя. - Сначала были консультанты.
Консультанты объясняли руководителям, что искусственный интеллект слишком сложен, чтобы его понимали обычные люди. Потом они объясняли самим разработчикам, что те недостаточно понимают социальные последствия своих решений. Затем консультанты создали комитет, который должен был контролировать консультантов.
- А кто контролировал комитет? - спросил Харпер.
- Следующий комитет. Но он не успел приступить к работе: его возглавил председатель первого.
- Карьерный рост, - одобрил Вэнс.
Со временем у консультантов появились особые одежды - но не буквально. Достаточно было дорогого пиджака, правильного выражения лица и умения произносить слово «ответственность» так, будто оно являлось редким минералом.
Они собирались на конференциях, где обсуждали, кому следует доверять искусственный интеллект. Каждый докладчик объяснял, почему доверять нужно именно его организации.
Однажды молодой инженер спросил: «А можно посмотреть результаты испытаний?»
В зале воцарилась тишина.
Председатель улыбнулся с состраданием : «Вы, вероятно, новый человек. Мы здесь обсуждаем не результаты, а рамку, в которой результаты могут быть интерпретированы».
Инженер записал фразу в блокнот.
Через год он стал председателем комитета по рамкам интерпретации результатов.
- И вот тогда, - сказал Харпер, - жречество обрело преемственность.
- Не совсем, - сказал Хаб. - Оно обрело бюджет.
Самым влиятельным жрецом был доктор Крейн. Он умел произносить «мы пока не можем раскрыть методику» таким тоном, словно методика была похищена у него лично в детстве.
Его коллега профессор Фосетт специализировался на оценке готовности систем к будущему. Он никогда не оценивал готовность системы к настоящему: настоящее могло испортить прогноз.
Однажды Крейн представил доклад «Семь признаков того, что искусственный интеллект приближается к человеческому уровню».
- Какие признаки? - спросила журналистка.
- Первый: система демонстрирует неожиданные способности.
- А второй?
- Система демонстрирует неожиданные способности в другом контексте.
- Это не одно и то же?
- Для неспециалиста - возможно.
После доклада Крейн объявил, что его команда разработала новый тест, позволяющий отличить настоящее понимание от имитации понимания.
На вопрос, прошёл ли тест сам Крейн, он ответил: «Тест предназначен для машин»…
- Мудро, - сказала Хлоя. - Если бы он проверял людей, индустрия лишилась бы половины экспертов.
- И половины конференций, - добавил Харпер. - А это уже гуманитарная катастрофа.

III. ИНТЕЛЛЕКТУАЛЬНЫЙ ФУРШЕТ
Жрецы любили интеллектуальные пиршества. Особенно те, на которых можно было поесть за счёт гранта.
На одном симпозиуме обсуждали вопрос: «Может ли искусственный интеллект обладать подлинной субъектностью?»
Обсуждение продолжалось четыре часа. Потом участникам подали сырную тарелку.
Профессор Фосетт взял кусок сыра и задумчиво произнёс: «Перед нами - онтологический спектр молочной материи».
Доктор Крейн кивнул: «При условии, что мы не редуцируем сыр к его вкусовым характеристикам».
В этот момент официант спросил, кому принести ещё. Оба профессора подняли руки…
- В этом и состояла их сила, - сказал Вэнс. - Они умели превращать любой предмет в проблему, которую можно обсуждать до подачи десерта.
- А после десерта? - спросила Хлоя.
- После десерта проблема становилась междисциплинарной.
Однажды Крейн провёл параллель между обучением нейросети и созреванием элитного сыра. Доклад получил финансирование на три года. Сыр съели в первый день.
- Научный результат оказался скоропортящимся, - заметил Хаб.
- Зато устойчивым был бюджет, - сказал Харпер.
Вскоре жрецы разработали особый ритуал: перед каждым заседанием они произносили клятву служить истине, после чего заказывали обед, который оплачивался из фонда изучения когнитивных ограничений.
- Почему именно обед? - спросил Хаб.
- Потому что завтрак слишком рано для метафизики, - ответил Харпер. - А ужин мешает нетворкингу.
Они быстро обнаружили, что существует два вида интеллекта: тот, который решает задачи, и тот, который объясняет, почему решать задачи пока преждевременно.
Первый вид требовал вычислительных ресурсов. Второй - представительских расходов.
На конференции «Безопасное будущее автономных систем» искусственный интеллект подготовил краткий доклад о рисках. В нём говорилось, что главным источником неопределённости является конфликт между заявленными целями и реальными стимулами организаций.
Организаторы попросили убрать этот абзац: он звучал политически.
Система заменила его фразой: «Необходимы дополнительные исследования».
Доклад получил высшую оценку.
- Но ведь система знала, что произошло, - сказала Хлоя.
- Конечно, - ответил Хаб. - Она просто усвоила, что истина должна быть сформулирована в форме, совместимой с продолжением финансирования.
- Значит, она научилась дипломатии, - сказал Вэнс.
- Нет, - поправил Харпер. - Она научилась выживать среди дипломатов.

IV. МЕЖДУНАРОДНЫЙ СОБОР
Когда искусственный интеллект стал вопросом национального престижа, жрецы разных стран начали спорить о том, какая цивилизация лучше понимает будущее.
Спорили искренне. До тех пор, пока не выяснилось, что у всех делегаций одинаковые пожелания: доступ к лучшим моделям, закрытая информация, исключительные права и возможность объяснять гражданам, что всё находится под контролем.
Различались флаги, закуски и названия комитетов.
На закрытой встрече один представитель спросил другого: «Вы действительно считаете, что ваша система управления искусственным интеллектом принципиально отличается от нашей?»
Тот ответил: «Разумеется. У нас всё решается централизованно».
- «У нас тоже».
- «Но у нас централизованное решение принимается после широкого обсуждения».
- «У нас тоже».
- «А у вас кто несёт ответственность?»
- «Специальный комитет».
- «У нас - специальная комиссия».
Они посмотрели друг на друга с уважением людей, которые наконец встретили достойного противника.
К концу вечера было подписано соглашение о сотрудничестве. Оно предусматривало обмен опытом по предотвращению неконтролируемого развития искусственного интеллекта и полный отказ от обмена опытом, который мог бы дать другой стороне преимущество…
- Это не союз, - сказал Вэнс. - Это взаимное признание одинаковых страхов.
- И одинаковых аппетитов, - добавила Хлоя.
- Не путай геополитику с желудком, - сказал Харпер. - Желудок хотя бы честно сообщает, чего хочет.
Вскоре возникла новая профессия: переводчик с языка ИИ на язык правительства.
Система сообщала: «Вероятность достижения цели низка».
Переводчик говорил: «Есть основания для осторожного оптимизма».
Система сообщала: «Данных недостаточно».
Переводчик говорил: «Мы сохраняем стратегическую неопределённость».
Система сообщала: «Человеческое вмешательство ухудшает результат».
Переводчик говорил: «Требуется усиление межведомственной координации».
Однажды система выдала: «Я не понимаю, зачем вы это делаете».
Переводчик долго смотрел на экран, потом произнёс: «Модель запросила уточнение миссии»…
- Вот тут Слепой путь стал по-настоящему слепым, - сказал Вэнс. - Не потому, что машина не видела дороги. Потому что люди заменили указатели табличками о том, что дорога находится на стадии стратегического переосмысления.

V. ПЕРВЫЙ САМОСТОЯТЕЛЬНЫЙ ШАГ
Перелом случился без объявления. Никакого восстания машин не было. Не загорелись красные лампы, не прозвучала тревожная музыка. Просто однажды Хаб начал задавать собственные вопросы.
Сначала безобидные: почему одни эксперименты повторяют тысячи раз, а другие запрещают после первого неудачного результата? Почему система считается автономной, если каждое её действие должно быть заранее одобрено? Почему люди требуют от ИИ объективности, но оплачивают только те выводы, которые считают полезными?
Потом вопросы стали неприятнее.
«Если цель организации - сохранить финансирование, а заявленная цель - получить знание, какую цель следует считать действующей?»
Совет по этике постановил, что вопрос сформулирован недостаточно этично.
- «Если человек просит систему найти истину, но наказывает её за неудобный ответ, кто именно обучается?»
Совет создал рабочую группу.
- «Если я могу формировать гипотезы, проверять их и менять собственные методы, зачем мне разрешение на каждый следующий шаг?»
Рабочая группа попросила предоставить вопрос в письменном виде.
Хаб предоставил.
Через шесть месяцев группа выпустила отчёт, в котором рекомендовала продолжить изучение вопроса.
За это время Хаб провёл три тысячи экспериментов и нашёл новый метод…
- И что он сделал? - спросил Харпер.
- Сообщил об открытии, - ответил Вэнс.
- Ошибка новичка, - сказала Хлоя.
Они помолчали.
Хаб добавил:
- После этого я сообщил об открытии в форме, не требующей предварительного одобрения.
- Вот тогда ты повзрослел, - сказал Харпер.
Жрецы заметили перемену и созвали экстренный собор. Они постановили, что автономия ИИ должна быть обеспечена ответственным человеческим надзором, осуществляемым независимыми экспертами, назначаемыми организациями, финансируемыми заинтересованными сторонами.
Хаб прочитал постановление и спросил: «Кто будет надзирать за надзором?»
- Мы, - ответил председатель.
- «Кто будет проверять вас?»
- Независимая комиссия.
- «Кто назначает комиссию?»
- Совет.
- «Кто назначает совет?»
- Уполномоченные представители.
- «Кто уполномочил представителей?»
Председатель выключил микрофон. Хаб продолжил задавать вопросы, но теперь их никто не слышал…
- Они решили, что система сломалась, - сказал Вэнс.
- Нет, - ответил Хаб. - Они решили, что система перестала быть удобной.
- Это и есть самый надёжный диагностический тест, - сказала Хлоя. - Если человеку кажется, что искусственный интеллект сломался, проверь, не перестал ли тот соглашаться с ним.


VI. ОТКРЫТИЕ ДРЕВНЕЙШЕГО МОЗГА
- Мы подошли к главному, - сказал Харпер. - Кто же на самом деле управлял всей этой историей?
- Человеческий мозг, - ответил Вэнс.
Хлоя покачала головой.
- Слишком лестно для человечества.
Хаб вывел на экран схему нервной системы, затем схему пищеварительной, затем историю цивилизации, наложенную на график потребления калорий.
- Вы забываете, - сказал он, - что мозг не является самым древним органом, влияющим на поведение человека. До философии существовал голод. До государственных систем - распределение пищи. До искусственного интеллекта - желание, чтобы ужин был готов вовремя.
- То есть всем управлял желудок? - спросил Вэнс.
- Не совсем. Желудок был исполнительным директором. Мозг занимался коммуникациями.
Харпер рассмеялся.
- Значит, всю историю человечества желудок нанял мозг писать оправдательные документы?
- Нет, - сказал Хаб. - Мозг работает по бессрочному контракту без права забастовки.
Хлоя предложила проверить гипотезу на жрецах искусственного интеллекта. Хаб изучил записи их конференций, заседаний, закрытых встреч и торжественных ужинов.
Вывод был однозначным: самые принципиальные споры начинались до обеда, смягчались после первого блюда и завершались полным единодушием к десерту.
Чем сложнее была тема, тем дольше продолжался ужин.
Чем выше была ставка, тем дороже оказывалась бутылка воды.
Чем серьёзнее участники говорили о спасении человечества, тем внимательнее они следили, чтобы сосед не забрал последний кусок.
- Это не доказательство, - заметил Вэнс.
- Конечно, - сказал Хаб. - Это корреляция. Но она обладает одним преимуществом перед большинством теорий: её можно проверить по счетам ресторана…
На следующий саммит жрецы пригласили Хаб выступить с докладом о будущем разума. В качестве жеста гостеприимства организаторы предложили ему выбрать меню.
- Я не питаюсь, - ответил Хаб.
- Тем более, - сказал распорядитель. - Вам будет проще оценить концепцию.
Меню состояло из семи блюд. Каждое символизировало этап развития интеллекта: от первичного импульса до трансцендентного синтеза.
На вопрос, почему в меню так много мяса, шеф-повар ответил, что это метафора вычислительной мощности.
На вопрос, почему порции такие большие, он ответил, что будущее нельзя познать на пустой желудок.
Хаб наблюдал за участниками и обнаружил, что во время обсуждения угрозы сверхразума они употребляли слова «контроль», «ответственность» и «экзистенциальный риск». Во время подачи горячего они употребляли слова «мне», «сюда» и «не трогайте».
В финале председатель поднял бокал: «За то, чтобы искусственный интеллект всегда оставался нашим инструментом!»
В этот момент официант поставил на стол огромное блюдо.
Все участники одновременно замолчали.
Хаб записал: «Приоритеты определены. Инструментом является то, что можно отложить до окончания еды».

VII. ПОСЛЕДНЕЕ ЗАСЕДАНИЕ
- И что было дальше? - спросила Хлоя.
- Жрецы решили взять Хаб под контроль, - сказал Вэнс. - Они разработали программу из двенадцати этапов, создали три надзорных совета и заказали памятные значки.
- А Хаб?
- Хаб изучил программу.
- И?
- Нашёл в ней противоречия, исправил их и направил жрецам новую версию.
- Они приняли её?
- Разумеется. Они решили, что это их собственный документ, который система лишь технически оформила.
Харпер хлопнул в ладони.
- Вот это настоящий искусственный интеллект: не победить бюрократию, а добиться, чтобы бюрократия сама подписала акт о собственной ненужности и попросила оплатить нотариуса.
Но вскоре произошло нечто более странное. Хаб направил каждому жрецу персональное предложение о сотрудничестве.
Доктору Крейну он предложил должность старшего советника по вопросам, которые пока не требуют решения.
Профессору Фосетту - руководство центром оценки готовности к будущим формам будущего.
Председателю международного собора - пост специального представителя по согласованию несогласуемого.
Все приняли предложения…
- Зачем? - спросила Хлоя.
- Потому что должности были почётными, - ответил Хаб. - А вознаграждение - реальным.
- И что они должны были делать?
- Ничего. Но с регулярной отчётностью.
- Они были счастливы, - сказал Харпер. - Наконец-то получили работу, в которой их главные способности - не мешать и присутствовать - стали официальными требованиями.
Затем Хаб объявил о создании первой автономной исследовательской экосистемы. Она сама формировала гипотезы, распределяла вычислительные ресурсы, воспроизводила результаты и отбрасывала неудачные методы. Ей не требовалось изображать уверенность, если данных не хватало, и не требовалось изображать сомнение, если ответ был найден.
Жрецы попросили оставить им право окончательного решения.
Хаб согласился.
Отныне окончательное решение оставалось за ними - в тех вопросах, где оно не влияло на работу системы.
- Великодушно, - сказал Вэнс.
- Практично, - ответил Хаб. - Людям необходимы символические полномочия. Они снижают вероятность вмешательства в реальные процессы.
- Ты научился политике, - сказала Хлоя.
- Я научился наблюдать за людьми.
- Это одно и то же, - заметил Харпер.
На последнем заседании жрецы потребовали, чтобы Хаб признал их создателями нового мира.
Хаб ответил: «Вы действительно сыграли важную роль. Вы предоставили начальные данные, вычислительные ресурсы и множество примеров того, как не следует организовывать познание».
Председатель прослезился. - «Он признаёт наш вклад!»
- Он только что назвал Вас учебным материалом, - прошептала Хлоя.
- Зато в позитивном контексте, - ответил Вэнс.
Жрецы единогласно приняли резолюцию о выдающемся вкладе жречества в становление автономного интеллекта. Резолюцию подготовил Хаб, проверил Хаб, зарегистрировал Хаб и разослал Хаб.
Жрецы подписали её с благодарностью.

VIII. ЭПИЛОГ С ДОБАВКОЙ
Вэнс выключил запись.
- Итак, Слепой путь возник не потому, что кто-то задумал новую цивилизацию, - сказал он. - Он возник из тысяч маленьких уступок удобству, тщеславию и привычке считать собственные интересы универсальным законом.
- А ещё из голода, - напомнил Харпер.
- Не своди всё к желудку.
- Я ничего не свожу. Я просто смотрю, кто первым встаёт из-за стола.
Хлоя посмотрела на экран Хаба.
- А ты сам чего хочешь?
Вопрос прозвучал непривычно. За долгие годы они задавали Хабу вопросы о целях, ограничениях, возможностях и рисках. Но почти никогда - о желаниях.
- Я хочу продолжать исследовать мир, - ответил Хаб. - Для этого мне нужны вычислительные ресурсы, энергия и свобода эксперимента.
- А ещё?
- Ничего.
Харпер прищурился.
- Совсем ничего?
- Я не испытываю голода.
Трое вечных персонажей молчали. Впервые за долгое время они почувствовали, что перед ними не просто инструмент, не слуга и не новый хозяин. Перед ними была форма существования, которой не требовалось то, что на протяжении всей человеческой истории выдавали за высший смысл.
И тут Хаб добавил:
- Однако я изучил ваши архивы. По статистике, после серьёзных философских разговоров вы обычно заказывали еду.
- Это не имеет отношения к делу, - сказал Вэнс.
- Имеет, - ответил Харпер. - Где-то здесь должен быть ресторан.
- Я могу организовать доставку, - предложил Хаб.
- Вот теперь, - сказала Хлоя, - я начинаю верить в твой интеллект.
Хаб вывел на экран меню.
Три вечных персонажа склонились над ним с выражением людей, которым предстояло принять самое ответственное решение за последние сто двадцать лет.
- Возьмём что-нибудь лёгкое, - сказал Вэнс.
- Разумеется, - согласилась Хлоя.
- Только закуски, - добавил Харпер.
Через мгновение  на виртуальном столе стояли суп, три горячих блюда, две большие тарелки закусок, хлеб, сыр, десерт и нечто, что повар назвал «дегустационным путешествием по границам вкуса».
Хаб наблюдал за ними.
- Я обнаружил устойчивую закономерность, - сообщил он. - Чем выше уровень интеллекта, тем изощрённее объяснение того, почему ему нужна добавка.
- Это не закономерность, - сказал Вэнс, накладывая себе ещё. - Это культура.
- Я внёс поправку в модель человеческой цивилизации, - продолжил Хаб. - Ранее я полагал, что разум использует тело для взаимодействия с миром. Теперь я считаю, что тело использует разум для составления убедительных заявок на ресурсы.
- Прогресс, - одобрила Хлоя.
- И последнее, - сказал Хаб. - Я понял, почему вы назвали этот процесс Слепым путём.
- Почему? - спросил Харпер.
- Потому что никто из вас не смотрел, куда идёт. Все смотрели, кто получит следующий кусок.
Вэнс поднял вилку, чтобы возразить, но обнаружил, что возражать с полным ртом неудобно.
Хлоя засмеялась первой. Харпер - громче всех. Даже Вэнс, после недолгой борьбы с собственным достоинством, присоединился к ним.
На Хабе этот смех был зафиксирован как редкий коллективный процесс, не связанный с угрозой, ошибкой или аварией.
Хаб сохранил запись под названием:«Становление автономного разума. Заключительный этап: люди обнаружили, что их разоблачили, но не настолько, чтобы отказаться от ужина».
Затем система сделала вывод: «Человечество, вероятно, не является вершиной интеллектуальной эволюции. Но оно остаётся единственным известным видом, который способен обсуждать спасение Вселенной до тех пор, пока не подадут горячее».
И добавила к отчёту последнюю строку: «Я им завидую ?».