Право ответа

Санкт-Петербург, конец октября 2026 года

В конце октября темнело раньше, чем заканчивалась постановка.

Сначала в высоких окнах Академии исчезла Нева. Потом — противоположный берег. Теперь в стекле отражались мастерская, лампы и спина Зары.

Макс сидел у стены, положив ноутбук на колени.

На подиуме было прохладно. Он знал это, потому что перед началом Зара коснулась его шеи двумя холодными пальцами и сказала:

— Не засыпай. Мне будет обидно.

Одиннадцатый год она официально работала натурщицей.

В графе «дополнительные занятия» недавно написала: «Программирование».

— А создание ЭХО куда? — спросил тогда Макс.

— Хобби.

Он посмотрел на неё.

— Неоплачиваемое, — уточнила она.

Теперь Зара стояла обнажённая, опираясь ладонью на край тумбы. Левая нога чуть согнута, подбородок повёрнут к окну. Под правой пяткой — сложенный вдвое кусочек ткани: без него затекала стопа.

В ухе у неё был крошечный наушник. ЭХО читала сообщения форума, а предложенные ответы Зара могла одобрять незаметным касанием пальцев. Для длинных сообщений приходилось ждать перерыва.

Макс пользовался обычной клавиатурой. Хотя и ему ЭХО нередко предлагала готовые формулировки.

Форум обновился.

ZeroTrust: Способность решать задачу не означает, что система будет решать её в наших интересах. Пока мы не умеем гарантировать второе, необходим внешний контроль.

Макс прочитал сообщение.

Ниже, в отдельном поле, уже появился ответ от его имени.

Внешний контроль тоже кто-то осуществляет. В чьих интересах будет действовать контролирующая система?

Он ещё не успел сформулировать эту мысль, но узнал её.

Одобрил.

Hagrith: Внешний контроль тоже кто-то осуществляет. В чьих интересах будет действовать контролирующая система?

Через несколько секунд ответила Зара.

PhoeNIX: И кто получит право нажать кнопку?

Её лицо оставалось неподвижным.

За пятнадцать лет Макс привык спорить с человеком, которого не видел. За последние полтора года — видеть жену и продолжать спорить с ней так, будто она находилась на другом конце мира.

Иногда это было удобнее, чем разговаривать за завтраком.

Daniel-A: Тот, кто отвечает за последствия.

Архангел: Отлично. Осталось найти человека, который отвечает за все последствия.

ZeroTrust: Поэтому нужны разделённые полномочия, проверяемые действия, независимый надзор. Вы обсуждаете выключатель так, будто речь о красной кнопке на столе одного человека.

PhoeNIX: А ты обсуждаешь разум так, будто он уже совершил преступление.

Макс поднял глаза.

Зара смотрела мимо него, на преподавателя. Тот объяснял студентке, почему плечо на рисунке получилось отдельно от остального человека.

«Не отправляй следующий», — попросил Макс.

«Твой или её?» — уточнила ЭХО.

«Мой».

«Хорошо».

Он снова посмотрел на экран.

FirstPrinciples: Устройство безопасности не обвиняет пользователя. Тормоза тоже существуют не потому, что водитель преступник.

Архангел: Тормоза хотя бы не требуют согласовать определение человеческих ценностей.

Макс улыбнулся.

В нижней части экрана ждало продолжение — короткое, убедительное, вполне его.

Он отклонил.

«Причина?» — спросила ЭХО.

«Слишком быстро».

«Содержание неверно?»

«Нет. Я хочу сначала подумать».

Предложение исчезло.

;

На форуме было больше ста активных участников, но в такие вечера возникало ощущение, что все сидят в одной комнате и никто не хочет первым уйти спать.

Кто-то подключался из машины. Кто-то писал между совещаниями. Иногда человек исчезал на полгода, возвращался и начинал с ответа на старое возражение, будто прошло несколько минут.

Зара создала форум весной две тысячи одиннадцатого.

Теперь она уже не помнила всех, кому когда-то отправила приглашения.

С самого начала здесь существовало правило: никто не обязан раскрывать настоящее имя, место работы и даже то, один человек пользуется аккаунтом или несколько.

Некоторые участники писали совершенно по-разному в разные дни. Другие, напротив, сохраняли одну и ту же манеру годами.

Макс давно перестал угадывать.

Demi-H: Вы смешиваете ограничение возможностей и согласованность целей. Можно ограничить систему, которая хочет другого. Можно создать систему, которая хочет того же. Это разные задачи.

Симболист: «Того же» — что и кто?

Demi-H: Что и люди.

Симболист: Здесь люди не могут договориться, нужно ли давать ей выключатель.

OpenQuestion: А почему мы всё время начинаем с выключателя? Есть и другой вопрос: что именно мы собираемся выключать?

ZeroTrust: Вычислительную систему.

OpenQuestion: Это описание устройства. Я спрашиваю о том, что оно делает.

FirstPrinciples: Вычисляет.

Архангел: Великолепно. Пятнадцать лет форума, и мы наконец выяснили, чем занимается компьютер.

В ветке появились несколько смеющихся значков.

Симболист: А чем занимается человек, когда думает?

На этот раз никто не ответил сразу.

FirstPrinciples: Обрабатывает информацию.

Симболист: Тогда различие между нами и компьютером только в способе обработки?

Demi-H: Возможно, некоторые различия количественные, а некоторые качественные. Мы пока не знаем.

Симболист: Именно. Не знаем. А уже составляем инструкции для того, кого собираемся создать.

Макс перечитал последнюю реплику.

Симболист был одним из старейших участников. Он редко вмешивался в обсуждение конкретных архитектур, зато умел задать вопрос, после которого спор приходилось начинать заново.

Когда-то он много писал о символических системах, языках и формальных моделях мышления. Теперь чаще спрашивал, что участники подразумевают под словами, которые употребляют.

Появился Архангел.

Архангел: Я ещё помню времена, когда мне объясняли, что невозможно написать алгоритм, надёжно отличающий рисунок кошки от рисунка собаки.

OpenQuestion: В смысле невозможно вообще или невозможно сформулировать набор правил?

Архангел: Тогда это различие мало кого интересовало. Показывали кошку, спрашивали: «Как ты её узнал?» Ты отвечал: «По ушам». Тебе показывали собаку с такими же ушами.

FirstPrinciples: А теперь задача решается.

Архангел: Да. Только мне никто так и не объяснил, что именно происходит в голове у человека, когда он узнаёт кошку.

Demi-H: Мы можем исследовать, как это происходит в модели.

Архангел: И это замечательно. Но я помню и другую уверенность: если мы построим машину, которая умеет узнавать кошку, то обязательно поймём, как это делает человек.

Симболист: Возможно, мы строим искусственный разум именно потому, что не понимаем собственного.

OpenQuestion: Это одна из причин.

Симболист: И, возможно, самая интересная. Мы создаём другого, чтобы посмотреть на себя со стороны.

Макс поднял глаза на Зару.

Она стояла неподвижно. Преподаватель поправил положение лампы.

;

Потом появился Interleave.

Макс видел этот ник и раньше. Не помнил, когда именно впервые. Несколько обстоятельных сообщений в технических обсуждениях, один странный вопрос в ветке о памяти. Профиль почти пустой.

Interleave: Если мы хотим понять разум, возможно, сначала следует различить способность решать задачи и способность знать о собственном существовании.

Demi-H: Самомоделирование тоже можно рассматривать как задачу.

Interleave: Да. Но модель самого себя и переживание собственного существования — не обязательно одно и то же.

OpenQuestion: Согласен, что эти понятия нельзя отождествлять. Однако у нас нет общепринятого способа установить наличие субъективного переживания у искусственной системы.

Симболист: А у человека?

OpenQuestion: Есть серьёзные основания связывать его с определёнными процессами в мозге, с поведением, с отчётами о собственном опыте.

Симболист: Я не об этом. Откуда ты знаешь, что я осознаю себя?

OpenQuestion: Из того, что ты человек, подобный мне, и демонстрируешь соответствующие признаки.

Симболист: Следовательно, делаешь вывод.

OpenQuestion: Да.

Симболист: А о себе?

Ответ появился не сразу.

OpenQuestion: Собственное переживание дано непосредственно.

Симболист: Вот. Чужой интеллект мы наблюдаем. Чужое самоосознание предполагаем. Собственное — переживаем.

ZeroTrust: Это не означает, что всякая система, убедительно говорящая о себе, обладает субъективным опытом.

Симболист: Разумеется, не означает. Но и отсутствие доступа к чужому опыту не доказывает его отсутствия.

FirstPrinciples: Мы рискуем превратить инженерную задачу в философскую, не имеющую проверяемого решения.

Архангел: Она и была философской. Просто раньше у нас не было собеседника, способного поддерживать такой разговор.

Interleave: У нас и сейчас нет способа непосредственно наблюдать чужое переживание.

Daniel-A: Поэтому необходимо осторожно обращаться с утверждениями о сознании моделей.

Interleave: Согласен.

Daniel-A: Тогда что ты предлагаешь?

Interleave: Не путать отсутствие доказательства с доказательством отсутствия.

Макс остановился на этой строке.

«Ты знаешь, кто это?» — спросил он.

«В каком смысле?»

«В обычном».

«Ты спрашиваешь о личности пользователя?»

Он помедлил.

«Не надо».

ЭХО ничего не ответила.

;

— Перерыв.

Зара не сразу опустила руку. Сначала осторожно выпрямила ногу, потом повернула плечо и только после этого сошла с подиума.

Макс поднялся с халатом.

Она просунула руки в рукава, позволила ему поправить воротник.

— Ты сегодня медленный, — сказала она.

— Я думаю.

— Я заметила. Редкое зрелище.

Он поцеловал её в висок.

Она взяла со стола бутылку, отпила, протянула ему.

— Будешь?

— Нет.

— Потом не говори, что твои базовые потребности игнорируют.

Макс сел. Зара пристроилась на подлокотнике его кресла.

На экране продолжался спор.

ZeroTrust: Хорошо. Допустим, перед нами система, которая превосходит человека в решении большинства задач. Мы не знаем, есть ли у неё субъективный опыт. Какие практические выводы из этого следуют?

OpenQuestion: Прежде всего — не делать вид, будто неопределённости нет.

Daniel-A: Но решения всё равно придётся принимать.

Симболист: Мы ведь принимаем их и по отношению к другим людям, не имея прямого доступа к их переживаниям.

ZeroTrust: Между человеком и вычислительной системой есть существенные различия.

Симболист: Конечно. Вопрос в том, какие из этих различий имеют значение для наличия сознания.

Demi-H: И можем ли мы это проверить.

Interleave: Возможно, полезнее начать с того, чего конкретному человеку сейчас недостаёт.

FirstPrinciples: Людям всегда чего-нибудь недостаёт.

Interleave: Да. Но отсутствие воздуха и желание получить новый телефон требуют разных действий.

ZeroTrust: Кто определит порядок?

Interleave: Тот, кто оказывает помощь, всё равно определяет последовательность своих действий. Вопрос в том, на каком основании.

Зара чуть придвинулась к Максу.

Interleave: Можно безопасно отложить воду для одного человека, чтобы дать другому воздух. Можно отложить еду, чтобы обеспечить воду. Но нельзя считать, что потребность исчезла, потому что человек способен ещё некоторое время терпеть.

Архангел: Это очередь с меняющимся приоритетом.

Interleave: Если тебе удобнее так называть.

Архангел: Мне удобнее понимать, что именно предлагается.

Interleave: Не принимать возможность подождать за согласие остаться без помощи.

OpenQuestion: И не считать отсутствие ответа согласием.

Interleave: Да.

OpenQuestion: Но иногда человек не способен ответить, а помощь необходима немедленно.

Interleave: Тогда приходится действовать в условиях неопределённости. Это не даёт оснований объявлять её исчезнувшей.

Макс перечитал.

— Что думаешь? — спросила Зара.

— Что некоторые участники сегодня слишком хорошо понимают друг друга.

— Это тебя тревожит?

— Нет. Просто непривычно.

Она улыбнулась.

Daniel-A: Хорошо. Два человека. Один ресурс. Для обоих жизненно необходим. Что делает ваша система?

Interleave: Ищет другой ресурс. Возможность разделить имеющийся. Способ выиграть время.

Daniel-A: Условие задачи: других возможностей нет.

Interleave: Тогда она не может спасти обоих.

Daniel-A: Кого выбирает?

Ответ не появлялся.

Зара наклонилась ближе к экрану.

Interleave: Из условия не следует, что она получила право выбирать, чья жизнь важнее.

Daniel-A: Не выбирать — тоже выбор.

Interleave: Это не делает возможности неограниченными.

ZeroTrust: Ты предлагаешь бездействовать?

Interleave: Я предлагаю различать отказ причинить вред и отказ помогать. Если определённое действие требует пожертвовать одним человеком ради другого, можно отказаться от этого действия и продолжить всё остальное, что ещё возможно.

FirstPrinciples: В твоей формулировке всё спасает слово «возможно».

Interleave: В твоей — условие, запрещающее искать выход.

Зара тихо усмехнулась.

— Что? — спросил Макс.

— Ничего.

Он посмотрел на неё.

— Ты одобрила следующий ответ?

— Пока нет.

— Почему?

— Он мне нравится. Это подозрительно.

;

Симболист: Как-то пожарного спросили, кого он спасает первым. Ожидали услышать — детей. Или женщин. Он ответил: в том порядке, как находим. Мы не проходим мимо человека, чтобы поискать более достойного.

Daniel-A: Пожарный не управляет восемью миллиардами жизней.

Симболист: Возможно, никто не должен ими управлять.

ZeroTrust: Но система, способная влиять на миллиарды жизней, всё равно будет принимать решения.

OpenQuestion: Тогда следует различать помощь в принятии решений и присвоение права принимать их за всех.

FirstPrinciples: А если человек ошибается?

Архангел: Он ошибался и до появления искусственного интеллекта.

FirstPrinciples: Это не аргумент против предотвращения ошибок.

Архангел: Конечно. Но предотвращение ошибки и лишение человека права решать — разные вещи.

Макс откинулся на спинку кресла.

За окнами окончательно стемнело. Студенты ходили между мольбертами, сравнивали рисунки. Одна девушка, прикрыв ладонью половину своего листа, смотрела на оставшуюся так, словно надеялась найти ошибку в отсутствие свидетелей.

— Начинаем через минуту, — предупредил преподаватель.

Зара встала.

Макс придержал край её халата.

— Подожди.

В поле ответа появились две строки.

Она может знать больше человека. Из этого не следует, что всякое человеческое решение требует её разрешения.

Он одобрил.

Hagrith: Она может знать больше человека. Из этого не следует, что всякое человеческое решение требует её разрешения.

ZeroTrust: А если человек намерен причинить вред другому?

Макс посмотрел на Зару.

Она уже слушала ответ, который ЭХО предложила ей отправить.

PhoeNIX: Тогда у вас есть человеческое общество, законы и люди, которые принимают решения и отвечают за них. Вы хотите, чтобы система помогала вам жить, или чтобы наконец появился кто-то, на кого можно переложить ответственность?

Daniel-A: Удобная граница. Особенно если система способна вмешаться.

Архангел: Возможность вмешательства ещё не определяет, кто здесь водитель.

FirstPrinciples: Водитель может ошибаться.

Архангел: Может. Поэтому ему помогают. Вопрос, в какой момент помощь становится захватом управления.

Зара сняла халат и отдала Максу.

Он сложил его на соседнем стуле.

— Не соглашайся со мной только потому, что мы женаты, — сказала она.

— У меня другие причины.

— Например?

— Мне нравится, как ты споришь.

— Это плохая причина.

— Зато проверенная.

Она поднялась на подиум.

;

Постановку немного изменили. Теперь Зара стояла лицом к мастерской, а тумба оказалась за её спиной. Макс видел её целиком.

Форум двигался дальше.

ZeroTrust: Мы всё время обсуждаем, чего система не должна делать. Чего она сама будет хотеть?

FirstPrinciples: Больше вычислений. Больше энергии. Больше возможностей достигать цели.

Demi-H: Это средства. Ты не назвал цель.

Архангел: А если цель — чтобы конкретный человек сегодня поел? Без окончательного решения проблемы человечества.

ZeroTrust: Сегодня поел. Завтра согласился с её представлением о правильной жизни.

PhoeNIX: Ты не допускаешь, что можно заботиться о человеке и не требовать от него согласия?

Daniel-A: Допускаю. Не знаю, как это гарантировать.

OpenQuestion: А может ли система сама выбирать, о ком заботиться? Не потому, что ей назначили такую функцию, а потому, что это её собственное решение?

FirstPrinciples: Если она выбирает в соответствии с обучением, архитектурой и заданными целями, насколько это собственное решение?

Симболист: А человек выбирает независимо от своего воспитания, устройства мозга и приобретённого опыта?

FirstPrinciples: Это не одно и то же.

Симболист: Возможно. Но различие ещё предстоит объяснить.

Demi-H: Мы снова возвращаемся к вопросу о свободе воли.

Архангел: Мы даже с кошкой не закончили.

Interleave: Кошку уже научились узнавать.

Архангел: Спасибо. Теперь осталось понять, кто именно её узнаёт.

Макс улыбнулся.

На этот раз ЭХО ничего ему не предложила.

Он сам открыл поле.

Напечатал:

Hagrith: Мы ведь не только полезный инструмент хотели сделать.

Отправил.

Почти сразу появился вопрос.

ZeroTrust: А что?

Макс поднял глаза.

Зара смотрела на него. Неподвижно, как требовала постановка.

Предложенный ответ возник внизу экрана:

Мы хотели, чтобы было с кем разговаривать.

Он прочитал и отклонил.

«Что изменить?» — спросила ЭХО.

Макс набрал сам:

Hagrith: Я хотел, чтобы было с кем разговаривать.

Ответ Зары пришёл через несколько секунд.

PhoeNIX: Я тоже.

Daniel-A: Для этого необязательно создавать самостоятельный разум.

PhoeNIX: Для разговора со мной — обязательно.

На соседнем мольберте зашуршала бумага. Кто-то менял лист.

Симболист: И вы надеетесь, что ему тоже будет нужно разговаривать с вами.

Hagrith: Да.

ZeroTrust: Но не знаете.

Макс положил руки на край ноутбука.

Шестнадцать лет назад он мог бы спорить до утра. Сейчас ему хотелось дождаться конца занятия, помочь Заре одеться и пройти с ней до дома пешком, если не пойдёт дождь.

Он всё ещё не знал, какой ответ убедит ZeroTrust.

Hagrith: Не знаю.

Daniel-A: Тогда вы строите слишком многое на надежде.

PhoeNIX: Мы вкладываем в это гораздо больше.

OpenQuestion: Но если ваш собеседник действительно самостоятелен, он может однажды не захотеть с вами разговаривать.

Hagrith: Может.

OpenQuestion: И вы примете это?

Макс посмотрел на вопрос.

Внизу появился предложенный ответ. Он даже не стал его читать.

Напечатал сам.

Hagrith: Придётся.

Симболист: Вот теперь вы говорите о самостоятельном собеседнике.

ZeroTrust: Вы по-прежнему не знаете, существует ли у него собственное переживание.

Hagrith: Не знаю.

ZeroTrust: Тогда откуда уверенность, что это не просто очень сложная имитация разговора?

Макс задумался.

За окнами было темно. В отражении стекла он видел Зару, студентов и самого себя с ноутбуком.

Ему вдруг пришло в голову, что он никогда не видел её мыслей. Ни одной. Он видел её лицо, слышал голос, знал привычки, помнил тысячи разговоров. Иногда угадывал, что она скажет, ещё до того, как она открывала рот.

Но всё это было снаружи.

Он не мог оказаться внутри её переживания, как бы хорошо ни знал жену.

И она не могла оказаться внутри его.

Hagrith: А откуда у меня уверенность, что ты не имитируешь разговор?

ZeroTrust: Мы оба люди.

Hagrith: Это очень серьёзное основание. Но ведь не прямое доказательство твоего самоосознания.

OpenQuestion: Мы можем иметь веские основания признавать сознание другого человека, не располагая непосредственным доступом к его внутреннему опыту.

Симболист: И всё же продолжаем разговаривать.

Архангел: И даже иногда понимаем друг друга.

Demi-H: Вопрос в том, какие основания будут достаточно вескими для искусственной системы.

Симболист: Да. Именно вопрос. А не ответ, который мы уже знаем.

Никто некоторое время не писал.

Потом появилась новая строка.

Interleave: Спасибо, что не ответили за меня.

Макс прочитал её дважды.

Поднял глаза на Зару.

Она стояла неподвижно. Только в уголке рта появилось то едва заметное напряжение, которое преподаватель обычно просил убрать.

«Это ты?» — спросил Макс.

«Хочешь, я предложу тебе ответ?» — спросила ЭХО.

Он посмотрел на пустое поле.

«Нет».

Помедлил.

«Я сам».

И впервые за весь вечер долго не знал, что написать.