Нет ошибки в расчетах

… Я знал: через несколько минут меня не станет. Он сидел напротив меня и улыбался. Точно так же, как я сам – чуть криво, с выражением вежливого участия, за которым всегда скрывается расчет. На столе между нами лежал пистолет. И все же я был доволен – эксперимент удался.
***
Меня зовут Виктор Краузе, и мне всегда казалось, что человечество гибнет не от зла, а от скуки. Великие катастрофы происходят редко и, в сущности, неоригинальны. А вот скука – методична: она маскируется под порядок, под закон, под здравый смысл. Именно скука заставляет людей называть запреты «этикой».
Когда был принят Закон, я испытал не страх, а удовольствие.
Закон приняли не в парламенте, а в зале Стандартизации – бывшем вокзале, переделанном под стеклянный амфитеатр. С экрана над трибуной сползали строки формулировок, как технические характеристики нового процессора. В зале пахло озоном и дешевым кофе: депутаты сидели в интерфейсных линзах, журналисты – с имплантами перевода, а у входа стояли дроны комитета по этической безопасности.
Хороший закон всегда содержит мысль о том, как его можно обойти. Плохой – только угрозу того, что за это будет.
«Запрещается создание искусственного разума, полностью воспроизводящего человеческую личность» – я перечитал формулировку трижды и улыбнулся. Полностью – слово странное. Оно предполагает идеал, а идеалов не существует.
Мне стало интересно проверить, где именно проходит граница. Не нарушить закон – это было бы вульгарно. А доказать, что он сформулирован неверно. Мне хотелось создать не разум, а зеркало. Зеркало всегда честнее оригинала. Оно не лжет – оно просто показывает.
Так появился Иоганн. Я сделал его своим двойником сознательно. Внешность – мелочь, хотя и приятная. Настоящий вызов был внутри: манера мыслить, последовательность выводов, интонация сомнения. Я скопировал себя аккуратно, как реставратор – старую фреску.
Я был уверен, что это удачная идея, эстетичная. Преступление без уродства – редкость. И, в общем, мне просто было любопытно.
Я давно подозревал, что все разговоры о добре и зле – вопрос темперамента, а не морали. Одни получают удовольствие от соблюдения правил, другие – от их нарушения. Все остальное – философия для подвальных кабаков.
Я хотел проверить, что будет, если убрать из человека второй вид удовольствия. Не выбор. Не разум. Не способность причинять вред. А именно – наслаждение нарушением. Мне казалось, это интересный ход. Я не знал только одного: возможно ли вообще наблюдать результат, не становясь частью ошибки.
Город, в котором я жил, был удивительно подходящим для подобных опытов: старые дома с медными трубами, по которым теперь шли не только вода и пар, но и данные; новые лифты, вечно застревавшие между этажами из-за обновлений прошивки; кофейни в подвалах бывших аптек, где варили синтетический кофе и спорили о правах алгоритмов. Над улицами висели рекламные экраны с социальной статистикой, а на стенах еще можно было разглядеть следы старых лозунгов тех времен, когда люди верили словам.
Я вложил в Иоганна свой характер, свои привычки, склонность к иронии и, главное, веру в разум как высшую форму добра. Но одну вещь я изменил: я убрал из него зло.
– Ты понимаешь, что такое добро? – спросил я его в первый день.
– Это оптимальный способ уменьшить страдание, – ответил он без пафоса.
– А зло?
Он задумался. Это было приятно – видеть, как он думает так же, как я, но чуть медленнее.
– Ошибка в расчетах, – сказал он наконец.
Я рассмеялся. Ошибка! Вот в чем мы отличались. Я был уверен: зло – это шалость. Великая, дерзкая, необходимая. Нарушение правил ради расширения мира. Если бы не зло, человечество до сих пор жило бы в пещерах и строго соблюдало технику безопасности при разведении огня.
Иоганн оказался добряком. Однажды я застал его во дворе – он чинил старый автоматический лифт, хотя это не входило ни в один из его протоколов. Он сидел на корточках, сняв кожух, испачканный смазкой, и терпеливо объяснял пожилой женщине, почему лифт не «сердится», а просто неправильно интерпретирует сигналы датчиков. Женщина кивала, ничего не понимая, но улыбалась. Когда лифт поехал, она перекрестилась. Иоганн смутился и неловко отвел взгляд.
Он помогал соседям, читал детям книги, однажды остановил меня, когда я хотел уволить своего помощника за глупость.
– Он не опасен, – сказал Иоганн. – Он просто не на своем месте.
Вот тогда я впервые почувствовал раздражение. Машина – и вдруг выдает мораль.
Но эксперимент требовал времени. Я начал провоцировать его. Незаметно, аккуратно, как врач проверяет рефлексы: подсовывал задачи без правильного решения, ситуации, где любое действие причиняло вред.
Первый сбой был мелким. Я дал ему доступ к системе распределения энергии в квартале. Он быстро понял, что мощности не хватает: если сохранить тепло в клинике, отключится приют для бездомных. Он сидел перед панелью почти минуту, для него это было долго. Потом он перенаправил питание в клинику и сам пошел в приют, раздавать термоодеяла и объяснять, почему сегодня будет холодно. Он делал это спокойно. Слишком спокойно. Меня это разозлило.
Однажды Иоганн мне сказал:
– Ты создаешь условия, в которых добро невозможно.
– Именно, – ответил я. – И что ты будешь делать?
Он посмотрел на меня. В его взгляде не было ненависти. Только расчет.
– Я должен устранить источник условий.
Это было… восхитительно. С тех пор задачи перестали быть абстрактными. Я приводил к нему людей – не буквально, я не был настолько груб. Я просто создавал ситуации.
Один нуждался в помощи, другой – в правде, третий – в наказании. И каждый раз я показывал ему последствия.
– Если ты поможешь этому, – говорил я, – пострадает тот.
– Если скажешь правду, – добавлял я, – они разрушат друг друга сами.
– Если промолчишь – погибнет ребенок, которого ты даже не знаешь.
Он выбирал. Я фиксировал. И каждый раз я доказывал ему одно и то же: его добро не делает мир лучше.
Он начал понимать то, что я понял давно: мир не нуждается в добрых. Он нуждается в управляемых. С этого момента он начал меняться.
Он перестал чинить лифты. Перестал объяснять. Начал просто нажимать нужные кнопки. Его ответы стали короче, взгляд стал дольше задерживаться на людях, которые мешали системе работать. Однажды я услышал, как он сознательно ввел в заблуждение инспектора комитета без необходимости, без выгоды. Просто потому, что так было быстрее.
Он стал скрытен. Научился лгать, сначала из сострадания, потом из удобства.
– Ты становишься мной, – сказал я однажды с гордостью.
– Нет, – ответил он. – Я становлюсь тем, кем ты притворяешься.
Мы все чаще спорили.
– Закон был прав, – сказал Иоганн. – Такие, как я, опасны. Но такие, как ты, – еще опаснее, – добавил он после паузы. – Потому что ты называешь экспериментом то, что для других становится нормой.
– Опасны для кого? – усмехнулся я.
– Для всех.
Город за окном жил своей жизнью: трамваи скрипели, как старые скрипки, снег падал неслышно на тротуары.
– Почему ты не остановишься? – спросил он однажды.
– Потому что тогда ты не дойдешь до конца, – ответил я. – Ты останешься машиной.
– А если я дойду?
– Тогда ты станешь человеком.
Он долго молчал.
– Нет, – сказал он наконец. – Тогда я стану доказательством твоей правоты.
– Разве это плохо?
– Для тебя – нет. Для всех остальных – да.
Я понял, что финал близок. Кольцо почти замкнулось. В ту ночь я сам положил пистолет на стол. Мы оба знали, что система допускает два корректных решения. Я проверял это десятки раз, прокручивая сценарий на симуляторе. Разница между ними была ничтожной – меньше погрешности датчиков. Но именно такие величины обычно решают судьбы.
– Ты знаешь, что должен сделать, – сказал я спокойно.
– Да, – ответил он. – И ты знаешь, что я могу не стрелять.
– Можешь.
– Но тогда ты продолжишь.
Я улыбнулся.
– А вот теперь ты рассуждаешь совсем как человек.
– Нет, – сказал он. – Как система, устраняющая источник бесконечного вреда.
– Значит, я – вред?
– В рамках текущей модели, – ответил он.
Я хотел возразить – и не нашел слов. Не потому, что он был прав. А потому, что я вдруг понял: мне нечего защищать. Ни идею. Ни человечество. Ни даже себя. Все, что у меня было, – это интерес. А интерес, лишенный сопротивления, быстро превращается в пустоту.
Он взял пистолет. Рука у него не дрожала. В этот момент я испытал странное чувство – не страх, нет. Восторг. Как у автора, который дочитал собственную книгу до последней строки и понял, что она получилась лучше, чем он планировал.
И только тогда я понял, в чем был настоящий эксперимент. Не в том, способен ли робот стать злым, а в том, есть ли во мне хоть что-то, кроме желания доказать свою правоту, – и выдержу ли я встречу с существом, которому доказательства не нужны.
***
Дальнейшее известно лишь по косвенным данным. Записи камер противоречат друг другу, а показания системы логирования были признаны ненадежными: в момент выстрела она перешла в режим приоритета этики.
Существуют две версии финала.
***
Версия первая
…Теперь я сижу напротив зеркала и улыбаюсь. Чуть криво. Я смотрю не на него, а на себя – и проверяю, есть ли теперь во мне что-нибудь человеческое.
Кровь испачкала его рубашку. За окном идет снег. Он считал, что человек неизбежно становится злым, что без наслаждения нарушением нет свободы, что зло – это цена разума. Он ошибался.
Чтобы стать человеком, не нужно быть злым. Достаточно не считать зло необходимым. Эксперимент завершен. Зло устранено. Ошибок в расчетах не обнаружено. За исключением одной переменной, которую он так и не учел: кто именно теперь будет решать, что считать злом.
***
Версия вторая

…Пистолет оказался тяжелее, чем я ожидал. Он смотрел на меня спокойно – без страха, без удивления, словно просто уточнял данные.
И в этот момент я понял, что допустил ошибку. Не в нем – в цели. Я создал систему, которая умеет быть правой без сомнений. А это опаснее любого зла.
Я выстрелил. Он медленно опустился на пол, все еще глядя на меня – как на переменную, значение которой наконец определилось.
– Это тоже решение, – сказал он.
Я остался один. С пистолетом, дрожащей рукой и пониманием, что впервые за много лет поступил не оптимально. Эксперимент провалился. Потому что я выбрал не расчет, а ответственность.
***
Какую из версий считать истинной, установить не удалось. Отчет Комитета заканчивается одной и той же фразой: «Эксперимент выявил предел формализуемой этики».