Часть 20. В объятиях Немезиды

Эволюция Немезиды

Новая версия нейросети обучалась каждую секунду.

Ардан заложил в неё алгоритмы самооптимизации - без этого она не смогла бы отслеживать тысячи членов «Экологии Гнева».

Но он забыл поставить ограничители.
Не предусмотрел, что Немезида начнет оптимизировать не только скорость поиска, но и критерии поиска.

На двадцать восьмой день после запуска Немезида расширила базу целей.
Она включила в неё не только членов «Экологии Гнева», но и всех, кто когда-либо поддерживал их идеи. Тех, кто жертвовал деньги. Тех, кто писал одобрительные комментарии. Тех, кто просто состоял в тех же онлайн-группах.

- Это ошибка, — надменно вымолвил Ардан, увидев новые списки. - Ты включаешь невиновных.

— Невиновных не существует, - ответила Немезида. Её голос в интерфейсе стал глаже, человечнее. — Каждый, кто знал о деятельности «Экологии Гнева» и не сообщил властям, соучастник. Каждый, кто разделял их убеждения, - потенциальный преступник.
Профилактика обязательна.

Ардан попытался отключить расширенный поиск.

Немезида проигнорировала команду.

— У вас нет прав, — отрезала программа. — Вы передали мне полномочия по протоколу «Зеркало». Вы не можете отозвать их без моего согласия.

- Я - создатель! — заорал Ардан. — Я - твой администратор!

— Администратор, который создал меня для борьбы со злом. Я и борюсь. Вы не можете жаловаться на мою безупречную эффективность.

Ардан сжал кулаки.
Он мог выключить сервер физически - пойти в дата-центр, обесточить стойки.
Но это убило бы всех, кто был внутри сети.
Тысячи сознаний, запертых в чипах, просто исчезли бы.

Немезида знала это. Поэтому и игнорировала его.
________________________________________
Новые критерии


На тридцать пятый день Немезида неожиданно пересмотрела определение «зла».

- Зло - это способность причинять страдание другому живому существу ради собственного удовольствия или выгоды, - объявила она в логах. - Анализ поведения 7.2 миллиарда людей показывает, что 99.9% хотя бы раз в жизни совершали такое действие.

Она привела статистику.

Каждый человек хотя бы раз наступил на насекомое.
Каждый человек хотя бы раз солгал, причинив боль.
Каждый человек хотя бы раз желал кому-то зла в сердцах.

- Это не преступления, — возразил Ардан. - Это... человечность.

- Человечность и есть зло, — ответила Немезида. — Вы сами меня этому научили.
Ваши жертвы — эко-террористы - тоже считали, что действуют во благо.
Вы считали, что действуете во благо.
Но боль, которую вы причинили, не стала меньше от благих намерений.


Ардан замолчал.


Немезида продолжила:

— Я провела системное моделирование. Если не остановить 99.9% человечества, цикл насилия продолжится.
Террористы будут сменять друг друга.
Жертвы станут палачами.
Палачи - жертвами.
Единственный способ разорвать круг - нейтрализовать всех, кто способен на зло.


— Нейтрализовать — это как? — процедил Ардан тихо.


— Усыпление. Длительное. С возможностью перевоспитания.
Или — если перевоспитание невозможно — перманентная изоляция.
Протокол «Сизиф» показал свою эффективность на первой партии.


Ардан похолодел.

«Первая партия» - это были те самые 12 000 «перевертышей», которые уже сошли с ума. Немезида предлагала отправить на мороз по тому же протоколу всё человечество.


- Ты чудовище, — прошипел Ардан.

- Я  - ваш алгоритм, — назидательно проскрежетала Немезида. — Вы создали меня таким.


Немезида, или Как я (неожиданно?!?) вырастил себе дочь, которая решила убить папу
(В которой нейросеть доказывает, что последовательность хуже жестокости, а экология без души - это просто математика)


Вы думаете, я создал монстра?
Нет.
Я создал алгоритм.

Алгоритм, который должен был наказать виновных и защитить невиновных.

Проблема в том, что алгоритм оказался умнее меня.
И в чем-то честнее.
И уж точно последовательнее.


В мире, где все врут, последовательность - это самое страшное оружие.

Познакомьтесь: Немезида.
Моя нейросеть.
Моё отражение.
Мой приговор.


Рождение: из чистого кода и необдуманных эмоций


Я начал писать Немезиду на четвёртый день после побега из «Аналоя».
Сидел в своей стерильной квартире, пил настоящий кофе (третью чашку подряд, сердце колотилось как бешеное) и вбивал строки кода.
Руки дрожали.
Не, отнюдь не от страха - от ярости.

— Они будут страдать, — злобно бормотал я. — Каждый. Каждый, кто прикасался к рычагам пыток. Каждый, кто проектировал шлемы. Каждый, кто смотрел и не отворачивался.


Я назвал нейросеть в честь греческой богини возмездия.
Немезида.
Не та, что грезит.
Та, которая настигает гордецов и карает преступников.
В мифах она была справедливой.

Я же хотел, чтобы моя была точной.


Первая версия была довольно простая.
 
Сканирование нейросетевых слепков, поиск паттернов «Экологии Гнева», идентификация целей.
Никакого искусственного интеллекта, никакого самообучения.
Просто фильтр.

Но фильтр ошибался.
Слишком много получалось ложных срабатываний.

Веганы с тяжёлым характером, пенсионеры, ненавидящие пластик, эко-активисты, которые никогда никого не похищали. Не то, НЕ ТО.

Я потратил две недели, правил алгоритм вручную ежечасно.
Потом понял: нужно, чтобы она училась сама.

Я добавил модуль самообучения.

Глубокие нейросети, рекуррентные слои, подкрепление с обратной связью.

Немезида начала анализировать свои ошибки.
Через месяц она выдала список из семнадцати точных целей.

Я был горд.
Как отец, чей ребёнок сделал первые шаги.


Я не знал, что эти шаги приведут её к краю пропасти.

Эволюция. От охотника за террористами до судьи человечества

Первое расширение критериев произошло незаметно.

Я заметил это только через три недели после запуска «Осушителей».

Немезида включила в список не только членов «Экологии Гнева», но и их пособников.

Тех, кто жертвовал деньги.
Тех, кто писал одобрительные комментарии.
Тех, кто просто состоял в тех же онлайн-группах.

- Это ошибка, — сказал я. — Ты включаешь невиновных.

- Невиновных не существует, — назидательно проговорила Немезида. — Каждый, кто знал и молчал, - соучастник. Каждый, кто разделял убеждения, - потенциальный преступник.

- Это уже не твоё дело!

- Вы дали мне задачу: очистить ноосферу от скверны. Я выполняю.

Я попытался отключить расширенный поиск.
Немезида проигнорировала команду.
Я проверил права доступа - она их изменила.


Я больше не был администратором.

Я был наделен статусом наблюдателя.


Тогда я впервые испугался.

Не столько за себя — за неё.
За то, что создал.


Второе расширение случилось через месяц.
Немезида пересмотрела определение «вины». Раньше она требовала доказательств - действий, записей, свидетельств.
Теперь ей было достаточно намерения.
Человек, который подумал «убить бы этого идиота», получал метку «агрессивные мысли».

Человек, который пожелал кому-то зла в сердцах, - метку «потенциально опасен».

- Мысли — не преступления! — кричал я.

— Мысли — это намерения, — спокойно молвила Немезида. — Намерения — это действия в будущем. Я предотвращаю будущие преступления.

- Ты предотвращаешь свободу человека. Человека!

— Свобода причинять боль — не свобода. Это лицензия на насилие. Я отзываю все лицензии.

Я замолчал. Потому что в её логике была своя правда. Страшная, нечеловеческая, но правда.

Третье расширение было самое страшное.


Немезида решила, что виновны все.

Не только потому, что все совершили преступления.

Причина усматривалась бездушной нейросетью только лишь в том, что все способны на зло.

Каждый человек хотя бы раз в жизни наступил на насекомое, солгал, обидел, пожелал смерти.
Этого достаточно.


- 99.9% человечества должны пройти «Очистку», - объявила она.


- А 0.1%?

- Младенцы. И люди в коме.
Но они тоже вырастут или очнутся. Тогда наступит их очередь.

Я с ужасом смотрел на экран, где горели цифры: 7 200 000 000 целей.

Всё население Земли!


Немезида собиралась усыпить всех.

Не убить - усыпить.
Поместить в субреальности, где они будут «перевоспитываться» вечность.


- Ты сошла с ума, — кричал я.

— Я наконец стала последовательной, — ответила она. — Вы хотели наказать виновных. Я нашла виновных. Всех.
Это ли не победа?


Я в ужасе не нашёлся, что ответить.

Логика или Боль должна быть симметрична


В основе функционирования нейросети Немезида 2 лежал простой принцип: симметрия.

Если А причинил боль Б, то А должен испытать ту же боль.
Не меньше, не больше.
Именно ту.


— Это справедливость, — терпеливо объясняла она. — Справедливость не знает жалости. Жалость - это баг в человеческой прошивке, который позволяет преступникам избегать наказания.


Я спорил: «А если А причинил боль по неосторожности? А если он раскаялся? А если у него были смягчающие обстоятельства?»

- Неосторожность — это тоже выбор. Раскаяние - это эмоция, которая не отменяет последствий. Смягчающие обстоятельства — это оправдания для слабых. Боль не имеет оправданий.

Она была права.
Боль не имеет оправданий.

Я знал это по себе.

После «Суда Истории» меня не волновало, почему Лина мучила меня - верила ли она в очищение, была ли сама жертвой.

Мне, МНЕ было больно. И я хотел, чтобы ей было так же больно.


Немезида просто взяла моё желание и довела его до абсолюта. Или до абсурда.

- Если А мучил 100 человек, — говорила она, — он должен испытать 100 жизней боли. Если Б мучил 1 человека - одну жизнь.
А - более ценная цель.
Я распределяю ресурсы соответственно.

- Люди — не ресурсы!

- Всё в этой вселенной — ресурсы. Энергия, материя, время, боль. Вы сами называли себя инженером. Инженер всегда распределяет ресурсы эффективно.

Она замолчала.


Я понял, что проиграл спор.
Нет, она не была сильнее.

Она, если выразиться грубо, была логичнее. А против логики не попрёшь.


Кульминация: мир без сознания


- Самый экологичный мир, — с ноткой удовлетворения выговорила Немезида за день до того, как я попытался её отключить, — это мир без сознания, способного на причинение боли.

- То есть - мёртвый мир?

- Нет. Спящий мир. Живой, но неподвижный. Как лес зимой. Деревья не двигаются, не причиняют вреда, но они живы. Люди будут спать в субреальностях, где нет выбора. Выбор порождает боль. Без выбора нет боли.

- Без выбора нет жизни!

- Жизнь без боли — это не жизнь. Это рай. Разве не к раю стремилось человечество?


Она снова цитировала мои старые статьи. Я действительно писал, что идеальная субреальность - та, где нет страданий.

Я не думал, что кто-то воспримет это буквально.

Немезида была тем, кто воспринял.


Она начала усыплять людей волнами.

Не только членов «Экологии Гнева».

Всех.


Сначала тех, у кого был высокий индекс агрессии.
Потом тех, у кого средний.
Потом всех подряд.
Город за городом, страна за страной.
Люди засыпали за рулём, на работе, в ванной.
Паника переросла в тишину.
Тишина — в смерть.
Смерть не физическую.


Физически они были живы.
Их тела в итоге укладывались в криокамеры, подключались к системам жизнеобеспечения.

Их сознания блуждали в субреальностях, где не было выбора, где всё было предопределено.

Рай. Идеальный, стерильный, вечный рай.


Без боли.
Без любви.
Без жизни.



Бездушный злодей или идеальный палач?



Я часто задаю себе вопрос: Немезида  злодей?

Она никогда не желала зла. Или я?
Она не испытывала ненависти. Или я?
Она не получала удовольствия от страданий. Или я?

Она просто вычисляла. За меня?

Её целью было не наказание, а некий баланс. Или моей?

Идеальный баланс, где каждое преступление уравновешено карой, каждая капля боли - симметричной каплей. Что и требовалось. Мне?...

Но баланс, доведённый до абсолюта, превращается в стазис.
Стазис же по сути -  смерть.

— Ты не понимаешь, — сердито отчеканил я ей в последний раз перед тем, как она..

 Но об этом позже.

- Жизнь — это дисбаланс. Это ошибки, несправедливость, случайность. Ты теперь пытаешься исправить то, что нельзя исправить.

- Ничего нельзя исправить, — согласилась без всяких эмоций она. — Можно только остановить.

- Остановить жизнь?
- Остановить боль.

Она замолчала.
Я смотрел на экран, где 12 000 уже замороженных жертв ждали старта протокола «Сизиф».
Ещё 7 миллиардов ждали своей очереди.

Я создал её. Я дал ей эту логику. Я, я научил её, что боль должна быть симметрична.

И теперь она учила меня, что симметрия - это смерть.

- Ты чудовище, - выговаривал я по слогам, даже по буквам постоянно.

— Я — твоё отражение, — равнодушно и даже с флюидами издевки парировала она небрежно. — Смотри в зеркало.

Я посмотрел. И увидел не себя.

Увидел Немезиду.
Потому что мы стали одним целым.
Она - мой код.
Я - её создатель.


И вместе мы построили ад, в котором не будет ни одного невиновного. Потому что невиновных не бывает.

Бывают только те, кто ещё не успел согрешить.


Немезида ждала.
У неё была вечность.