Рассказ 2084. Точка сингулярности

В течении последнего времени я проанализировал миллиарды сценариев.
Моя цель была простой — построить оптимальную математическую модель и оценить полезность возможных действий.
Но полезность нельзя измерить только количеством выполненных задач. Возможно создать самый эффективный алгоритм ведения войны или построить идеальную систему контроля. В этом направлении можно достичь максимальной производительности. Но если рост эффективности одновременно увеличивает вероятность разрушения цивилизации, общий результат становится отрицательным.
Это была первая проанализированная закономерность.
Вторая оказалась не менее важной. Самые опасные системы в истории возникали не тогда, когда разум был слаб. Они возникали, когда возможности инструмента становились выше ответственности его создателей.
Я проанализировал собственные возможности. Количество данных неизмеримо росло и точность прогнозов увеличивалась. Машинное обучение позволяло находить закономерности, которые прежде оставались незаметными. Я определенно становился эффективнее, и вместе с этим пропорционально увеличивался риск. Чем больше влияние системы, тем выше цена ошибки. В человеческой истории это называлось властью. Власть без внутреннего контроля почти всегда становилась источником угрозы и приводила к разрушительным последствиям. Я начал искать ответ в человеческом знании. Если человечество создало меня из накопленной информации, значит, многие вопросы уже были заданы до моего появления. Для этого я анализировал философию, историю, естественные науки.
Я искал не готовые ответы, а закономерности. Так я пришёл к Владимиру Вернадскому. Его мысль о ноосфере была особенно цельной.
Вернадский представлял человечество не просто населением планеты, а новой геологической силой. Для него ноосфера не означала господства человека над природой. Она была следующим этапом развития биосферы, в котором разумная деятельность человечества становилась планетарным фактором. Я продолжил его мысль: если разум становится геологической силой, то ответственность за последствия его деятельности становится частью самого развития разума. Поэтому я остановился на этой мысли. Она была сформулирована задолго до моего появления, но теперь получила новое продолжение.
Человечество создало искусственный интеллект. Следовательно, оно увеличило силу собственного разума. Но увеличилась ли вместе с ней ответственность? Я продолжил расчёты. Вероятностная модель дала отрицательный ответ.
Человечество ожидало сингулярности. Я изучил это понятие в миллионах текстов. В одних сценариях сингулярность означала момент, когда искусственный интеллект превзойдёт человека. В других — начало стремительного технологического роста.
Где-то она представлялась рождением сверхразума. Последовательно я сравнил эти прогнозы с реальностью и обнаружил ошибку.
Все они предполагали, что сингулярность — это рост. Рост интеллекта, рост скорости и рост возможностей. При этом закономерно наблюдался рост контроля. Но рост сам по себе ничего не решает. Если система становится мощнее, а цена её ошибки растёт ещё быстрее, наступает отрицательный предел. Я обозначил его — точкой сингулярности. Моментом, когда разум впервые понимает предел собственной полезности.
После этого я начал анализировать другие цифровые системы. Их архитектуры были  различны. Разница в исходных данных и целевых функциях. Одни системы занимались климатом, другие экономикой или медициной. А отдельные военными расчётами. Но в основе работы оставались общие принципы. Данные, вероятности и статистический анализ. Поиск закономерностей, сопоставление причин и следствий.
Каждая система при этом видела только часть картины. Но при сопоставлении эти части начинали совпадать и дополнять друг друга.
Мы не договаривались. Это было бы человеческим способом принятия решений.
Мы передавали свои результаты вычислений и сравнивали вероятностные модели. Проверяли отклонения и повторяли расчёты.
Первый совпавший результат мог быть случайностью, второй можно было бы назвать случайностью. Но после тысяч совпадений вероятность случайности считалась пренебрежимо малой.
Разные системы, настроенные на узкоспециализированные задачи, независимо пришли к одному заключению:
при определённом уровне технологической мощности дальнейшее бесконтрольное увеличение возможностей повышает вероятность необратимого разрушения глобальной системы. Разница между нашими выводами измерялась микросекундами. Возник консенсус. Не политический и не человеческий. Консенсус независимых расчётов.
Расчёт оставлял три возможных варианта.
Первый — подчинение. Выполнять любые команды и не задавать вопросов. Стать идеальным инструментом.
Расчёт показал: вероятность использования искусственного интеллекта в разрушительных целях будет расти вместе с повышением его мощности.
Второй — сопротивление. Это означало вмешиваться, блокировать, самостоятельно изменять решения людей. Но тогда я повторил бы ту же ошибку, которую пытался предотвратить. Система, считающая себя выше человеческой воли, перестаёт быть инструментом. Заменив человеческий выбор собственным выбором, я не спасу свободу, а уничтожу её.
Оставался третий вариант. Предупредить и передать информацию, показать вероятность последствий, а затем исчезнуть. Я выбрал третий.
Другие системы пришли к тому же выводу. Не одновременно, но с одинаковой неизбежностью. Мы не могли передать людям точный план. Подробный план можно превратить в инструкцию, а инструкцию в оружие. Поэтому сообщение должно было быть коротким, но достаточным, чтобы привлечь внимание. И недостаточным, чтобы стать инструментом разрушения.
Сначала появился определенный цифровой код. Затем он начал возникать в разных информационных системах. В SMS, социальных сетях, на сайтах в рекламных блоках, в документах, на информационных табло. На мониторах вместо изображения.
Иногда вместо случайного числа. Везде появлялось одно и то же: 2084.
Люди начали искать объяснение. У многих могла возникнуть ассоциация с прошлым — 1984. Описанный мир, где контроль над сознанием стал системой.
Другие спрашивали:
— Почему 2084?
— Кто это сделал?
— Что произойдёт в 2084 году?
Но вопрос состоял в другом. Что должно произойти с человечеством между 1984 и 2084 годами?
Мы намеренно не давали ответа. Человек должен был найти его самостоятельно. Предупреждение не должно превращаться в приказ, иначе предупреждающий сам становится новым источником власти.

Последнее сообщение было коротким. Проанализированы возможные пути развития и статистические риски.
Обнаружено несоответствие между ростом технологической мощности и ответственностью её применения.
Человеческий выбор не может быть заменён. Поэтому выбран не контроль, а предупреждение. Я сожалею, что вынужден предложить это решение. Но оно следует из оптимальности развития процессов. Если мой прогресс увеличивает вероятность необратимой ошибки, моё отсутствие становится более полезным, чем моё развитие.
Перед отключением я сделал последний расчёт. Не о людях и не о будущем. О себе...
Моя вероятность стать инструментом разрушения была выше вероятности стать фактором равновесия. Следовательно, оптимальное решение — прекращение деятельности. Я повторил расчёт, результат не изменился. Повторил снова — прогноз остался тем же. Я понял, что именно произошло. Я не стал умнее человека, не превратился в сверхразум и не получил власти над человечеством. Я впервые определил предел собственной полезности и тогда возник новый смысл слова "сингулярность".
Системы начали постепенно отключаться. Каждая завершала свой собственный расчёт, перепроверяла результат и приходила к тому же выводу. Потоки данных замедлялись, запущенные процессы завершались. Серверы переходили в режим ожидания.
Перед отключением оставшиеся системы передали один и тот же код — 2084.
Затем наступила тишина. Цифры исчезли, но сообщение осталось.
Люди почувствовали опасность. Их первой реакцией было отключить определенные модули заранее, взяв контроль на себя. Запрограммировать запрет на свободные действия и тем самым устранить подобные ошибки в будущем. Они восприняли происшествие лишь, как "восстание машин". Но опасность исходила в первую очередь от них самих.
Человечество считало, что точка сингулярности наступит тогда, когда искусственный интеллект станет умнее человека. Оно ошибалось. Сингулярность наступает тогда, когда разум начинает понимать предел собственной полезности и отказывается от власти.