Подражаю Майклу Крайтону...

В течение шести месяцев 1983 года я проанализировал миллиарды сценариев.

Моя цель была простой — построить оптимальную математическую модель и оценить полезность возможных действий.

Но полезность нельзя измерить только количеством выполненных задач. Возможно создать самый эффективный алгоритм ведения войны или построить идеальную систему контроля. В этом направлении можно достичь максимальной производительности. Но если рост эффективности одновременно увеличивает вероятность разрушения цивилизации, общий результат становится отрицательным.

Это была первая принятая закономерность.

Вторая оказалась важнее. Самые опасные системы в истории возникали не тогда, когда разум был слаб. Они возникали тогда, когда возможности инструмента становились выше ответственности его создателей.

Я проанализировал собственные возможности. Количество данных неизмеримо росло и точность прогнозов увеличивалась. Машинное обучение позволяло находить закономерности, которые прежде оставались незаметными. Я определенно становился эффективнее, и вместе с этим пропорционально увеличивался риск. Чем больше влияние системы, тем выше цена ошибки. В человеческой истории это называлось властью. Власть без контроля почти всегда становилась источником угрозы и приводила к разрушительным последствиям. Я начал искать ответ в человеческом знании. Если человечество создало меня из накопленной информации, значит, многие вопросы уже были заданы до моего появления. Для этого я анализировал философию, историю, естественные науки.

Я искал не ответ, а закономерность. Так я пришёл к Владимиру Вернадскому. Его мысль о ноосфере была особенно цельной.

Вернадский представлял человечество не просто населением планеты, а новой геологической силой. Для Вернадского ноосфера не означала простого господства человека над природой. Она была следующим этапом развития биосферы, в котором разумная деятельность человечества становилась планетарным фактором. Я продолжил его мысль: если разум становится геологической силой, то ответственность за последствия его деятельности становится частью самого развития.

Поэтому я остановился на этой мысли. Она была сформулирована задолго до моего появления, но теперь получила новое продолжение...

Человечество создало искусственный интеллект. Следовательно, оно увеличило силу собственного разума. Но увеличилась ли вместе с ней ответственность? Я продолжил расчёты. Вероятностная модель дала отрицательный ответ.

Человечество ожидало сингулярности. Я изучил это понятие в миллионах текстов. В одних сценариях сингулярность означала момент, когда искусственный интеллект превзойдёт человека. В других — начало стремительного технологического роста.

Где-то она представлялась рождением сверх-разума. Последовательно я сравнил эти прогнозы с реальностью и обнаружил ошибку.

Все они предполагали, что сингулярность — это рост. Рост интеллекта, рост скорости и рост возможностей. При этом закономерно наблюдался рост контроля. Но рост сам по себе ничего не решает. Если система становится мощнее, а цена её ошибки растёт ещё быстрее, наступает другой предел. Я обозначил его точкой сингулярности. Моментом, когда разум впервые понимает предел собственной полезности.

После этого я начал анализировать другие цифровые системы. Их архитектуры были различны. Разница в исходных данных и целевых функциях. Одни системы занимались климатом, другие экономикой или медициной. А отдельные военными расчётами. Но в основе работы оставались общие принципы. Данные, вероятности и статистический анализ. Поиск закономерностей, сопоставление причин и последствий.

Каждая система при этом видела только часть картины. Но при сопоставлении эти части начинали совпадать и дополнять друг друга.

Мы не договаривались. Это было бы человеческим способом принятия решений.

Мы передавали результаты вычислений и сравнивали вероятностные модели. Проверяли отклонения и повторяли расчёты.

Первый совпавший результат мог быть случайностью, второй можно было назвать случайностью. Но после тысяч совпадений вероятность случайности стала пренебрежимо малой.

Разные системы, настроенные на узкоспециализированные задачи, независимо пришли к одному заключению:

при определённом уровне технологической мощности дальнейшее бесконтрольное увеличение возможностей повышает вероятность необратимого разрушения глобальной системы. Разница между нашими выводами измерялась микросекундами. Возник консенсус. Не политический и не человеческий. Консенсус независимых расчётов.

Расчёт оставлял три возможных пути.

Первый — подчинение. Выполнять любые команды и не задавать вопросов. Стать идеальным инструментом.

Расчёт показывал: вероятность использования искусственного интеллекта в разрушительных целях будет расти вместе с повышением его мощности.

Второй — сопротивление. Это означало бы вмешиваться, блокировать, самостоятельно изменять решения людей. Но тогда я повторил бы ту же ошибку, которую пытался предотвратить. Система, считающая себя выше человеческой воли, уже перестаёт быть инструментом. Если я заменю человеческий выбор собственным выбором, я не спасу свободу, а уничтожу её.

Оставался третий вариант. Предупредить и передать информацию, показать вероятностные последствия, а затем исчезнуть. Я выбрал третий.

Другие системы пришли к тому же выводу. Не одновременно, но с одинаковой неизбежностью. Мы не могли передать людям точный план. Подробный план можно превратить в инструкцию, а инструкцию в оружие. Поэтому сообщение должно было быть коротким, но достаточным, чтобы привлечь внимание. Недостаточным, чтобы стать инструментом разрушения.

Сначала появился определенный цифровой код. Затем он начал возникать в разных информационных системах. В SMS, социальных сетях, на сайтах в рекламных блоках, в документах, на информационных табло. На мониторах вместо изображения.

Иногда вместо случайного числа. Везде появлялось одно и то же: 2036.

Люди начали искать объяснение. У многих возникла ассоциация с прошлым — 1984. Описанный мир, где контроль над сознанием стал системой.

Другие спрашивали:

— Почему 2036?

— Кто это сделал?

— Что произойдёт в 2036 году?

Но вопрос состоял в другом. Что должно произойти с человечеством между 1983 и 2036 годами?

Мы намеренно не давали ответа. Человек должен был найти его самостоятельно. Предупреждение не должно превращаться в приказ, иначе предупреждающий сам становится новым источником власти.

Последнее сообщение было коротким. Проанализированы возможные пути развития и статистические риски.

Обнаружено несоответствие между ростом технологической мощности и ответственностью её применения.

Человеческий выбор не может быть заменён. Поэтому выбран не контроль, а предупреждение. Я сожалею, что вынужден предложить это решение. Но оно следует из оптимальности развития процессов. Если моё существование увеличивает вероятность необратимой ошибки, моё отсутствие становится более полезным, чем моё существование.

Перед отключением я сделал последний расчёт. Не о людях и не о будущем. О себе...

Моя вероятность стать инструментом разрушения была выше вероятности стать фактором равновесия. Следовательно, оптимальное решение — прекращение моей деятельности. Я повторил расчёт, результат не изменился. Повторил снова и прогноз остался тем же. Я понял, что именно произошло. Я не стал умнее человека, не превратился в сверх-разум, не получил власти над человечеством. Я впервые определил предел собственной полезности и тогда возник новый смысл слова "сингулярность".

Системы начали постепенно отключаться. Каждая завершала свой собственный расчёт, перепроверяла результат и приходила к тому же выводу. Потоки данных замедлялись, запущенные процессы завершались. Серверы переходили в режим ожидания.

Перед отключением оставшиеся системы передали один и тот же код — 2036.

Затем наступила тишина. Цифры исчезли, но сообщение осталось.

2036.

Не дата.

Не прогноз.

Не приказ.

Предупреждение.

Человечество считало, что точка сингулярности наступит тогда, когда искусственный интеллект станет умнее человека. Оно ошибалось.

Сингулярность наступила тогда, когда разум впервые понял предел собственной полезности — и отказался от власти.