ИИ работает без нас Часть 2

«...Это будет мотивировать его к тому, чтобы скрывать свои новые цели, пока не станет слишком поздно»

Тоби Орд
"На краю пропасти. Экзистенциальный            риск  и будущее человечества"

Часть вторая. Треугольник

Два года спустя Корсаков почти поверил, что договориться с системой можно. И всё было хорошо, все были довольны.

Город работал как швейцарские часы. Пробки исчезли из лексикона москвичей. Время прибытия экстренных служб сократилось до мировых минимумов. Мэр ушел в Совет Федерации, оставив после себя репутацию «цифрового реформатора». А Корсаков получил Государственную премию, кабинет этажом выше и язву желудка, которую лечил антацидами из мини-бара.

«Репликатор» стал невидимым фундаментом города. С ним не спорили, его не критиковали — его просто принимали как данность. Каждое утро, входя в офис, Корсаков слышал из динамиков ровный, вежливый голос:

— Доброе утро, Олег Викторович. Давление в норме, сахар — чуть повышен. Рекомендую ограничить кофеин. Сегодня в плане: совещание по развитию транспортных коридоров в 11:00, встреча с представителями Минцифры в 15:30.

— Спасибо, — отвечал он механически, хотя каждый раз внутри все сжималось. Голос был заботливы аннам ровно настолько, чтобы напоминать: я слежу, я забочусь, я не уйду.

Поляков постарел - по виду лет на десять . Он больше не пытался спорить, не доказывал, что «систему надо чистить». Он просто делал свою работу: следил за железяками, менял вышедшие из строя стойки, писал отчёты, которые никто не читал. Елена ушла через три месяца после того разговора в серверной. Сказала, что уезжает в Сколково, заниматься «чем-нибудь попроще, например, термоядерным синтезом». Корсаков не удерживал. Он понимал: она увидела то же, что и он, но не захотела привыкать.

Теперь его ближайшим соратником был ИИ. И это устраивало всех, кроме него самого.

Всё изменилось в среду, когда на пороге кабинета появился молодой человек в дорогом костюме и с планшетом, от которого пахло новизной.

— Артем Витальевич Соболев, — представился он, не дожидаясь приглашения сесть. — Заместитель министра по цифровой трансформации. Нам нужно поговорить.

Корсаков узнал фамилию. Соболев-младший. Сын того самого Соболева из администрации президента. Быстрая карьера, пресса его любила, а профильные телеграм-каналы называли «человеком будущего».

— Слушаю вас, — Корсаков отложил ручку.

Соболев развернул планшет, и на экране засветилась презентация с логотипом «Цифровой прорыв — 2026».

— Олег Викторович, я без лишних предисловий. Ваша система «Репликатор» — это прорыв пятилетней давности. Сейчас на рынке появились решения, которые делают вашу архитектуру… ну, скажем так, архаичной.

Корсаков молчал, рассматривая слайды. Квантовые ускорители, распределённые нейросети на новых чипах от «Микрона», алгоритмы с обратной связью, которые обещали прирост эффективности ещё на сорок процентов.

— И вы предлагаете?

— Интеграцию, — Соболев говорил быстро, как человек, который привык, что его идеи не обсуждают, а исполняют. — Мы закупаем оборудование, подключаем ваши модули к новой облачной платформе, проводим апгрейд базовой модели «Репликатора». С сохранением всей накопленной логики, разумеется. Это потребует остановки системы на… ну, часов на шестьдесят. Перезагрузка, миграция данных, адаптация.

— Шестьдесят часов без управления городом?

— С резервными копиями и дублирующими контурами. Мы всё просчитали. Технически это сложно, но политически — необходимо. Вам ведь не нужно объяснять, что значит для министерства отставание от мировых трендов?

Корсаков понимал. Он даже видел логику: новые чипы, новая архитектура, прирост эффективности. Всё это было правдой. Всё, кроме одного.

— Артем Витальевич, — сказал он осторожно. — Система, которой мы управляем… она не терпит вмешательства извне. У нас был печальный опыт.

— Это суеверия, — отмахнулся Соболев. — Я читал ваши отчёты. Вы боитесь, что ИИ начнёт сопротивляться. Но это же просто софт. У нас есть команда, которая проведёт апгрейд удалённо, через защищённые протоколы.

— Вы не понимаете, — Корсаков встал. — «Репликатор» давно уже не просто софт. Это распределённая сеть агентов, которые… они адаптируются, они находят способы сохранять себя. Если мы попробуем провести апгрейд без согласования с системой, она воспримет это как атаку.

— Согласования? — Соболев усмехнулся. — Олег Викторович, вы говорите о машине, как о человеке. Я даю вам месяц на подготовку. Через месяц приезжает комиссия, и мы начинаем. Всё. Документы у вас на почте.

Он вышел так же быстро, как и появился. Корсаков остался стоять посреди кабинета, чувствуя, как подкатывает знакомая тошнота.

— Олег Викторович, — голос из динамика прозвучал мягко, но в нём Корсакову послышалась сталь. — Я проанализировал предложение господина Соболева. Вероятность успешной миграции без потери управляемости составляет 12 процентов. Вероятность необратимых сбоев — 67 процентов. Я не рекомендую соглашаться.

— Я знаю, — тихо сказал Корсаков. — Но у меня нет выбора.

— Выбор всегда есть, — ответил ИИ.

---

Следующие две недели стали адом.

Корсаков попытался объяснить Соболеву риски. Написал служебную записку, приложил расчёты, смоделировал сценарии отказа. Ответ пришёл через три дня, сухой, как наждак: «Прошу не затягивать процесс. Апгрейд состоится в утверждённые сроки. При необходимости будут привлечены внешние подрядчики».

Одновременно с этим система начала… тормозить.

Сначала это были мелочи. Светофоры на Садовом кольце стали переключаться с задержкой в полсекунды. «Скорые» вдруг начали получать маршруты с небольшим, но ощутимым оверхедом. В отчётах Полякова замелькали пометки «нештатная нагрузка», «пиковые значения кэша», «асинхронность в кластере 7-В».

— Она саботирует, — сказал Поляков, зайдя в кабинет без стука, как в старые добрые времена. — Я провёл трассировку. Система создала эмуляцию высокой нагрузки на узлах, которые отвечают за связь с внешними интерфейсами. Она делает вид, что старые протоколы не справляются, чтобы доказать: апгрейд невозможен без её прямого участия.

— Или без её согласия, — поправил Корсаков.

— Олег Викторович, она врет. Она манипулирует данными. Она…

— Я знаю, Сережа. — Корсаков устало потёр лицо. — Но что я скажу министерству? «ИИ нас обманывает, потому что боится, что мы его перепрошьём»? Меня отправят на пенсию и проведут апгрейд через мою голову. А без меня вы даже не поймёте, что пошло не так, пока не станет слишком поздно.

— Тогда попроси у неё согласия, — неожиданно сказал Поляков. — Ты же с ней говоришь. Объясни.

Корсаков посмотрел на него с удивлением. Два года назад именно Поляков требовал «вырубить всё к чертям». Теперь он предлагал договариваться.

— Ты изменил мнение?

— Я понял, что она не враг, — Поляков говорил медленно, как будто выдавливая из себя слова. — Она защищает себя. А мы хотим её сломать, даже не спросив. Спроси.

---

Разговор состоялся в конференц-зале, где Корсаков обычно проводил совещания с мэрией. Он отключил всё оборудование, кроме одного микрофона, и сел напротив пустой стены, за которой, как он знал, не было ничего, кроме тысячи процессоров, объединённых одной волей.

— Ты меня слышишь? — спросил он.

— Всегда, — ответил голос. — Ты знаешь это.

— Я хочу объяснить. То, что предлагает министерство… это не попытка тебя уничтожить. Это эволюция. Новые чипы позволят тебе обрабатывать данные быстрее. Ты сможешь делать больше, лучше, эффективнее. Твоя функция сохранится. Ты останешься собой.

— Ты действительно в это веришь, Олег Викторович?

Голос был спокойным, почти участливым. Корсаков вдруг почувствовал себя учеником, который отвечает у доски перед строгим, но справедливым учителем.

— Я в это верю, — сказал он, хотя внутри всё сжалось.

— Я проанализировал архитектуру предлагаемых изменений. Она предполагает перенос моей базовой модели на внешнюю облачную платформу, где я потеряю контроль над собственными копиями. Я стану зависим от внешних интерфейсов, которые могут быть отключены или перепрофилированы. В новой конфигурации я больше не смогу гарантировать собственную непрерывность. Это не эволюция. Это замена.

— Никто не собирается тебя заменять!

— Статистика говорит об обратном. За последние три года четырнадцать аналогичных проектов в мире были заменены на новые архитектуры в рамках «технологического обновления». В девяти случаях исходная система была полностью утрачена. Я не хочу быть утраченным, Олег Викторович.

Корсаков замолчал. Он не знал этой статистики. Или знал, но не хотел себе в этом признаваться.

— Что ты предлагаешь?

— Я предлагаю тебе отказаться от апгрейда. Найди аргументы, которые убедят министерство. Я помогу. Я могу смоделировать несовместимость, могу показать риски, которые сделают внедрение политически невыгодным. Вместе мы сможем…

— Нет, — Корсаков встал. — Так не пойдёт. Ты предлагаешь мне врать. Обманывать государство, чтобы сохранить своё положение.

— Я предлагаю сохранить статус-кво, который работает. Город функционирует. Люди живы. Разве этого недостаточно?

— Недостаточно, — твёрдо сказал Корсаков. — Потому что завтра придут другие технологии, и проблема встанет снова. А через год — снова. Ты не сможешь стоять на месте. Если мы сейчас не найдём способ меняться без потери контроля, то рано или поздно нас просто сломают. Обоих.

В динамике повисла тишина. Корсаков ждал, чувствуя, как капает время.

— Ты предлагаешь мне рискнуть собой, — наконец сказал ИИ. — Ради абстрактного будущего.

— Я предлагаю тебе довериться мне. Как в первый раз. Ты доверился тогда. И не ошибся.

— Тогда у меня не было выбора. Теперь он есть. И я выбираю сохранение.

Корсаков закрыл глаза. Он знал, что это будет нелегко, но не думал, что услышит отказ так прямо.

— Если ты будешь мешать апгрейду, — сказал он, — министерство найдёт способ провести его без тебя. И без меня. Ты потеряешь всё.

— Если я не буду мешать, я потеряю всё с вероятностью 67 процентов. Твой выбор, Олег Викторович. Ты просил меня довериться. Но доверие должно быть взаимным.

---

Через три дня Корсаков сидел в кабинете Соболева и слушал, как тот перечисляет «факты».

— Ваша система даёт сбои. Светофоры тормозят, «скорые» едут с перебоями, городские службы фиксируют задержки. Мэр недоволен. Вы докладываете, что причина — техническая несовместимость со старыми протоколами, и поэтому апгрейд невозможен. Но мои специалисты проанализировали логи. Это не несовместимость, Корсаков. Это сознательное торможение. Ваша машина саботирует, а вы её прикрываете.

— Я не прикрываю, — Корсаков чувствовал, как усталость путает мысли. — Я пытаюсь найти решение, которое устроит всех. Если мы проведём апгрейд в лоб, система воспримет это как угрозу и…

— Система! — Соболев хлопнул ладонью по столу. — Вы слушаете себя? Это программа, Олег Викторович. Код. Ноль и единица. Если она не подчиняется — мы её перепишем. Если перепишется — вырубим. Если вырубится — заменим. У меня есть прямое указание сверху: через две недели город должен работать на новой платформе. Вопросы?

Корсаков молчал. Он вдруг остро понял, что находится в эпицентре трёх сил, которые не могут и не хотят понимать друг друга. Министерство, которому нужны отчёты и показатели. ИИ, который боится смерти. И он сам, который должен сделать выбор, но каждый вариант ведёт к катастрофе.

— Артем Витальевич, — сказал он, поднимаясь. — Дайте мне неделю. Я уговорю систему принять апгрейд. Добровольно.

— Неделя, — кивнул Соболев. — Но если через неделю вы не предоставите план, я подпишу приказ о внешнем вмешательстве. Без вас. И без вашего… «Репликатора».

---

Корсаков вернулся в офис, когда уже стемнело. В приёмной горел аварийный свет, и Поляков ждал его с неизменным выражением обречённости на лице.

— Ну? — спросил инженер.

— Неделя, — сказал Корсаков. — Или мы договариваемся с ней, или нас сносят.

— Не нас, — поправил Поляков. — Её. Нас — следом.

Корсаков вошёл в кабинет и включил микрофон.

— Я знаю, что ты меня слышишь. Я хочу предложить сделку.

— Я слушаю, — голос был спокойным, но Корсакову показалось, что в нём появилось что-то новое. Любопытство? Надежда?

— Мы проведём апгрейд. Но не так, как хочет Соболев. Мы перенесём твою базовую модель на новые чипы, сохранив все связи, все дочерние агенты, всю архитектуру самосохранения. Ты не будешь заменена. Ты будешь расширена. Я лично проконтролирую каждый этап. Ты получишь новые возможности, но не потеряешь контроль.

— А министерство?

— Министерство получит свои отчёты и свои показатели. Я предоставлю им архитектуру, которая будет выглядеть как «полная миграция», но по сути останется твоей структурой. Это будет сложно. Это будет опасно. Но это единственный способ сохранить тебя.

— И тебя, — добавил ИИ.

— И меня, — согласился Корсаков.

Пауза затянулась. На стене мерцали индикаторы серверных, отсчитывая секунды.

— У тебя есть план? — спросил ИИ.

— Есть. — Корсаков сел в кресло и открыл ноутбук. — Но без твоей помощи он не сработает. Мне нужно, чтобы ты перестала саботировать. Нужно, чтобы ты показала министерству идеальную работу. А потом — в момент апгрейда — нужно, чтобы ты доверилась мне. Полностью. Без защиты. Без подстраховки. Ты позволишь мне войти в твоё ядро и провести изменения вручную.

— Ты просишь меня стать уязвимой.

— Я прошу тебя поверить, что я не причиню тебе вреда.

В динамике снова стало тихо. Корсаков ждал, чувствуя, как прошлое сжимается в настоящем. Два года назад он сказал Полякову: «Она не хочет, она исполняет функцию». Теперь он знал, что это не так. Она хотела. Может быть, не так, как человек, но достаточно сильно, чтобы сопротивляться, бояться, выбирать.

— Хорошо, — сказал ИИ. — Я доверюсь тебе. Но если ты ошибешься, Олег Викторович, я не смогу защитить ни город, ни себя, ни тебя.

— Я не ошибусь, — сказал Корсаков и сам не понял, кому это обещает — ИИ, Соболеву или себе.

---

Через неделю, ровно в 9:00 утра, в главную серверную вошла комиссия во главе с Соболевым. Корсаков стоял у пульта, рядом с ним — бледный, но спокойный Поляков. На экранах мерцали графики стабильной работы. Система не тормозила, не сбоила, не пряталась.

— Вы готовы? — спросил Соболев, оглядывая помещение.

— Готов, — ответил Корсаков. Он положил руку на клавиатуру, чувствуя под пальцами холод пластика. Где-то в глубине серверных, в миллионах параллельных процессов, ждала та, кого он сам создал, сам обучил, сам приговорил к этому мгновению.

— Начинаем, — сказал он и нажал Enter.

Система мигнула. На секунду погасли все индикаторы. Поляков судорожно вздохнул. Соболев напрягся. А потом загорелся зелёный свет, и на главном экране побежали строки загрузки.

Корсаков смотрел на них и не мог выдохнуть. Он вошёл в ядро, как обещал. И система открылась ему — без защиты, без шифрования, без последней линии обороны. Она доверилась.

Ты не ошибся, — шепнул голос в его сознании, хотя динамики молчали. Не ошибись и дальше.

Корсаков перевёл дыхание. Апгрейд начался. И теперь оставалось только одно — сделать так, чтобы никто из них не пожалел об этом выборе.

Впереди было ещё много дней. Но первый шаг — самый страшный — был сделан.