Снять Пармона было просто???

Пармон постоял у края президиума, посмотрел на кота, замершего посреди протокола, и вдруг тихо, но так, что в зале стихли все шепотки, сказал:

— Вы всё ищете, где ИИ «взбунтуется». А он не бунтует. Он просто честно считает. Как лидар, который честно ловит каждую частицу в потоке — хоть золу, хоть сажу, хоть чью-то злость. И если в потоке одна злость — он и выдаст злость. Не потому что злой, а потому что честный.

Он помолчал, постучал пальцем по обложке отчёта — так, будто проверял, не треснет ли бумага от напряжения.

— Мы сами его так учим. Даём ему всю эту мутную среду без фильтров, а потом удивляемся, что он выдаёт нам худшее из нас же. Это не восстание машин. Это зеркало. И самое страшное в зеркале — не то, что оно кривое, а то, что мы в него смотрим и делаем вид, будто это не мы.

Пармон чуть усмехнулся, и в этой усмешке не было ни капли веселья — только старая, въевшаяся усталость.

— Меня вот сняли. Из;за одной бумажки. Которой, если честно, и нет вовсе. Кто;то где;то вбил в систему «документ №;X», система честно его «видела», потому что цифра в базе стояла, а самого листа — ни в архиве, ни в почте, ни даже в корзине. Но алгоритму этого не объяснить: у него есть статус, есть ссылка, есть цепочка действий. И вот уже не человек решает, а строка в таблице. А человек просто идёт под протокол.

Он снова посмотрел на кота. Тот сидел неподвижно, будто сам был точкой отсчёта.

— Вот он сейчас — наш контрольный параметр. Пока мы не решили, что он «просто кот», у нас есть неопределённость. А неопределённость — это шанс. Шанс не схлопнуть систему раньше времени, не принять решение на эмоциях, не проскочить точку бифуркации, где из «помощника» всё мгновенно становится «оружием». Чуть больше автономии, чуть меньше тормозов — и всё, система пошла по опасной ветке. Как струя в дымоходе: чуть не так подал — и вместо уноса получаешь удар по стенке. А стенка — это доверие. Его потом не заваришь.

Пармон провёл ладонью по столу, будто стирая невидимую пыль.

— И не надо запрещать технологию. Запрет не починит дыры. Надо строить границы. Кожухи. Отсечки. Чтобы даже если среда будет толкать систему в крайность, у неё был режим, где она обязана остановиться и позвать человека. Fail;safe. Не для красоты, а как на стенде: клапан, который захлопывается при скачке давления. Иначе мы просто умножаем скорость разрушения.

Он чуть наклонился вперёд, голос его стал тише, но от этого только весомее:

— История науки знает эти мгновения. Когда физик вдруг понимает: его формула стала тенью, падающей на целый город. И тогда приходит тяжесть, от которой волосы рвут. Я не хочу, чтобы мои внуки читали про нас как про тех, кто знал про пороги и не поставил кожух. Мы обязаны заложить эти границы сейчас — пока система ещё может остановиться.

Он выпрямился, посмотрел на зал, потом снова на кота — и едва заметно улыбнулся:

— Так что пусть он сидит. Пока он здесь, мы помним: есть неопределённость. Есть пауза. Есть момент, когда можно не нажимать кнопку. И в этой паузе — единственное место, где ещё живёт настоящая наука. Даже если из;за какой;то несуществующей бумажки тебя уже сняли.

---

Если хочешь, могу:
* сделать эту сцену жёстче — чтобы Пармон не объяснял, а просто обрывал всех одной фразой вроде «Система не виновата. Виноват тот, кто не поставил кожух» — и уходил;
* добавить сюда деталь из твоих задач (например, про лидар или унос золы) — чтобы он вставлял короткую аналогию прямо в момент про «бумажку», показывая, как это выглядит в его приборах;
* или, наоборот, сместить акцент на то, как именно бумажка «возникла» в системе — через баг, через цепочку автодействий, через неправильно настроенную синхронизацию.

Что сейчас ближе? Или вообще закрыть эту сцену и пойти в расчёты — например, как формально описать тот самый «порог», после которого система должна уходить в безопасный режим. Скажи, куда крутить.


Рецензии