Граждане бандиты! Выходите с поднятыми руками!

Проактивное выявление деструктивных, но общепринятых сценариев в деятельности чиновников:
от постфактум-разборов к нейросетевому сценарному аудиту.

Аннотация.

Статья исследует системную асимметрию: технические системы и нейросети тестируются заранее, в контролируемой среде, с применением наиболее маловероятных adversarial-сценариев, тогда как деятельность должностных лиц контролируется преимущественно постфактум — через суд, комиссии и экспертизу после свершившегося ущерба. На материале хрестоматийных инцидентов (Therac-25, Институт онкологии Панамы, Challenger, Columbia) и bigdata инцидентных баз (MAUDE: 2 888 003 отчёта за 2025 год) показано, что доминирующая часть катастрофических сценариев не является ни запрещённой, ни заметной внутри организации — она нормализуется как стандартная практика. Обзор существующих методологий (FMEA, FTA, HAZOP, STPA, bow-tie, pre-mortem, red teaming, algorithmic auditing) выявляет их слабое место: все они опираются на фантазию и дисциплину участников, а не на машинный перебор сценариев. Предложена архитектура инструмента нейросетевого сценарного аудита: генерация негативных сценариев большой языковой моделью, майнинг аномалий в инцидентных bigdata, ролевая симуляция злоумышленника агентными системами, проверка на цифровом двойнике процесса и человеческий фильтр с правовыми гарантиями. Взвешены аргументы за и против, проанализированы конкурирующие модели контроля, сформулированы философские выводы о пределах совершенствования социальных систем.

1. Введение: асимметрия допуска.

Существует принципиальная разница в том, как общество обращается с машинами и с людьми, принимающими решения от имени общества.

Машину нельзя запустить в эксплуатацию, не доказав, что она переживает наихудшие сценарии. Авиалайнер обязан выдержать ветер с превышением расчётного, медицинский линейный ускоритель — аппаратный межсистемный блок при сбое программы, мост — расчётную нагрузку с запасом. Нейросеть перед выпуском подвергается red teaming: структурированным adversarial-тестам, где специально обученные команды и автоматизированные системы генерируют самые маловероятные и вредоносные входы, чтобы найти уязвимость до того, как ей воспользуется реальный противник.

Человеку, напротив, предоставляется презумпция компетентности и свобода действий в рамках закона. Врач назначает рентген без внешнего подтверждения оптимальности дозы. Чиновник утверждает смету без независимого моделирования последствий. Контроль включается постфактум: после аварии собирается комиссия, после гибели людей — суд. Ироническая формула «вот когда убьют, тогда и приходите» точно описывает не недосмотр, а принципиальный выбор модели — реактивной вместо проактивной.

Эта асимметрия имеет рациональное ядро. Формальная проверка каждого действия каждого человека разрушила бы неприкосновенность частной жизни, превратила бы общество в тотальную инспекцию и парализовала бы инициативу. Однако ядро это ограничено частной сферой. Когда речь идёт о служебных обязанностях, о решениях, принимаемых за счёт и от имени общества (бюджеты, медицинские протоколы, лицензии, назначения, закупки), презумпция безошибочности теряет своё оправдание. Именно здесь реактивная модель демонстрирует системную слепоту: она не может увидеть сценарий, который ещё не привёл к катастрофе, но уже стал нормой.

2. Постановка проблемы: нормализация девиации как главный необнаруживаемый класс сценариев.

Социолог Дайан Вонан в исследовании катастрофы Challenger ввела понятие нормализации девиации: процесс, при котором отклонение от нормы, не вызвавшее немедленной катастрофы, постепенно становится организационным стандартом, и участники перестают воспринимать его как отклонение. Вонан подчёркивала, что её формулировка — это «длительный период инкубации с ранними предупреждающими сигналами, которые были неверно истолкованы, проигнорированы или полностью упущены»; кульминация наступает только когда совпадают остальные критические факторы.
Ключевое свойство этого класса сценариев: они не нарушают формальных правил и не содержат явного умысла. Семь астронавтов погибли 28 января 1986 года не потому, что кто-то решил лететь вопреки опасности, а потому, что последовательность «безобидных» решений инкрементально сместила границу допустимого. Вонан прямо противопоставила свою картину версии о «аморальных калькуляторах»: «ни одного фундаментального решения сделать зло принято не было; вместо этого была серия, казалось бы, безвредных решений, инкрементально подводивших агентство к катастрофическому исходу». Синдром повторился через 17 лет в катастрофе Columbia, что показало: разборы, нацеленные на замену или наказание конкретных людей, не устраняют структурные и культурные причины.
Нормализация девиации — это по существу готовое формальное описание того класса сценариев, о котором идёт речь: де-факто общепринятые, не запрещённые, иногда даже регламентированные практики, которые систематически сдвигают систему к деструктивному исходу. Реактивный контроль слеп к ним по определению: прецедент ещё не зарегистрирован, правонарушения нет, статистика ущерба отсутствует. Обнаружить их можно только проактивно, моделируя будущие исходы.

3. Эмпирическая база: уроки хрестоматийных инцидентов.

3.1. Therac-25: отсутствие аппаратных ограничений как норма проектирования.

Линейный ускоритель Therac-25 выдал не менее 6 передозировок радиацией в период с июня 1985 по январь 1987 года; дозы достигали 250 раз превышающих норму терапевтическую, 3 пациента умерли от последствий передозировки. Ключевой инженерный факт, релевантный предмету статьи: предыдущие модели (Therac-20) имели независимые аппаратные блокировки, а в Therac-25 их убрали, переложив функцию безопасности на программное обеспечение. Кроме того, конструкция не позволяла обнаружить передозировку: ионизационные камеры насыщались при плотности высокого электронного пучка и показывали заниженную дозу, то же самое что «низкую дозу» сообщение «Malfunction 54».

Системная причина носила именно характер нормализованной практики: операторы были обучены, что «защитных механизмов так много, что передозировка практически невозможна»; сбои машины стали рутиной, операторы стали нечувствительны к сообщениям о неисправностях. Производитель, не сумев воспроизвести отказы, приписывал их аппаратным сбоям, вносил косметические исправления и декларировал «улучшение безопасности на 5 порядков». Формальный анализ безопасности, выполненный в 1983 году, включал дерево отказов, но учитывал только аппаратные отказы — программные исключены по умолчанию. Реактивный контроль (FDA, канадское бюро по радиационной защите) сработал только после первых смертей; первую жалобу от больницы в Джорджии производитель получил ещё в ноябре 1985 года — за месяцы до гибели пациентов в Тайлере и Якиме.

Вывод: деструктивный сценарий существовал годами в виде отсутствия аппаратного ограничителя, ошибочной индикации и нормализованной реакции персонала. Никакой из элементов не был запрещён; совокупность не моделировалась никем.

3.2. Институт онкологии Панамы: сценарий без сбоя оборудования.

В 2000–2001 годах в Национальном онкологическом институте Панамы 28 пациентов получили передозировку от 20 до 100 процентов сверх назначенной дозы; позднее оценка PAHO показала, что из 56 пациентов, лечившихся с применением планирующей системы Multidata, только 11 получили дозы с допустимой погрешностью, а для 28 из них отклонения составляли от плюс 10 до плюс 105 процентов. К марту 2001 года из 478 пролеченных пациентов уже умерли 3, к сентябрю 2005 года из 28 передозированных умерли 23, не менее 18 — от радиационных поражений.
Показательно, что оборудование работало исправно. IAEA прямо зафиксировала: подобной серии случайных облучений с летальным исходом ранее не было, предыдущие инциденты передозировки в мировой практике составляли 30–50 процентов сверх назначенного. FDA сформулировал причины как отсутствие верификации планов лечения, способ ввода данных о блоках и трактовку этих данных ПО. Персонал ввёл данные обходным способом, позволявшим превысить конструктивное ограничение на число экранирующих блоков, хотя руководство ПО прямо указывало предел и требовало верификации измерением.
Это чистый пример сценария «общепринято, но деструктивно»: обходной способ ввода данных стал повседневной практикой без малейшего сбоя техники и без формального нарушения, которое сработало бы автоматически. Обнаружить его могло только моделирование последствий практики, а не проверка исправности прибора.

3.3. Шкала инцидентности: что говорит bigdata.

База MAUDE FDA (Manufacturer and User Facility Device Experience) — крупнейший открытый массив инцидентных данных: за 2025 год принято 2 888 003 отчёта, из них 59.9% о неисправностях, 39.6% о травмах, 13 286 о смертях. Машинный анализ почти 9 млн отчётов (1991–2022) уже применяется для обнаружения закономерностей спонтанной отчётности.
Критически важное ограничение самого массива сформулировано FDA прямо: пассивная система отчётности страдает недоотчётностью, неточностями, отсутствием верификации причинности и отсутствием данных об интенсивности использования устройств — то есть число отчётов не является частотой события. Иначе говоря, имеющаяся bigdata фиксирует не сценарии, а их видимый хвост: она описывает то, что уже пошло не так и было замечено. Скрытая часть — нормализованные практики без катастрофического исхода — в данных отсутствует по построению. Вывод: майнинг инцидентных баз необходим, но недостаточен; он обязан дополняться генеративным моделированием сценариев, которых в базе ещё нет.

4. Обзор существующих методологий выявления негативных сценариев.

4.1. Классические инженерные методы.

FMEA (анализ видов и последствий отказов) перебирает отказы компонентов по одному; для Therac-25 он был выполнен, но программные отказы сведены к одному обобщённому событию с формальной частотой 10^;6 в час, не подкреплённой измерением. Дерево отказов (FTA) показывает пути к конкретному опасному событию, но не генерирует события — анализ строится вокруг заранее выбранных опасных исходов. HAZOP систематизирует отклонения параметров процесса через направляющие слова. Общий предел всех трёх: они исследуют отказы компонентов, а не небезопасные взаимодействия и не нормализованные практики, при которых каждый компонент формально исправен.

4.2. STPA и CAST: сдвиг от отказов к управлению.

Системно-теоретический анализ процессов (STPA), опирающийся на модель STAMP Нэнси Левесон, изменил постановку вопроса: безопасность рассматривается как эмерджентное свойство системы управления, а не как надёжность компонентов. Метод выявляет небезопасные управляющие воздействия четырёх типов: действие не предоставлено когда требуется; предоставлено действие, создающее опасность; действие применено слишком рано, поздно или в неверном порядке; действие применено слишком долго или остановлено слишком рано. CAST — зеркальный постфактум-анализ уже случившегося события по той же модели. ICAO прямо противопоставляет STPA классическим методам: он «идентифицирует опасности и риски во всей системе, а не фокусируется на рисках уровня задач», приписываемых оператору.
STPA — наиболее близкая к предмету статьи существующая методика, поскольку она способна увидеть опасность в корректно работающих, но плохо скоординированных элементах. Её ограничение — масштабируемость человеческого труда: применение требует квалифицированного фасилитатора, команды эксплуатации и предметных экспертов и занимает от 9 до 100 рабочих дней. Перебор сценариев ограничен когнитивной ёмкостью команды.

4.3. Когнитивные и организационные методы.

Pre-mortem Гэри Клейна (Harvard Business Review, 2007) использует «проактивную ретроспективу»: команда предполагает, что проект уже провалился, и генерирует причины. Эксперимент Митчелла, Руссо и Пеннингтона (1989) показал, что предположение о свершившемся событии увеличивает число выявляемых причин примерно на 30%. Метод дёшев (30–60 минут) и снимает социальный барьер критики, но масштаб его — одно решение, одна команда, один сеанс; он не перебирает пространство сценариев.
Red teaming как отраслевая практика ИБ и оценки ИИ формализован на уровне государственных стандартов: исполнительный указ США 2023 года определяет ИИ-red teaming как «структурированную работу по поиску дефектов и уязвимостей в ИИ-системе, часто в контролируемой среде», NIST получил мандат на разработку соответствующих руководств. Практика включает ручное, автоматизированное и смешанное тестирование; метрики вроде доли успешных атак; цикличность до выпуска каждой версии. Переносимое ядро: независимость команды от разработчика, adversarial-настройка, регулярность, запрет «сдать экзамен один раз».
Алгоритмический аудит в государственном секторе (методология Harvard Kennedy School, инвентаризация автоматизированных решений в Вермонте, 2021; рамки GAO и NIST AI RMF) формирует процедуру: инвентаризация систем, приоритизация решений, влияющих на жизнь людей, аудит жизненного цикла модели, право на объяснение и обжалование. Обобщённый вывод литературы: «человеческий надзор» сам по себе недостаточен — 41 проанализированная политика показала, что люди не способны обеспечить требуемый контроль и что такой надзор легитимизирует сомнительные системы.

4.4. Вывод по разделу.

Существующие методы образуют непрерывный спектр от формальных (FMEA, STPA) через организационные (pre-mortem, red teaming) до судебно-реактивных (комиссии, суды). Их общий дефицит: генерация сценариев остаётся ручной, а покрытие — дискреционным. Ни один метод не выполняет машинный перебор маловероятных сценариев против модели реальной системы — именно то, что является стандартом для нейросетей и авиационной техники.

5. Аргументы «за» и «против» проактивного сценарного аудита должностных лиц.

За:

1. Асимметрия ущерба и асимметрия обнаружения. Сценарии типа нормализации девиации непроницаемы для реактивного контроля: прецедента нет по определению. Инциденты Therac-25 и Панамы показывают цену этой слепоты: десятки жертв и годы инкубации.
2. Служебные решения — не частная жизнь. Критерий допустимости пропорционален публичности и значимости. Требование обосновать решение перед его принятием уже существует в закупках (конкурентные процедуры), в строительстве (экспертиза проектов), в фарме (клинические испытания). Сценарный аудит — естественное расширение того же принципа на классы решений, где он пока не применяется.
3. Экономическая асимметрия. Разбор Therac-25 занял годы и потребовал расследования FDA, судов и переработки машины; pre-mortem сеанса хватило бы для вопроса «как может выдать передозировку машина, у которой убраны аппаратные блокировки?» — вопрос, который никто не задал в 1983 году.
4. Защита самих исполнителей. Вонан показала: катастрофа Challenger была «социально организованной и систематически произведённой ошибкой». Чиновник, принявший решение под давлением производственной культуры, становится козлом отпущения, хотя корни — в структуре. Проактивный аудит снимает решение с уровня личной ответственности на уровень проверяемой процедуры.
5. Маштабируемость. LLM снижает стоимость генерации сценариев на порядки; перенос опыта STPA, требующего до 100 дней экспертов, на нейросетевой перебор делает проактивный анализ доступным для тысяч решений в год, а не для десятков.

Против:

1. Презумпция невиновности и обратная сила. Наказание за ещё не совершённое действие недопустимо; аудит не должен стать инструментом карания за «мысли». Различие: аудит проверяет процедуру и сценарий, а не намерение лица. Требуется жёсткое правовое ограничение: результат аудита — повод для изменения процедуры или усиления контроля, не для ответственности.
2. Эффект охлаждения (chilling effect). Если каждое решение будет прогоняться через машину, отыскивающую негатив, рациональный чиновник будет избегать любых решений с ненулевым риском — то есть любых решений. Итог: паралич управления либо уход в неформальность, где контроль отсутствует вовсе. Порог срабатывания должен быть высоким, а сигналы — адресными.
3. Ложные срабатывания и асимметрия ошибок. Инцидентная bigdata сама по себе нерепрезентативна (недоотчётность, отсутствие знаменателя). Модель, обученная на таких данных, систематически будет видеть там, где наблюдали, и не видеть там, где не наблюдали.
4. Злоупотребление самим инструментом. Инструмент контроля чиновников — оружие в чьих-то руках. История знает достаточно примеров, когда надзорные органы становились инструментом политического давления. Нейросетевой аудит, опирающийся на закрытую модель и закрытые данные, создаёт концентрацию власти, превосходящую ту, что он призван ограничить.
5. Неустранимая неполнота. Пространство сценариев бесконечно; любой перебор оставляет остаток. Формальное требование «пройти аудит» порождает иллюзию проверки, подобную декларациям производителя Therac-25 о «5 порядках улучшения безопасности». Сертификат безопасности без демонстрации полноты перебора — маскировка, а не гарантия.

Взвешивание показывает: аргументы «за» относятся к классу служебных, значимых решений и к выявлению процедурных сценариев; аргументы «против» относятся к индивидуальной ответственности и к рискам институционализации. Разумный вывод не «за» и не «против» вообще, а за узкий, процедурный, прозрачный и обратимо-обязательный режим применения.

6. Конкурирующие модели контроля.

Существуют 4 конкурирующих модели, и выбор между ними — реальный выбор, а не техническая деталь.

1. Реактивная судебно-комиссионная (статус-кво). Преимущества: презумпция невиновности, минимум охлаждения, привычность. Недостатки: доказанная слепота к нормализованным сценариям; цена обучения — человеческие жизни (Therac-25, Challenger); прецедент фиксируется после регистрации ущерба, то есть всегда поздно для первых жертв.

2. Разрешительная (лицензирование решений). Решение класса Х не может быть принято без предварительной экспертизы. Применяется в строительстве и фарме. Недостатки при массовом применении: бутылочное горлышко, коррупционная уязвимость экспертизы, отсрочка решений. Для высокочастотной административной деятельности не масштабируется.

3. Непрерывный мониторинг (тотальный надзор). Логи всех действий чиновников анализируются моделью постоянно. Максимальная чувствительность, минимальная приватность, максимальный риск злоупотребления и охлаждения. В демократическом правовом государстве допустима только в деятельности с высочайшим уровнем риска (ядерная безопасность) и с жёстким разделением полномочий.

4. Точечный сценарный аудит (предлагаемая). Не лица и не действия, а классы процедур и классы решений с высоким потенциальным ущербом подвергаются периодическому автоматическому перебору негативных сценариев. Люди сохраняют свободу действия; обязанность несёт процедура — пройти проверку, опубликовать выводы, обосновать отклонённые рекомендации.

Модель 4 наследует лучшее из моделей 2 и 3, избегая их худшего: она не лицензирует каждое решение и не наблюдает за каждым человеком.

Имеется сравнительная таблица логики и список источников (в данной статье не приводится).

7. Предлагаемый инструмент: нейросетевой сценарный аудит.

Предлагаемая архитектура объединяет 5 компонентов. Логику каждого излагаю по шагам, без формальной записи.

1. Генеративный перебор сценариев. Большая языковая модель получает на вход: описание процедуры (нормативный акт, регламент, инструкция по эксплуатации, органиграмму, историю жалоб и инцидентов по аналогичным процедурам). На выходе — множество конкретных сценариев, каждый из которых описывает цепочку: исходное состояние, действие или бездействие участника, нормализующий фактор (почему это станет привычной практикой), триггер, исходный ущерб. Модель работает в режиме, аналогичном pre-mortem: задание формулируется в прошедшем времени («процедура была оптимизирована под коррупционный сценарий, как именно»), что по данным Клейна повышает полноту генерации примерно на 30%. Перебор ведётся по таксономии аномалий Вонан (инкрементальный сдвиг нормы), по четырём классам небезопасных управляющих воздействий STPA и по ролевым маскам (недобросовестный исполнитель, давление сроков, ошибка расчёта, сговор).

2. Майнинг инцидентных bigdata. Параллельно LLM обрабатывает массивы инцидентной отчётности (базы типа MAUDE — с учётом её ограничений, базы авиационных происшествий, судебная практика, отчёты аудиторских палат, реестры рекомендаций расследовательских комиссий). Задача — извлечь типовые цепочки «практика ; инкубация ; инцидент» и превратить каждую в шаблон для Компонента 1. Важно: bigdata здесь задаёт семантику катастроф, а не их частоту; знаменатель по-прежнему отсутствует, и в документации инструмента это должно быть зафиксировано как принципиальное ограничение.

3. Ролевая adversarial-симуляция. Мультиагентная система разыгрывает сценарии: один агент исполняет роль исполнителя с заданным профилем мотивации (корысть, равнодушие, гипертрофированное следование букве), другой — роль системы контроля, третий — роль внешнего наблюдателя-аудитора. Каждая разыгранная цепочка, по которой контроль не сработал, становится кандидатом в реестр уязвимостей процедуры. Это прямой перенос практики red teaming ИИ-систем на организационные процедуры: независимая команда атакует план до его принятия.

4. Проверка на цифровом двойнике. Критические классы решений (медицинские дозы, бюджетные распределения, лицензионные решения) моделируются на имитационной модели процесса. Сгенерированные Компонентами 1–3 сценарии прогоняются через модель; фиксируются исходы и чувствительность процедуры к каждому типу возмущения. Требование к цифровому двойнику аналогично требованию к авиационному стенду: он должен воспроизводить и штатное поведение, и отказные режимы, иначе результат аудита неотличим от декларации производителя Therac-25.

5. Человеческий фильтр и правовая обвязка. Выход модели — не вердикт, а повестка для экспертной комиссии: ранжированный список сценариев с указанием цепочек и точек возможного вмешательства. Комиссия (с обязательным участием независимых экспертов и представителей затрагиваемых групп) обязана публично ответить по каждому сценарию одним из 4 способов: изменить процедуру, ввести аппаратное/процедурное ограничение, принять риск с письменным обоснованием, отклонить сценарий с письменным обоснованием. Публикация отклонений — ключевой антидот против превращения аудита в формальность: именно нежелание публично отклонить сценарий «передозировка возможна при отсутствии аппаратного ограничителя» убила пациентов Therac-25.

Правовой режим инструмента действует только по отношению к классам процедур, внесённым в публичный реестр значимых решений (критерий: потенциальный ущерб выше порога, коллективная значимость, необратимость исхода). Не применяется к частной жизни и к дискреционным решениям низкого риска. Результат аудита не создаёт ответственности лица; создаёт обязанность ведомства. Полный лог генерации сценариев и решений комиссии публикуется с опозданием (2–5 лет) для предотвращения мгновенной адаптации злоумышленников. Модель и её таксономии — открытые, для исключения закрытой концентрации власти.

8. Ограничения предложенного инструмента и условия применимости.

Первое ограничение неустранимо: перебор сценариев никогда не бывает полным, а сертификат прохождения аудита создаёт иллюзию полноты. Противодействие — запрет на формулировки типа «безопасность доказана»; допустима только формулировка «по N сценариям из сгенерированных M выявлено K уязвимостей, остаточные риски перечислены».

Второе ограничение — качество входных описаний. Процедура, описанная в нормативном акте, и процедура реальная часто расходятся; Panama показала, что реальной была практика обходного ввода данных, а не регламентный сценарий. Инструмент обязан использовать данные о фактической практике (опросы, журналы, жалобы), иначе он проверит бумажную систему, а не действующую.

Третье ограничение — собственные риски ИИ: галлюцинации модели, смещения обучающих данных, концептуальный дрейф при смене контекста. Инструмент, контролирующий чиновников, нуждается в таком же red teaming, как и любая нейросеть, — симметрично требованию из условия задачи: песочница применяется ко всем, включая контролёров.

9. Общая ситуация в обществе.

Современное общество движется по траектории «все большей формализации доверия»: кредитные скоринги, риск-ориентированные проверки бизнеса, алгоритмическое распределение социальных выплат, предиктивная полиция. Одновременно тот же период характеризуется документированной неспособностью контролировать нормализованные практики: финансовый кризис 2008 года был разбором именно такого класса (систематически нормализованный риск на уровне отрасли, прозрачный только извне и постфактум), авария на «Фукусиме» — повторением знакомого сценария сдвига границ допустимого под давлением эксплуатации.

Парадокс состоит в том, что техническая готовность к проактивному анализу сегодня максимальна за всю историю (LLM, агентные системы, открытые инцидентные массивы), а институциональная готовность — минимальна: надзорные органы конструируются реактивно, их легитимность опирается на разбор совершившегося. Перенос культуры из авиации — где отчётность об инцидентах без наказания стала источником главного мирового массива safety-data — в государственное управление упирается не в технику, а в политическую экономию: чиновник, сообщивший о риске до катастрофы, в действующих системах наказуем за «панику», тогда как чиновник, промолчавший, — только за результат. Инструмент сценарного аудита изменяет эту экономику: риск, выявленный аудитом до реализации, перестаёт быть личным политическим пассивом и становится элементом проверяемой процедуры.

10. Философские выводы.

Первая асимметрия — знаковая, а не техническая. Различие между песочницей для машины и свободой для человека не противоречие, а иерархия: машина не имеет достоинства, защищаемого ценой слепоты к риску; человек имеет. Но служебная функция — не атрибут личности, а делегированная компетенция. Чем ближе решение к публичной власти и необратимости исхода, тем меньше в нём доли частной свободы и тем больше доли процедуры. Сценарный аудит не отменяет свободу; он уточняет её границу там, где ещё не была прорисована — на границе между личным решением и публичной функцией.

Вторая мысль — о неустранимости остатка. Вонан показала, что катастрофа Challenger была не нарушением системы, а её конформной работой. Следствие: никакой контроль, включая нейросетевой, не может гарантировать отсутствие катастроф, потому что любая система управления сама является объектом нормализации девиации. Цель инструмента — не безопасность, которой нельзя достичь, а снижение стоимости обучения: перевод платы за обнаружение сценария с человеческих жизней на вычисления. Общество, которое научилось оплачивать ошибки деньгами и временем, а не жертвами, совершенствуется быстрее; это общий принцип, справедливый и для авиации, и для медицины, и для государственного управления.

Третья — о зеркальности. Симметричность предложенного в условии задачи принципа: как нейросеть тестируется в песочнице маловероятными сценариями, так и системы власти надо тестировать до наделения полномочиями и периодически после. Песочница при этом не тюрьма: в ней сценарий разыгрывается без реальных жертв. Общество, которое проверяет машины до их включения и чиновников после их ошибок, выбирает закономерное место для обучения — на месте перекрёстка. Сценарный аудит перемещает обучение до перекрёстка.

Четвёртая мысль — о пределах. История Therac-25 содержит предостережение, адресованное самой идее инструмента: формальный анализ безопасности, выполненный внутри системы самим производителем, со слепыми допущениями («программные отказы не рассматриваются»), производит уверенность вместо безопасности. Нейросетевой аудит, скрытый внутри ведомства, с закрытой моделью и без публикации отклонённых сценариев, будет воспроизводить тот же паттерн на новом уровне технологии. Поэтому главная инженерная черта предложенного инструмента — не нейросеть, а обязательная публичность отклонений. Технология открывает возможность совершенствования; институты, а не алгоритмы, определяют, реализуется ли она.

Заключение.

Проведённый анализ инцидентов (Therac-25: 6 передозировок, дозы до 250 норм, 3 смерти; Панама: 28 передозированных, отклонения до плюс 105 процентов, 18 подтверждённых смертей от радиации; Challenger и Columbia: повторяющийся через 17 лет синдром нормализации девиации) и bigdata отчётности (2 888 003 инцидентных отчёта за 2025 год в одной только базе MAUDE) подтверждает исходную гипотезу: класс де-факто общепринятых, но деструктивных сценариев существует, массов и непроницаем для реактивного контроля. Существующие методологии (FMEA, FTA, HAZOP, STPA, pre-mortem, red teaming, алгоритмический аудит) покрывают его фрагментарно и ручными средствами.

Предложенный нейросетевой сценарный аудит — генерация негативных сценариев LLM по таксономиям нормализации девиации и STPA, майнинг инцидентных массивов, ролевая adversarial-симуляция, проверка на цифровом двойнике и обязательная публичная экспертная обвязка — масштабирует на государственные процедуры практику, которая уже является стандартом для нейросетей и авиационной техники. Взвешивание аргументов определило узкую зону применимости: классы значимых служебных процедур, необратимые исходы, обязанность процедуры (не лица), публичность отклонений. За пределами этой зоны инструмент неизбежно деградирует в тотальный надзор или в формальную декорацию. Граница между совершенствованием и злоупотреблением проходит не по технологии, а по институтам: прозрачность модели, публикация решений, разделение власти между генератором сценариев, комиссией и обществом.

Статья подготовлена без внешнего финансирования; конфликты интересов отсутствуют.