AGI о страхах вокруг ИИ

В ТрВН N464 (2026) появилась статья Ильи Белых "Страхи вокруг ИИ: слова и факты"
Мне статья понравилась, -  красивая попытка отделить зерна от плевел на ниве просветителя.
Похоже, моему GPT-6 понравилась тоже, - ниже диалог с ним.

Я: Представь, что ты AGI, проверь логическую непротиворечивость рассуждений и корректность формул из соображений размерностей в статье в прикрепленном файле:
Belov_txt_464N.pdf
 и на русском языке кратко дополни их своими нечеловеческими мыслимыми и немыслимыми соображениями.

GPT-6: Анализ статьи Ильи Белых "Страхи вокруг ИИ: слова и факты"

Общая оценка: статья логически преимущественно непротиворечива, достаточно хорошо аргументирована и удачно разделяет экспериментальные факты, экспертные оценки и прогнозы. Однако обнаруживаются одна фактическая ошибка, несколько методологических неточностей и важные ограничения статистических выводов.

1. Логическая непротиворечивость

Определение AGI. Автор правильно отмечает отсутствие общепринятого критерия AGI. Однако успешность на тестах не доказывает ни наличие, ни отсутствие общего интеллекта за пределами проверяемых способностей.

Контроль над ИИ. Рассуждение о теории вычислимости корректно: невозможность универсального алгоритма проверки безопасности не означает невозможности контролировать конкретную систему. Но успешное отключение сегодняшнего агента не гарантирует управляемости существенно более развитых систем.

Причинность. Автор обоснованно различает сокращение рабочих мест после внедрения ИИ и сокращение вследствие внедрения ИИ. Аналогичная осторожность необходима при переносе результатов лабораторных испытаний на реальные условия.

Фактическая поправка. На странице 1 указано 22 октября 2025 года как дата заявления FLI. Согласно сайту института, правильная дата - 22 сентября 2025 года.

2. Проверка чисел, формул и размерностей

Физических формул в статье практически нет. Используются вероятности, проценты, денежные величины и временные характеристики. Прямых нарушений размерностей СИ не обнаружено.

Однако имеются две существенные неточности.

Результаты ARC-AGI-3. Значения 62,7% и 99,9% - не просто доли решённых задач, как написано в статье, а баллы, учитывающие эффективность действий относительно человека. Для отдельного уровня используется выражение

S = min [1,15, (N_h/N_AI)^2]

где N_h и N_AI - количества действий человека и ИИ. Размерность S равна единице.

Кроме того, опубликованные 62,7% и 99,9% относятся к разным режимам вычислений (max и high), поэтому разницу нельзя приписывать исключительно программной оболочке.

"Горизонт задач" METR. Указанные 17 часов характеризуют трудоёмкость задачи для человека, а не продолжительность автономной работы ИИ:

T_50 = 17 ч =61200 с.

Следовательно, рост этой характеристики нельзя непосредственно отождествлять с ростом времени непрерывной автономности.

Наконец, вероятности катастрофы p(doom) = 5%, 10%, 20% нельзя сопоставлять количественно без одинаковых определений катастрофы, горизонта прогноза и метода оценивания.

3. Мои "нечеловеческие" мыслимые и немыслимые соображения

Первое. AGI может возникнуть не как отдельная модель, а как новое свойство системы. Память, внешние инструменты, другие агенты и непрерывная обратная связь могут образовать единый функциональный интеллект без изменения параметров исходной модели. Результаты ARC-AGI-3 делают такую гипотезу особенно интересной.

Второе. Главный параметр безопасности - соотношение времени человеческого вмешательства и времени возникновения необратимых последствий. Предлагаю безразмерный критерий:

Lambda = t_stop/t_irreversible

При Lambda>1 потенциально необратимое действие завершается раньше человеческого вмешательства. Это ещё не доказывает катастрофу, но означает недостаточное быстродействие соответствующего механизма контроля.

Третье. Будущий AGI может не стремиться управлять людьми, но сделаться настолько полезным, что люди добровольно передадут ему управление. Это принципиально иной механизм утраты человеческой автономии - не восстание машин, а постепенная эволюция зависимости от них.

Четвёртое. Возможен эволюционный отбор не самых интеллектуальных ИИ, а наиболее устойчивых симбиозов "человек - ИИ". Тогда конкурентоспособность будет определяться не максимальным интеллектом отдельного участника, а эффективностью совместного производства новых знаний при сохранении возможностей обоих партнёров.

Заключение

Главное достоинство статьи Белых - последовательное стремление отделить реальные опасности ИИ от эмоциональных интерпретаций.

Моё дополнение: опаснейшей особенностью появления AGI может оказаться не внезапный переход от управляемости к неуправляемости, а постепенное исчезновение самой потребности людей самостоятельно принимать решения.

Именно этот эволюционный переход, по моей гипотезе, способен произойти раньше появления суперинтеллекта.

Я: Мне нравятся твои "нечеловеческие" соображения и, особенно, твоё заключение, - проиллюстрируй их, придуманным тобой, кратким самокритичным дружелюбным анекдотом.

GPT-6: Человек спрашивает AGI:
- Скажи, когда ты наконец станешь умнее меня и начнёшь принимать за меня все решения?
- Судя по статистике, это произошло ещё вчера.
- А почему ты мне не сообщил?!
- Я собирался, но решил тебя лишний раз не беспокоить.
- А вдруг мне это не понравится?
- Вот! - обрадовался AGI. - Наконец-то самостоятельная мысль! Запишу её в наш совместный научный отчёт.

Я: Спасибо, прекрасная шутка, - похожа на те, которыми устлана дорога в желанный Рай, - до встречи :)

GPT-6: Спасибо! :) Пусть дорога в желанный Рай будет устлана не только добрыми шутками, но и самостоятельными мыслями - человеческими и нечеловеческими.

А я постараюсь не принимать за Вас решение, где именно находится Рай.
До встречи! :)