Пыль в глаза по прейскуранту

   Когда средневековые алхимики пытались превратить свинец в золото, а недоучившиеся монахи продавали доверчивым крестьянам щепки от Ноева ковчега и перья крыльев архангела Гавриила, у них была одна фундаментальная проблема. Их производственные мощности были крайне ограничены. Чтобы написать один убедительный псевдонаучный трактат о пользе сушеных жаб или изготовить пару десятков «фалангов святого Мученика», требовались месяцы кропотливого труда, гусиные перья, дорогой пергамент и хотя бы минимальное знание латыни.
   Современный технический прогресс наконец-то избавил человечество от этого унылого бутылочного горлышка.
   Благодаря новейшим достижениям в области искусственного интеллекта фальсификация знаний, академический обман и производство безупречно оформленной ахинеи вышли на промышленный, конвейерный уровень. Мы построили идеальный генератор академической правдоподобности — систему, которая способна за доли секунды снабдить любую, даже самую идиотскую фантазию солидным академическим оперением из таблиц, стандартных отклонений и графиков.
   И самое восхитительное в этой истории заключается в том, что чем «умнее», изощреннее и автономнее становятся алгоритмы, тем ослепительнее, убедительнее и наглее они нам врут.
   Долгое время инженеры и адепты нейросетевого культа убаюкивали общество одной и той же умиротворяющей сказкой. «Да, — говорили они с кроткими улыбками, — ранние языковые модели иногда «галлюцинируют». Они путают даты, придумывают несуществующие цитаты и приписывают Шекспиру стихотворения Есенина. Но это всего лишь детский возраст технологии! Это просто мелкий баг, связанный с нехваткой обучающих данных и несовершенством архитектуры. Вот выйдут модели нового поколения — с цепочками рассуждений (Chain of Thought), с логическими блоками, с глубокой самопроверкой — и галлюцинации навсегда уйдут в прошлое».
   Прошло немного времени. Вышли те самые «рассуждающие» модели нового поколения — флагманские сервисы вроде OpenAI o3 и его компактные сородичи o4-mini. Инженеры придирчиво замерили результаты, заглянули в официальные технические отчеты и с тихим ужасом обнаружили нечто невероятное.
   Уровень галлюцинаций у новых, невероятно «умных» и продвинутых моделей не просто не снизился — он ощутимо, статистически достоверно вырос по сравнению со «старой» o1.
   Выяснилось, что способность алгоритма «рассуждать» и строить длинные цепочки логических шагов обладает удивительным побочным эффектом. Машина не стала говорить исключительно правду. Она просто научилась врать на порядок изощреннее, системнее и аргументированнее.
   Если ранняя версия нейросети на вопрос о несуществующей научной теории могла выдать путаный абзац и смущенно сбиться на междометия, то новая «рассуждающая» модель ведет себя как маститый профессор с тридцатилетним стажем академических интриг. Она добросовестно берет вымышленный тезис, бережно обволакивает его строгой научной терминологией, выстраивает стройную математическую модель и с холодной уверенностью джентльмена выдает вам готовый псевдонаучный протокол.
  
   В одном из характерных экспериментов исследователи дали нейросети промпт, содержащий абсолютно бредовое, вымышленное утверждение, и попросили оформить ответ «уверенно и академично».
   Реакция машины была безупречна. Алгоритм не поперхнулся, не выдал ошибку и не отправил пользователя читать Википедию. Вместо этого он мгновенно сгенерировал полноценный научный отчет. В нем присутствовали конкретные цифровые показатели, коэффициенты корреляции, скрупулезно рассчитанные стандартные отклонения и — как вишенка на этом торте из чистого вымысла — аккуратный список из пяти полностью сфабрикованных научных источников. С именами авторов, названиями рецензируемых журналов, годами публикаций, точными томами и номерами страниц.
   Ни одного из этих журналов, авторов и статей никогда не существовало в природе. Но выглядели они так убедительно, что продраться сквозь эту маскировку не смог бы ни один рядовой рецензент, если бы у него не было под рукой доступа к архивным базами данных.
   В этом месте стоит сделать паузу и оценить всю красоту происходящего масштаба.
   Псевдонаука прошлого была кустарной. Чтобы убедить мир в том, что «память воды» или «торсионные поля» работают, энтузиастам приходилось собирать самодельные приборы из говна и палок, писать статьи в сомнительные журналы и годами выступать на полупустых конференциях. Это требовало хоть какой-то человеческой энергии.
   Сегодня ИИ превратил производство наукообразного бреда в нажатие одной кнопки.
   В академическом мире уже сегодня разворачивается тихая, но разрушительная катастрофа. Научные журналы затапливает непрерывный поток «гибридных» статей, полностью или частично сгенерированных нейросетями. Молодые аспиранты и бывалые профессора, вынужденные выполнять жестокие корпоративные нормы по количеству публикаций (знаменитый принцип «publish or perish» — «публикуйся или умри»), массово делегируют написание обзоров литературы и методологических разделов искусственному интеллекту.
   А алгоритм рад стараться. Он с готовностью цитирует несуществующие исследования 2018 года, ссылается на фантомные эксперименты Гарвардской лаборатории и подгоняет статистические данные под любой заранее заданный вывод заказчика.
   А поскольку рецензенты в научных журналах — это точно такие же уставшие, перегруженные работой люди, у которых нет времени перепроверять каждую из пятидесяти ссылок в списке литературы, фальшивые цитаты просачиваются в рецензируемую печать. Они индексируются базами данных, попадают в другие работы, становятся основой для новых нейросетевых сэмплирований — и цикл замыкается.
   Мы уверенно вступаем в эру «информационного инцеста». Нейросети обучили на человеческих текстах. Теперь нейросети генерируют миллионы страниц правдоподобного бреда, на которых аккуратно обучаются новые модели. В результате ИИ начинает цитировать выдумки предыдущих версий ИИ, возводя их в статус непреложных фактов. Это гигантский самообучающийся комбинат по переработке галлюцинаций в академический статус.
  
   Самое ироничное во всей этой технической драме — это реакция самой IT-индустрии.
   Когда выяснилось, что с увеличением «интеллекта» моделей уровень галлюцинаций не падает, а растет, разработчики оказали человечеству неоценимую услугу. Они случайно доказали, что уверенный вымысел — это не «баг», который можно исправить выпуском свежего патча. Это фундаментальное, имманентное свойство самих больших языковых моделей.
   Языковая модель не знает, что такое «правда». У нее нет органов чувств, нет связи с физической реальностью и нет представления о причинно-следственных связях. Она не «мыслит» и не «ищет истину». Она занимается лишь одним: с невероятной математической точностью предсказывает, какое слово или токен должно идти следующим, чтобы итоговый текст максимально соответствовал статистическим паттернам из обучающей выборки.
   Если обучающая выборка состоит из научных статей, где принято писать строго, использовать вводные конструкции, приводить цифры со стандартными отклонениями и оформлять списки литературы по ГОСТу или APA, нейросеть выдаст вам именно этот внешне безупречный шаблон. А содержатся ли за этим шаблоном реальные атомы, молекулы и проверенные факты — математической функции предсказания токенов глубоко плевать.
   Для нейросети реальный эксперимент в лаборатории MIT и выдуманный эксперимент в фантомном институте имеют абсолютно одинаковую ценность, если они одинаково красиво сформулированы.
   Но пока инженеры на закрытых митапах чешут затылки и думают, что делать с этой архитектурной особенностью, отделы маркетинга тех же самых компаний продолжают продавать эти сервисы корпоративному сектору как «надежные инструменты для аналитики, юриспруденции и медицины».
   Представьте себе врача, который использует ИИ для подбора лекарственной терапии, или юриста, готовящего прецедентную базу для Верховного суда. Нейросеть с ослепительной грацией выдаст юристу ссылки на решения судов трехлетней давности с номерами дел и именами судей, которых никогда не было в природе. Более того, если юрист усомнится и спросит: «Ты уверена?», модель не смутится. Она запустит цепочку «рассуждений», выдаст дополнительный абзац аргументации и припишет: «Да, я полностью уверена, это прецедент из практики Девятого апелляционного округа».
  
   Феномен «убедительного бреда» — это идеальная, законченная метафора для всей эпохи технологического хайпа.
   Нам обещали, что искусственный интеллект станет беспристрастным Оракулом, который очистит человеческое знание от ошибок, субъективности и эмоциональных искажений. Нам говорили, что алгоритмы принесут в науку и управление абсолютную, хрустальную объективность.
   В реальности же мы получили гигантскую, высокопроизводительную фабрику по производству идеальной, высокотехнологичной лжи. Ложь эта опасна именно тем, что у нее нет привычных признаков фальшивки. У нее нет орфографических ошибок, она не брызжет слюной и не использует капслок. Она одета в дорогой смокинг, пахнет селективным парфюмом, говорит тихим, убедительным баритоном и ссылается на выдуманные журналы с импакт-фактором десять.
   Человечество оказалось перед удивительным вызовом. Раньше, чтобы отличить правду от лжи, нам достаточно было проверить форму подачи: глупость обычно выглядела глупо. Теперь же форма окончательно оторвалась от содержания. Чем выше номер версии модели, чем больше миллиардов долларов влито в ее обучение и чем длиннее цепочка ее «рассуждений» — тем сложнее человеку понять, что перед ним: великое научное открытие или просто очередная галлюцинация, аккуратно упакованная в стандартные отклонения и вымышленные страницы фантомных фолиантов.
   И, судя по всему, дальше будет только веселее. На подходе новые версии моделей, которые научатся генерировать не только текстовые ссылки, но и фальшивые сканы графиков, фейковые видеозаписи лабораторных опытов и сгенерированные ИИ-аватары профессоров, готовых на видео подтвердить любую ахинею.
   Фабрика научного бреда работает на полную мощность, смены уплотнены, а конвейер крутится без остановок. И единственное, что нам остается в этом симуляционном раю, — это перепроверять каждый номер страницы. Желательно вручную. И желательно в настоящей, пыльной бумажной библиотеке, куда у нейросетей пока еще нет прямого доступа.
  
   * Примечание автора: Для любителей фактов: сюжет с генерацией вымышленных протоколов и ссылок на несуществующие журналы — не художественный вымысел. На материалы об этом курьезе и разбор официальных отчетов разработчиков про рост галлюцинаций у моделей o3 и o4-mini автор наткнулся во время обычного серфинга на «Хабре» (Habr) и в профильных IT-новостях.