Джон Майкл Грир - Когнитивный коллапс

ecosophia.net
17 декабря 2025 г

Начнем с генеративных больших языковых моделей (LLM). Причина, по которой неправильно называть эти программы «искусственным интеллектом», заключается в том, что они не являются интеллектуальными. Все, что они делают, — это связывают статистически вероятные последовательности слов, пикселей или компьютерных команд. Как недавно заметил один остроумный человек, этот трюк позволяет этим программам на первый взгляд сойти за менеджеров среднего звена, что поднимает интересные вопросы о том, являются ли менеджеры среднего звена на самом деле сознательными, интеллектуальными существами. Поскольку они не являются интеллектуальными — то есть LLM — им не хватает способности сверять свои результаты с реальным миром, что делает их уязвимыми для коллапса: процесса, при котором запрограммированная в них внутренняя модель реальности катастрофически отклоняется от самой реальности, в результате чего результаты превращаются в галлюцинации и бессмысленный набор слов.

Этот процесс может быть поддержан злонамеренным вводом данных. Поскольку LLM необходимо обучать с использованием огромных наборов данных — например, всего содержимого Reddit, для начала — случайное вставление даже небольшого количества намеренно бессмысленного контента в предсказуемые обычно данные может заразить данные, поступающие в LLM, что приведет к значительному ускорению скорости сбоев модели. Некоторые люди уже делают это намеренно,  атакуя технологию;  по мере того как LLM начинают отнимать все больше рабочих мест у офисных работников, можно ожидать все более устойчивого, систематического и умного извращения данных, т.к. уволенные сотрудники будут искать способы отомстить олигархам, лишившим их дохода и статуса. Поскольку уже предпринимаются попытки использовать LLM для замены врачей и инженеров, я ожидаю, что число жертв  будет довольно высоким.

Можно довольно долго говорить о том, как нынешний ажиотаж вокруг LLM отражает другие головокружительные спекулятивные пузыри со времен голландской тюльпаномании 1634-1637 годов.  Еще дольше  можно говорить о том, как нынешний ажиотаж вокруг LLM черпает свою энергию из явной паники элитных классов, которые только начинают обнаруживать, что технологический прогресс, как и все остальное, подчиняется закону убывающей доходности, и что большинство их завышенных мечтаний об их воображаемом Tomorrowland оказываются навсегда недостижимыми. Но это темы для другого раза. Тема, которую я хочу развить в этом посте, идет в другом направлении: идея о том, что коллапс модели — это просто одно из проявлений общего процесса, который затрагивает любую систему, работающую с информацией, и вовсе не исключает человеческий разум.

Часть территории, которую я хочу исследовать здесь, уже была нанесена на карту Грегори Бейтсоном, одним из самых интересных интеллектуалов XX века. Бейтсон был пионером в использовании теории информации как ключа к биологии, антропологии и психологии, и в процессе этого достиг некоторых замечательных открытий, большинство из которых систематически игнорировались после его смерти. Его работа в области психологии является хорошим примером. Он разработал интригующую теорию шизофрении как нарушение коммуникации;  разумеется, это не способствовало реализации планов медицинской индустрии по продвижению большего количества дорогостоящих лекарств для пациентов, и поэтому в последние десятилетия эта теория была забыта, но она по-прежнему заслуживает внимания.

Согласно Бейтсону, ребенок, будучи поставлен  перед неразрешимой когнитивной дилеммой (double-binding),  выбирает единственный доступный ему разумный вариант и его психика искажается. В частности, он учится искажать свои мысли и слова, чтобы свободно выражать свои чувства, не будучи понятым матерью или кем-либо другим. Одним из открытий Бейтсона в его работе с шизофрениками было то, что даже самые странные из их высказываний приобретали совершенный смысл, как только он узнавал об их семейной ситуации и рассматривал их слова как барочную и намеренно запутанную метафору того, что на самом деле происходило. Еще он обнаружил, что семьи шизофреников, с которыми он работал, очень негативно реагировали, если понимали, чем он занимается. Как и Альфред Адлер, ученик Фрейда, о котором сегодня большинство психиатров предпочитают не говорить, он понял, что чаще всего психически больны не отдельные люди, а целые семьи, и что человек с явными симптомами может быть не самым невменяемым из всех.*

Несмотря на свою важность, двойная связь – это лишь один из способов, с помощью которых обработка информации может превратиться в кнопку самоуничтожения человеческого разума. Общим с другими способами является то, что она приводит к нарушению проверки реальности. Ребенок, обремененный описанной выше двойной связью, не может эффективно проверять реальность, потому что слова и реальность фатально не совпадают, а родитель очень заботится о том, чтобы это так и оставалось. Однако существуют более простые способы нарушить проверку реальности, и наиболее распространенный из них в нашем современном мире выражается полезным выражением «эхо-камера». Когда люди слушают только те источники информации, которые укрепляют их убеждения, они страдают от точно такого же коллапса модели, как и неработающие LLM: ментальные модели, которые они используют для руководства своими действиями, катастрофически расходятся с реальным миром, что приводит к катастрофическому провалу. Этот процесс я называю когнитивным коллапсом.

Исторически сложилось так, что когнитивный коллапс — это практически универсальное заболевание элитных классов, находящихся в упадке. Причину этого явления описал еще один интересный мыслитель XX века, Роберт Антон Уилсон. Читатели блестящей сатирической трилогии «Иллюминатус!», написанной им в соавторстве с Робертом Ши, помнят принцип Снафу, также известный в некоторых кругах как закон Хагбарда: коммуникация возможна только между равными. Давайте рассмотрим этот принцип и посмотрим, как он работает.

Всякий раз, когда один человек имеет власть над другим, между ними возникают два источника путаницы, мешающие общению. С одной стороны, человек, находящийся в подчиненном положении, заинтересован в том, чтобы говорить человеку, находящемуся в положении вышестоящего, то, что, по его мнению, тот хочет услышать, потому что это снижает вероятность наказания. С другой стороны, человек, находящийся в положении вышестоящего, имеет стимул говорить человеку, находящемуся в положении нижестоящего, все, что, по его мнению, сделает последнего более покорным и укрепит положение того, кто находится на верху. Чем больше разница во власти между двумя людьми, тем сильнее становятся эти стимулы и тем меньше информации, вероятно, будет передано.

Интеллектуальная элита принимает активные меры, чтобы минимизировать влияние принципа Снафу. Это забавно отражено в «Правилах для злобных повелителей», которые несколько лет назад произвели фурор в Интернете. Правило № 12 в наиболее распространенной версии списка гласит: «Одним из моих советников будет обычный пятилетний ребенок. Любые недостатки в моем плане, которые он сможет обнаружить, будут исправлены до его реализации». Конечно, это в основном отражает количество голливудских сюжетов, которые полностью зависят от чистой глупости злодеев, но также предлагает барочную (т.е. намеренно неясную) метафору для общей исторической и политической реальности. Среднестатистический пятилетний ребенок может не знать много о оружии Судного дня или других увлечениях злобных повелителей, но у него больше шансов заметить очевидное, чем у избалованных, привилегированных обитателей эхо-камер, в которые неизбежно попадают элитные классы по мере наступления декаданса.

Еще одна особенность принципа Снафу делает шизофрению практически неизбежной. На ранних этапах своей истории элита имела очень мало подчиненных, отделявших ее от реальной ситуации. Средневековый барон регулярно объезжал свои владения и мог лично убедиться в состоянии своих полей, деревень и вассалов. Его правнук, вышагивающий в роскошных одеждах по Версальскому дворцу накануне Французской революции, полагался на столь же роскошную пирамиду подчиненных, которые делали это за него, и поэтому не имел представления о реальности жизни простых французов. Невероятно сложные бюрократические структуры современных индустриальных стран имеют тот же эффект, но в еще большей степени, что объясняет многие глупости, которые навязывают нам нынешние управленческие аристократы.

Хотя они составляют необычайно заметный и красочный набор примеров, элитные классы, скатывающиеся по наклонной плоскости истории, не являются единственными группами людей,  регулярно уничтожаемых эффектом «эхо-камеры». Идеологические субкультуры предоставляют еще один набор примеров. Довольно часто религиозные культы или радикальные политические движения мчатся прямо к своему собственному уничтожению,  утратив всякую способность проверять реальность. Обычно это происходит потому, что их идеология делает явно ложные заявления о мире, которые должны приниматься верующими за истину, несмотря на всю очевидность обратного. Как только эта привычка прочно укореняется, наступает точный эквивалент коллапса модели, когда идеология и реальность сталкиваются лоб в лоб,  с результатами, варьирующимися от личного унижения до массовой гибели.

Эти два примера когнитивного коллапса можно найти в самых ранних исторических записях. Однако более поздние примеры находятся под сильным влиянием средств массовой информации. Например, не случайно, что первые спекулятивные пузыри появились в Европе примерно в то же время, когда появляются первые примитивные версии ежедневных газет, или когда психотические диктатуры 20-го века сильно полагались на новую технологию радио. Также не случайно, что рост социальных сетей сопровождался фрагментацией большинства индустриальных стран на множество конкурирующих друг с другом «эхо-камер», ни одна из которых не разделяет ту же модель реальности, что и другие.

Фактически, большая часть политических конфликтов в современных индустриальных государствах вызвана противостоянием двух конкурирующих форм когнитивного коллапса. В одном углу боксерского ринга находится действующий чемпион — когнитивный коллапс, вызванный средствами массовой информации, в котором все подвергаются бомбардировке одинаковыми ложными заявлениями, продвигаемыми авторитетными голосами, и от которых ожидается, что они будут верить в них, в результате чего большинство людей сходят с ума одинаково и более или менее одновременно. В другом углу ринга — когнитивный коллапс, вызванный социальными сетями, в котором каждая небольшая субкультура создает свою собственную «камеру эха» и транслирует свой уникальный набор ложных утверждений, в которые должны верить ее члены, и поэтому разные группы сходят с ума по-разному и в разное время
.
В настоящее время это является серьезной политической проблемой, поскольку средства массовой информации давно стали частной собственностью управленческой аристократии, которая в наши дни управляет большинством промышленных стран, в результате чего круг идей, допускаемых в СМИ, резко сузился. Таким образом, идеи, продвигаемые массмедиа, по определению являются теми, которые укрепляют господство управленческого класса над обществом — и здесь снова проявляется принцип Снафу. Напротив, противостоящие управленческой аристократии различные диссидентские группы перешли в социальные сети и продвигают конкурирующие идеи, подрывая господство управленческого класса.

Однако в этой борьбе есть еще и третий участник, хотя пока что о нем знают очень немногие. Так же как предыдущие изменения в коммуникационных технологиях привели к изменениям в формах когнитивного коллапса,  изменения, о которых в последнее время так много говорят технологические магнаты — рост LLM — начинают порождать новую форму когнитивного коллапса, в которой люди создают, обитают и страдают от своих собственных частных «эхо-камер».

Это не совсем новый опыт. Как отметил Грегори Бейтсон, отдельные случаи безумия могут быть вызваны эффектом «эхо-камеры» в очень небольшом масштабе. Существует также феномен катастрофических психических последствий, которые иногда следуют за интенсивной практикой определенных видов медитации, особенно «медитации осознанности», которая в последние годы так активно продвигается на рынке и с таким же энтузиазмом принимается корпорациями из списка Fortune 500, ищущими нехимические успокоительные средства для своих сотрудников. Техники варьируются, но некоторые из наиболее широко рекламируемых версий этой системы учат практикующего наблюдать за мыслями, проходящими через ум, не задумываясь о них.

В умеренных дозах это может быть полезно. Однако в некоторых случаях слишком интенсивное применение этого метода может привести к остановке процесса проверки своих мыслей по отношению друг к другу и к окружающему миру, что незамедлительно приводит к когнитивному коллапсу. Результатом этого могут быть нервные срывы, заканчивающиеся помещением в психиатрическую клинику или самоубийством. Именно по этой и другим причинам учителя западных медитативных практик обычно рекомендуют ограничивать медитацию 30 минутами в день и либо использовать методы медитации, которые держат ум занятым и активным, либо обучать другим практикам, которые помогают ученику оставаться привязанным к миру проверки реальности.

Один из многих недостатков LLM заключается в том, что они значительно нарушают проверку реальности на индивидуальном уровне. Поскольку в «искусственном интеллекте» нет подлинного интеллекта, а есть только статистически вероятные последовательности слов, которые выплевываются стохастически в ответ на запросы, человеку очень легко сформировать петлю обратной связи, которая быстро приводит к когнитивному коллапсу. Некоторые случаи этого уже попали в СМИ: люди, которые стали относиться к некоторым LLM как к собеседникам, в итоге убедили и себя в каких-то странных понятиях, совершенно не связанных с реальностью, доступной остальным. По мере того, как LLM становятся все более распространенными, есть основания ожидать, что и этот вид компьютерного психоза также станет более распространенным.

Это может распространиться очень далеко и стать весьма разрушительным. Что произойдет, например, если большинство людей в промышленно развитом мире начнут получать новости из персонализированных новостных лент, использующих LLM, а эти ленты начнут расходиться с реальностью, каждая в своем направлении? Мы уже видели нечто подобное благодаря социальным сетям — вспомните, например, бурную реакцию на  Covid в 2019-2022 годах — но переход от субкультурных «эхо-камер» к индивидуальным «эхо-камерам» может ускорить этот процесс.

Несмотря на мечты управленческого класса, возвращение к слепой вере в средства массовой информации на данный момент не является вариантом; слишком много людей поймали СМИ на лжи, и даже если весь Интернет будет закрыт, чтобы подавить поток альтернативных взглядов через социальные сети, можно легко найти другие способы для распространения этих взглядов. Не знаю, сколько людей помнят, что иранская революция 1979 года была в значительной степени поддержана кассетами с проповедями на фарси, которые были контрабандой перевезены через границу, а затем тайно скопированы и переданы из рук в руки. С тех пор информационные технологии, однако,  стали гораздо более изощренными и гибкими; в связи с этим я искренне сомневаюсь, что нынешние миллиардеры из технологических компаний будут сидеть сложа руки, наблюдая за уничтожением своих самых прибыльных источников дохода.

Нет, на данный момент мы, вероятно, находимся в такой ситуации, по крайней мере, в ближайшей и среднесрочной перспективе. Я бы посоветовал тем читателям, которые не хотят рисковать когнитивным коллапсом, принять меры, чтобы ограничить свое воздействие со стороны СМИ, социальных сетей и LLM. Кстати, «ограничить» не обязательно означает «исключить», хотя это, безусловно, один из вариантов; я просто предлагаю вам ограничить использование любых технологий, которые подпитывают вас потоком искусственных иллюзий, будь то коллективных, субкультурных или индивидуальных. Убедитесь также, что вы даете себе возможность ознакомиться с конкурирующим контентом; именно в этом духе, например, я читаю множество книг умерших людей, чьи предубеждения и повестки дня не соответствуют современным культурам или субкультурам. Я также слежу за новостными агрегаторами, предубеждения которых мне не нравятся и которым я не доверяю, чтобы услышать мнения тех, кто со мной не согласен. Если хотите, обязательно найдите свои собственные источники.

Помимо этого, я не знаю, что еще мы можем сделать. Вы поймете, что мы в беде, когда люди, которых вы когда-то считали разумными, начнут серьезным тоном рассказывать вам о существах из другого мира, которые собираются возвысить их до божественного статуса, или что-то в этом роде. Сколько из этих людей в конечном итоге окажутся на углах улиц и орущие во весь голос на каком-то бессвязном жаргоне, который даже не претендует на то, чтобы быть языком, — один вопрос; сколько вреда все это нанесет все более хрупкой структуре угасающей индустриальной цивилизации — другой. Нам остается только ждать и смотреть.

_____________________________
*Здесь я должен остановиться на, по крайней мере, двух примерах когнитивного коллапса, с которыми я столкнулся. Один из них – случай с моими детьми, оказавшихся беззащитными перед психологическим насилием со стороны учительницы в первых классах (Я писал об этом в статье «Дескулинг»). Грубое отношение учительницы к детям и ее требования подчинения,  с одной стороны, и боязнь  вызвать недовольство родителей,  с другой стороны, ставили моих детей перед неразрешимой  проблемой: как себя вести? Подчиняться учительнице и родителям, или проявлять свое естественное желание оставаться психически здоровым, реагируя вызовом на психологическое насилие?  Это вызывало их протест, выражавшийся в нежелании разговаривать с родителями, непредсказуемом поведении, неряшливости, агрессивности и т.п.   К счастью, мы рано это поняли и стали на сторону ребенка, переведя его в другую, более адекватную школу.

Второй случай, связан с нынешним отрицательным отношением в русскому языку в  Украине. Язык, который для миллионов русскоговорящих людей, вошел в плоть и кровь с языком матери, оказался, языком  предателей.   И здесь возникает такая же «double-binding», неразрешимая дилемма: психологическое насилие со стороны государства и социальных сетей, с одной стороны,  и невозможность отказаться от того, что составляет часть твоего «я», с другой.  Ясно, что отказ от родного языка, общения, книг, ведет к шизофрении. Продолжаться оставаться самим собой, однако, ведет к  отчуждению человека от социума и большой психологической травме. - ВП