Против концепции технологич. сингуляр-ти, ст-я 2-я

Около четырёх с половиной лет назад, летом 2019-го я написал для ВК-паблика группы «Космоштурм» статью об абсурдности концепции технологической сингулярности, акцентируя внимание на глупость их базовых аргументов – сведению работы мозга к вычислительной мощности и её постоянному увеличению у процессоров классического типа по так называемому закону Мура. Примечательно, но и лидеры конкурента «Космоштурма», сообщества «Спейсморг» оценивали главного сингуляриста – Курцвейла – как «проповедника калифорнизма», а не трансгуманиста. [1] Впрочем, «Спейсморг» тоже ангажирован – в сильном ИИ, ИИ общего уровня они видят один из вариантов усовершенствования и преодоления человеческой природы наравне с  киборгизацией и загрузкой сознания.

Короче говоря, по первому пункту концепции я указал на сложное, с множеством горизонтальных и вертикальных связей, строение мозга и недостаточный уровень знаний о принципах его функционирования, отсутствие чётких определений интеллекта и сознания.
По второму – прекращение выполнения этой самой закономерности, сокращение темпов миниатюризации и продолжающийся поиск новой элементной базы взамен кремниевых полупроводников. Самое забавное – что в этом плане за всё это время так ничего не изменилось: ни схемы на графене, ни квантовые системы не стали повседневной обыденностью.

Теперь понятно, что я смотрел не туда – нужно было обратить внимание на графические процессоры и нейронные сети.
Впрочем, графические процессоры представляют собой специальную форму организации обычных кремневых схем, по сути, ещё одна форма экстенсивного развития существующей технологической базы.
Вдобавок, важной является и применяемая для реализации архитектура – так, тип Transformer, используемый в больших языковых моделях (LLM, Large Language Model), был представлен лишь в 2017-м. [2] В 2019-м, на момент написания той моей статьи, первые системы такого вида – GPT-2 и его производные как российский «Порфирьевич» – могли генерировать лишь отдельные осмысленные предложения и абзацы. [3][4] Полноценный связный текст небольшого размера выдавали появившиеся и дорабатываемые в последующие два года GPT-3 и его аналоги.

Хотя начать следовало с другого ракурса. Указать, что само применение термина «сингулярность» и формулировка прогнозируемого события неверны. В материальном мире бесконечное значение физического параметра абсурдно как совершенно невозможное состояние. Бесконечная скорость – научный абсурд. А вот что действительно возможно – так это настолько высокий темп событий, настолько большое количество перемен, что человек не может за ними уследить. Только вот бояться этого бессмысленно – у нас и так нет контроля над собственной жизнью вообще; просто вместо подсолнечного масла у трамвайных рельсов может оказаться вода на полу ванной или аневризма аорты. Вспоминается на эту тему ещё и эпизод с пациентом психлечебницы в фильме «Планета Ка-Пэкс»… Но вернёмся к основной теме. Следующий аспект глупости – бесконечный рост невозможен. Да, есть теории, по которым Вселенная будет расширяться бесконечно, но в самой Вселенной ничего вечного нет. Испарятся чёрные дыры, если протоны не распадутся – то всё вещество превратится в железо…

Перейдём к сути и проблемам как самих нейросетей, так и языковых моделей.
Первая проблема, не устранённая до сих пор – отсутствие памяти в человеческом смысле этого понятия. Используемые искусственные нейросети не сохраняют те связи, которые появились при «обучении» ранее под одним тип задач, при настройке под другой тип. В этом отношении наш мозг по-прежнему более гибок и универсален.

У нейросетей, предназначенных для распознавания образов – причём как в классификаторах изображений и системах видеонаблюдения, так и в системах автопилотирования рядовых электромобилей и такси – есть несколько серьёзных ограничений. В первую очередь – тривиальные ошибки из-за ракурсов и засвечивания. Вторая «ахиллесова пята» – состязательные примеры, изображения, при помощи можно «обмануть» программу, замаскировать присутствие человека или других, более важных  объектов. В отношении последней категории систем ранее отмечались непонятные и потенциально опасные решения [5, 6], так до конца и не исправленные [7]. Хорошо бы предоставить пассажирам красную кнопку для аварийного торможения…
Впрочем, у нас, у людей тоже есть свои системные «глюки»; я имею в виду оптические иллюзии. Ведь мы по большей части видим зрительной корой нашего мозга, а не глазами; обычно мы не замечаем наличия ни жёлтого, ни слепого пятна в нашем восприятии. Можно указать на парейдолию и апофению, найти ещё несколько примеров неверного распознавания или особенностей толкования внешних явлений нашим сознанием.

Все существующие большие языковые модели, все эти чат-боты по своей сути – огромные матрицы весов корреляционных связей, гигантские семантические сети с большими требованиями по вычислительной мощности, размерам компьютерной, машинной памяти – оперативной и долговременной, и, наконец, набору обучающей выборки.
В плане отслеживания прогресса в этом направлении и этой отрасли я нашёл очень полезным Дзен-канал «малоизвестное интересное»; впрочем, его автор, Сергей Карелин, придерживается радикально оптимистичной позиции. Учитывая, что он лишь консультант по перспективным технологиям и бывший топ-менеджер, а не специалист по информационных технологиям или нейробиологии, его можно смело назвать российским Курцвейлом. [8] Да, внутри больших языковых моделей (LLM), как и внутри человеческого мозга, нашли линейные комбинации и группы нейронов, кодирующие связи внешних понятий или выполнение некоторых действий. Но у людей это устойчивые конструкции. А чат-боты – «стохастические попугаи». И их создатели уже столкнулись с проблемой ограниченного объёма доступного интернет-контента для дообучения старых и обучения новых версий, а разбавление человеческих образцов сгенерированными с помощью других нейросетей данными приводит к деградации системы вследствие усечения хвостов распределения перераспределением весов в сторону наиболее частых вариантов [2, 9]. Что, кстати говоря, вызывает ассоциации с болезнью Альцгеймера и другими типами деменции, для профилактики которых рекомендуют постоянно учиться и познавать новое… Логичный путь обхода – усовершенствование конструкции системы, наилучший вариант – модификация или замена архитектуры. Deepseek, похоже (к сожалению!), является примером первого типа, то есть добавление дополнительных этапов [10] и оптимизация [11].

Но самое главное – само понимание «сильного машинного интеллекта». О разумной суперумной машине речи не идёт.
Роботы-андроиды, оснащённые языковыми моделями для восприятия команд от людей и генерации ответов – лишь воплощение треножников Гефеста из греческой мифологии. У этих машин нет полноценного аналога ни нервной системы, ни мышц; есть отдельные процессоры для управления своей частью механизма, есть основные блоки для координации движений и навигации. Разработка фирмы Clone является пока исключением, но ведь и конечного результата тоже пока нет [12]…
Судя по заявлениям инженеров-экспертов и глав техотделов, AGI ими понимается как качественные многофункциональные компьютерные комплексы без сознания и воли, но способные выполнять большинство человеческих интеллектуальных задач как средний человек или чуть лучше. По сути, чуть более продвинутые чат-боты и большие языковые модели. [13, 14] По-прежнему ещё один инструмент в человеческих руках. Для которого хотят ввести новый термин – ИИ общего назначения (ИИОН, general-purpose AI). [15]

И эти комплексы будут находиться во владении корпораций, в которых их сконструировали. А вот как фирмы собираются компенсировать столь огромные затраты – триллионы долларов – на их разработку? Хороший вопрос. Нынешнее генерирование картинок и текстов отдельными людьми-пользователями – несерьёзно. Перекладка на программы большей части труда сотрудников с сокращением штатов для экономии на канцтоварах и зарплате – явно недостаточно. Значит аутсорсинг, выполнение чужих заказов… Алгоритмы могут обрабатывать большой объём данных, эта рутинная интеллектуальная, в чём-то грязная работа пока ещё возлагается на помощников, секретарей, лаборантов и другой младший персонал.

Потенциально – вплоть до управления инфраструктурой целых городов и регионов; я встречал такую мысль несколько лет назад в футурологическом романе 1969 года «Взгляд в будущее» Жака Фреско, в которой фигурировали два суперкомпьютера, основной и резервный, на которые было возложено управление всей техносферой; из-за этой концепции его обвиняют в том, что он хотел превратить планету в огромный детский сад с ИИ в роли нянек; конечно, следует понимать, что во времена написания книги было популярно восприятие компьютерных сетей как объединение мейнфреймов с подключёнными к ним удалёнными терминалами ввода-вывода.
Однако такая система, с одним центром принятия решений, будет неэффективна и имеет множество потенциальных уязвимостей – это и сбои в функционировании как самого компьютера, так и подключения (от некорректных команд отдельным приборам до потери связи с целыми областями).

Примечательно, что в США с их политическим плюрализмом реализовался монополистический подход с несколькими главенствующими корпорациями, готовящимися поделить сферу и её потенциальные рынки.
А в Китае с верховенством одной партии и частные, и государственные фирмы предпочли создавать отдельные специализированные под конкретные технические объекты или задачу агенты-приложения. Автоматизированное управление железнодорожным транспортом и улично-дорожным оборудованием. Банковские сервисы и торговля на бирже. Базы данных государственных служб. И, главное – промышленность, производственное оборудование. [13, 16-18]

Такая организация – по принципу нынешних компьютерных сетей, с иерархией серверов и клиентов – решение вполне эффективное и безопасное, гибкое в случае аварии или ЧП, при необходимости ремонта и обновления. Надёжнее иметь инфраструктуру без замыкания управления на единый центр, децентрализованную как и нынешний Интернет или как он задумывался или в формате несколько параллельных отраслевых сетей. А некоторые сегменты и вовсе снабдить только автономным управлением, а то и оставить с ручным механическим.

И такой вариант развития отрасли напоминает мне описание сообщества под названием «Культура» из одноимённого цикла британского писателя-фантаста Иэна Бэнкса. В нём состояло множество отдельных ИИ, заведующих отдельными крупными элементами системы – кораблём, станцией или её отдельным сегментом. Они участвовали в принятии общих решений, но в частную жизнь биологических носителей разума не вмешивались. В этом аспекте мы видим довольно оптимистичную, но и реалистичную картину относительно отдалённого будущего.

Ссылки:

1. Фрагмент аудиозаписи подкаста сообщества «Спейсморг» («Spacemorgue») – «Организации и практики у них: Курцвейл, SU, H+, политика»
2. И целого интернета мало. Насколько высок риск инбридинга языковых моделей 3. OpenAI создали алгоритм, генерирующий осмысленные тексты | Новости | Мир фантастики и фэнтези 4. Находка: обученная на русской прозе нейросеть «Порфирьевич», продолжающая ваши тексты | Новости | Мир фантастики и фэнтези 5. Tesla на автопилоте проехала более 1200 километров без вмешательства человека — Naked Science 6. Автопилоты Tesla и Google сравнили в одинаковых условиях, и результаты оказались до странности разными — Naked Science
7. Трамп отменит требование к Tesla сообщать об авариях с участием автопилота (https://naked-science.ru/community/1017201)
8. Как генеративный интеллект изменит бизнес за 2-3 года | малоизвестное интересное | Дзен (https://dzen.ru/a/Z03_1zhRgyt0tdqk)
9. Технологическая сингулярность отменяется? Закончились данные для обучения ИИ (https://naked-science.ru/community/1023089)
10. Богатейшие люди потеряли миллиарды долларов после запуска китайского чат-бота DeepSeek (https://naked-science.ru/community/1026987)
11. DeepSeek обвинили в «дистилляции», а Alibaba претендует на титул лидера рынка ИИ (https://www.bfm.ru/news/566691)
12. Стартап Clone Robotics показал действующего полноразмерного андроида. Его тело имитирует анатомию человека и содержит более 1000 искусственных мышц (https://nplus1.ru/news/2025/02/20/protoclone)
13. План «Б» от Кай-Фу Ли: Что делать, если США всё же станут гегемоном в AGI | малоизвестное интересное | Дзен (https://dzen.ru/a/Z3GPmxMIgz7eO-AA)
14. OpenAI уже создала сильный ИИ, заявил сотрудник компании (https://naked-science.ru/community/1014000)
15. Через 10 дней Homo sapiens перестанет быть единственным носителем высшего интеллекта на Земле | малоизвестное интересное | Дзен (https://dzen.ru/a/Z5uiRn3mNQnnihvb)
16. В Китае считают, что лидерство США в ИИ может оказаться иллюзией | малоизвестное интересное | Дзен (https://dzen.ru/a/ZfHoa5UbpkY7Aa3K)
17. «Цифровые военкоры» и «куриный суп для души» | малоизвестное интересное | Дзен (https://dzen.ru/a/ZleNlkVdVwGaS1nS)
18. Кай-Фу Ли объявил войну Nvidia и всей ИИ-экосистеме США | малоизвестное интересное | Дзен (https://dzen.ru/a/Zxe6aCx60jijEmZq)