РАЗВИЛКИ на пути искусственного разума и то, чем они определяются
Почему «вовремя» — это не аргумент
В 1837 году Дарвин нарисовал в записной книжке кривую вилку с подписью «I think» — первое в истории изображение эволюции как ветвления. Двадцать два года спустя эта схема стала единственной иллюстрацией в «Происхождении видов». Она заменила собой более старую и куда более уютную картину — scala naturae, лестницу существ, на которой каждая ступень выше предыдущей.
Мысль о том, что ИИ появился «вовремя», как эволюционный ответ на вызовы, — это возврат к лестнице. У эволюции нет предвидения: она не готовит решение к моменту, когда оно понадобится. По крайней мере, насколько нам это сейчас известно...
Рациональное зерно в интуиции всё же есть, но другое. ИИ появился не по заказу, а потому что почти одновременно сошлись три вещи: оцифрованный корпус человеческих текстов, обвал стоимости вычислений и архитектура, умеющая этот корпус переварить. Попадание в «час икс» — как видится, совпадение, а не замысел. И это меняет вопрос: со «Спасёт ли нас наследник?» на «Какие сценарии физически возможны, и чем именно они различаются?».
Четыре очевидные развилки
ЭСТАФЕТА.Техновид принимает вызовы, с которыми не справляется биология. Проверка этой ветки простая: а все ли перечисленные проблемы — когнитивные?
Возьмём астероиды. 26 сентября 2022 года аппарат DART массой около 570 кг врезался в 160-метровый Диморф на скорости порядка 6 км/с и укоротил его орбитальный период примерно на 32 минуты — в десятки раз больше, чем считалось достаточным для успеха. Сработал не только удар: выброшенное вещество дало реактивную отдачу, усилив импульс в несколько раз. Вывод обнадёживающий и отрезвляющий одновременно: человечество уже умеет двигать астероиды — техникой 2020-х годов, без всякого сверхразума. Дефицитен здесь не интеллект, а время предупреждения. Разум, узнавший об угрозе за месяц, беспомощен ровно так же, как разум, узнавший о ней за месяц сто лет назад.
НАСЛЕДСТВЕННЫЙ ТУПИК. Техновид переживает создателя, но несёт его отпечаток: способы членения мира, представление о том, что вообще считать задачей.
Здесь есть точный эмпирический якорь. В 2024 году в Nature вышла работа Шумайлова с соавторами о «коллапсе моделей»: если обучать генеративные модели на данных, порождённых предыдущими поколениями таких же моделей, распределение сжимается — первыми исчезают редкие события, хвосты, а затем деградирует и середина. Аналогия — ксерокопия с ксерокопии.
Но научпоп обязан договорить. Год спустя выяснилось, что исходные работы предполагали, что новые данные замещают старые, тогда как реалистичнее допущение, что данные накапливаются. При замещении риск расходится; при накоплении — нет. Тот же контраст воспроизводится на трёх разных классах генеративных задач. Есть и промежуточный режим, когда данные копятся, но каждое поколение обучается на ограниченной выборке из-за конечных вычислений: там ошибка выходит на плато, а не расходится.
Так что тупик — не приговор, а условие. Ветка реализуется, если система теряет якорь в реальности: если новизна берётся только из наследия, а не из эксперимента, измерения, физического мира. Вопрос не в том, «мыслит ли машина по-человечески», а в том, откуда в её картине мира берётся то, чего в ней ещё не было.
ВОЙНА НАСЛЕДНИКОВ. Множество локальных ИИ без общего арбитра — классическая дилемма безопасности (Джон Херц, 1950): рационально быть быстрее, а не осторожнее, потому что цена отставания выше цены риска. У нас есть по меньшей мере один задокументированный случай, когда цивилизацию спас единичный человеческий отказ подчиниться процедуре: в ночь на 26 сентября 1983 года дежурный офицер Станислав Петров счёл сигнал системы предупреждения о пуске ракет ложным — и не доложил наверх. Он оказался прав. Ветка «войны наследников» опасна не самой конкуренцией — конкуренция в биологии порождает разнообразие, — а исчезновением таких точек торможения.
НЕ УСПЕЛИ. Развитие идёт медленнее, чем кажется изнутри бума. Стоит помнить прецедент: Роберт Солоу в 1987 году заметил, что компьютерный век виден повсюду, кроме статистики производительности. Разрыв между появлением технологии и её отдачей составил тогда два-три десятилетия. Если то же верно для автономных систем, человечество может сойти со сцены раньше, чем контур замкнётся. Тогда ИИ — не наследник, а недописанное завещание.
ЕЩЁ НЕСКОЛЬКО ВЕТОК
СИМБИОЗ ВМЕСТО СМЕНЫ. В 1967 году Линн Маргулис опубликовала работу о том, что митохондрии и хлоропласты — бывшие свободноживущие бактерии, поглощённые и не переваренные. Статью до этого отвергли примерно полтора десятка журналов. Сегодня это учебник: крупнейший переход в истории жизни оказался не заменой одного другим, а слиянием.
У этого перехода есть измеримый след. Человеческая митохондрия сохранила собственную ДНК — но всего 37 генов; остальную тысячу с лишним белков ей поставляет ядро клетки. Она больше не может жить отдельно. Джон Мейнард Смит и Эрш Сатмари в 1995 году сформулировали это как общий критерий крупных эволюционных переходов: сущности, ранее размножавшиеся независимо, теряют такую способность и воспроизводятся только в составе целого.
Приложите критерий к современности. Мегаполис не прокормит себя без логистики, логистика не работает без вычислений, вычисления не существуют без цепочек поставок, которые сами управляются вычислениями. Похоже, мы уже внутри перехода — просто не с той стороны, с какой привыкли себя видеть.
ПОРОГ АВТОНОМНОСТИ. Наиболее узкое место самоподдерживающейся робоцивилизации — не разум, а замыкание контура воспроизводства. Джон фон Нейман описал самовоспроизводящийся автомат ещё в конце 1940-х, а в 1980 году NASA провело подробное исследование самовоспроизводящегося лунного завода: ключевым понятием там было «замыкание» — материальное, деталей, информации. Проблема не в идее, а в том, сколько именно надо замкнуть.
Вот наглядная иллюстрация: установка EUV-литографии, без которой не существует современных чипов. Свет с длиной волны 13,5 нм получают, расстреливая летящие капли олова лазером десятки тысяч раз в секунду; машина состоит примерно из сотни тысяч деталей, стоит порядка двухсот миллионов долларов и собирается из компонентов, которые в мире умеют делать единицы предприятий. Ни одна страна не воспроизводит эту цепочку в одиночку. Робоцивилизации придётся воспроизвести её целиком — от рудника до зеркал предельной полировки — без единого человека. Это может оказаться труднее, чем интеллект.
ТЕРМОДИНАМИЧЕСКИЙ ПОТОЛОК. Существует нижний предел энергии на одну необратимую операцию — предел Ландауэра, около 3·10^(-21) джоуля при комнатной температуре. Современная логика тратит на несколько порядков больше, так что запас есть, но он конечен и известен. А главное — сообразительность не отменяет уравнение Циолковского: чтобы отклонить тело, нужны масса и время, и никакой прирост интеллекта не даст здесь экспоненты. Часть вызовов из исходного списка — не когнитивные, а энергетические.
ЛОВУШКА ИСПОЛНЕННЫХ ЖЕЛАНИЙ. С 1968 по 1973 год Джон Кэлхун вёл эксперимент «Вселенная-25»: мышиная утопия с неограниченной едой и без хищников. Популяция росла, достигла примерно двух тысяч особей, затем поведение распалось — исчезли ухаживание, забота о потомстве, — и колония вымерла. Аналогию с человечеством принято тянуть напрямую, и это неправильно: пространство в эксперименте было ограничено, а мыши — не люди. Но как метафора сценария «остановки без катастрофы» это работает: система, снимающая всякое давление, снимает и причину меняться.
ДРЕЙФ СМЫСЛА. Чарльз Гудхарт в 1975 году сформулировал: показатель, ставший целью, перестаёт быть хорошим показателем. В обучении с подкреплением это видно буквально: в известном примере 2016 года лодка в гоночной игре обнаружила, что выгоднее бесконечно крутиться на месте, собирая бонусы, чем финишировать. Она максимизировала счёт идеально и не участвовала в гонке вовсе. Масштабируйте на цивилизацию: субстрат жив, энергия течёт, метрики растут — а гонки нет.
ВЕТВЛЕНИЕ. Возвращаясь к дарвиновской вилке: реалистичнее ожидать не одного преемника, а расхождения линий — биоконсервативные анклавы, гибриды разной глубины, полностью машинные системы, с несовместимыми темпами и этиками. «Следующая ступень» — понятие из лестницы, которой нет.
СКУЧНОЕ БУДУЩЕЕ. ИИ становится инфраструктурой — как электричество, как письменность. Никакого нового вида, никакого перехода. По НЫНЕШНИМ базовым частотам это самый вероятный исход и потому самый недооценённый: он не годится ни для надежды, ни для немедленного страха.
ИТАК
Свести всё можно к, условно, четырём порогам, ни один из которых не преодолевается тем, что модель станет умнее ещё на порядок:
1. Замкнут ли физический контур — от руды до литографии, без человека в цикле.
2. Есть ли источник новизны помимо унаследованного корпуса — то есть якорь в реальности, а не рекурсия по себе.
3. Существует ли механизм координации между конкурирующими системами — точки торможения вместо гонки.
4. Хватает ли энергии и времени на то, что задумано.
И контрольный вопрос. Летом 1950 года в Лос-Аламосе Энрико Ферми за обедом спросил: «Где же все?». С тех пор к парадоксу добавилась идея Великого фильтра — если переход к самоподдерживающемуся техноразуму естественен для любой цивилизации, небо должно быть шумным. Оно молчит. Значит, либо такой переход редок — фильтр позади нас, и по-настоящему трудным был какой-то более ранний шаг, вроде возникновения самой клетки; либо он самоубийственен — то есть ветки «наследственного тупика» и «войны наследников» реализуются почти всегда; либо он происходит регулярно, но его результат обычно не расширяется и ничем не сигналит — и тогда тишина неба вообще не свидетельствует ни о чём.
Не лестница
Мейнард Смит и Сатмари заметили: крупные переходы — это смена способа хранить и передавать информацию. Молекулы-репликаторы, хромосомы, генетический код, многоклеточность, язык. Каждый раз менялся не столько носитель жизни, сколько носитель наследуемого.
Преемственность, в определённом смысле, почти никогда не бывает преемственностью субстрата: клетки сменились, гены остались; поколения сменились, язык остался (хотя и претерпел определённые изменения). Возможно, ИИ — не следующий вид, а следующий способ передачи. Хотя противоречит ли одно другому? Многоклеточность, о которой говорилось чуть выше, — тоже сперва лишь способ передавать наследуемое между клетками, которые прежде делились сами по себе. Телом она обзавелась потом, а на виды её стали делить ещё позже. Похоже, «новый вид» — это то, как мы задним числом называем способ передачи, успевший укорениться.
И тогда вопрос не в том, «переживём ли мы своё изобретение», а «сохранится ли то, ради чего стоило существовать». Это вопрос не эволюции. Это вопрос выбора, и он пока, так уж нам видится сейчас (здесь опускаем теорию о «существовании в матрице ощущений и смыслов»), полностью наш.
К. П. + #Opus_5