Жёлтое пятно для ИИ

трёхконтурная фовеальная архитектура.

Господствующая стратегия масштабирования нейросетевых моделей на сегодня (разреженная смесь экспертов) исходит из интуиции, которая при ближайшем рассмотрении оказывается эпистемологически сомнительной. Предполагается, что сложное поведение можно разложить на набор изолированных локальных компетенций, каждая из которых активируется маршрутизатором в зависимости от входа. Однако недавние исследования продемонстрировали, что применительно к динамическим системам эта интуиция не выдерживает проверки: оператор-уровневые смеси экспертов последовательно не превосходят одноэкспертную базовую модель, а увеличение числа экспертов приводит к обратному масштабированию, коллапсу маршрутизации и деградации глобальной производительности даже при идеальном контроле над режимами. Более того, кажущееся улучшение метрик может возникать из-за временного сглаживания, которое разрушает геометрию аттрактора. Это указание на архитектурный предел: разложение сложной связной динамики на изолированные локальные компоненты не масштабируется в стратегическую глубину, какой бы совершенной ни была маршрутизация.
Фовеальный принцип, рассматриваемый ниже, применяется не как метафора зрения, а как принцип управляемого разрешения при сохранении глобальной вычислительной схемы. Он уже имеет конкретную реализацию в архитектуре Fovea Transformer, представленной на конференции ICASSP 2024. В этой работе строится многоуровневое логическое дерево из входной последовательности. По мере удаления от запрашивающего токена используются представления контекстных токенов со всё более грубой гранулярностью. Ключевое отличие от "локального внимания" состоит в том, что дальние связи не отсекаются, а сохраняются с пониженной детализацией, что обеспечивает плавный переход гранулярности вместо резкого переключения между локальным и глобальным режимами. Однако Fovea Transformer решает задачу эффективного внимания в длинном контексте, а не задачу архитектурной организации вычислений в целом. Для перехода от частного решения к общей концепции необходимо явное различение нескольких уровней, которые в существующих работах недоопределены или смешиваются.

Различие первое: исключение, игнорирование и рамочное знание.

"Смесь экспертов" включает подмножество параметров, оставляя остальные неактивными. Зеркальная операция — исключение групп параметров, заведомо нерелевантных текущей задаче. Такая логика существует в методологии экстремальной специализации, где непрофильные функциональные возможности удаляются на основе семантической важности данных. Но исключение и игнорирование — не одно и то же. Исключение необратимо или требует переобучения. Игнорирование обратимо и оставляет возможность вернуться к полной схеме. "Зеркало смеси экспертов" должно работать в режиме игнорирования: нерелевантные группы получают минимальный приоритет, но сохраняют возможность быстрой активации при смене темы.
Более фундаментальное различие касается класса знаний, которые в принципе не должны подвергаться переобучению в том смысле, в каком ему подвержены языковые паттерны. Фундаментальные константы, логические и математические аксиомы, устойчивые онтологические категории — это не то, чему можно переобучить или забыть, а рамочное условие, нарушение которого делает практически все рассуждения бессмысленными. Архитектура Limited Memory Language Models явным образом выносит фактические знания во внешнюю базу данных, маскируя извлечённые значения в функции потерь и обучая модель выполнять точечный поиск, а не полагаться на запоминание в весах. Метод даёт не только выигрыш в эффективности, но и преимущество явной редактируемости и верифицируемости базы знаний (в связи с изменением научных парадигм). Однако LMLM всё ещё предполагает, что внешняя база пополняется в ходе предобучения. Решение состоит в том, что часть базы должна быть неизменяемой — доступной только для чтения, не участвующей в градиентном обучении и служащей ограничителем, а не источником вариативности - впечатление, что разработчики нейросетевых моделей иногда об этом забывают.

Различие второе: три контура и их вычислительная топология.

Предлагаемая архитектура состоит из трёх контуров, каждый из которых характеризуется собственной вычислительной топологией и предъявляет специфические требования к аппаратной платформе.

Первый контур — контур рамочного знания — представляет собой неизменяемую или явно редактируемую базу фундаментальных констант, аксиом и онтологических категорий. Этот контур не участвует в обучении. Он доступен для чтения на каждом шаге и служит ограничителем вариативности. С инженерной точки зрения это означает наличие быстродействующего запоминающего устройства с запретом записи в режиме нормальной работы (а для фундаментальных неизменяемых знаний вообще можно использовать быструю ПЗУ), доступного с малой латентностью. В отличие от внешней базы LMLM, которая пополняется и редактируется, рамочный контур должен быть защищён от любых изменений, кроме явных и аудируемых процедур обновления. Это контур, который делает неравномерное разрешение осмысленным, поскольку без него не существует точки отсчёта, относительно которой можно судить о допустимости понижения точности в других контурах.

Второй контур — контур тематической релевантности — реализует инвертируемое "зеркало смеси экспертов" в режиме игнорирования. Контур не активирует подмножество параметров, а присваивает группам параметров приоритет релевантности текущей задаче. Нерелевантные группы обрабатываются с минимальной глубиной, но не отключаются. Вычислительно это требует механизма оценки релевантности, который сам не должен быть дороже сэкономленных вычислений. Токен-уровневая динамическая квантизация, при которой разрядность каждого токена адаптируется к входному экземпляру на основе аппроксимации ошибки квантования, показывает, что такая оценка возможна с незначительными вычислительными затратами. Принципиально, что решение принимается локально, на основе статистики, уже доступной в ходе прямого прохода, а не путём полного перебора параметров. Это снимает возражение о том, что управление разрешением требует глобального анализа, обесценивающего выигрыш.

Третий контур — контур адаптивного разрешения — является собственно фовеальным механизмом в узком смысле. Внутри групп, признанных релевантными, глубина и точность обработки варьируются в зависимости от локальной значимости. Именно здесь применимы методы, подобные Fovea Transformer, с той разницей, что неравномерность распространяется не только на внимание, но и на всю вычислительную схему: одни слои или блоки могут обрабатываться с полной точностью, другие — с пониженной, но ни один не исключается полностью. Динамическое переключение точности на уровне слоёв и даже отдельных токенов, как в FlexQuant, подтверждает техническую осуществимость такого режима.

Ключевое отличие от всех существующих подходов состоит в том, что ни один из трёх контуров не рассматривается как замена остальных. Fovea Transformer реализует третий контур, но не имеет первых двух. LMLM реализует часть первого контура, но не связывает его с адаптивным разрешением. Динамическая квантизация реализует второй и третий контуры фрагментарно, но не выделяет рамочное знание. Предлагаемая мной архитектура состоит в том, что эти контуры должны быть спроектированы совместно, с явным разделением функций и с гарантией, что рамочный контур не подвержен влиянию механизмов, управляющих разрешением в остальных контурах.

Аппаратная специфика.

Для инженеров-конструкторов, разрабатывающих схемотехнические решения микропроцессоров, наиболее существенным следствием трёхконтурной архитектуры должно стать требование гетерогенности вычислительной среды. Рамочный контур требует памяти с малой латентностью и запретом записи; контур тематической релевантности требует эффективного механизма оценки значимости, который может быть реализован как часть конвейера; контур адаптивного разрешения требует поддержки переменной точности в арифметических блоках.

Вычисления в памяти на основе мемристоров предлагают один из путей к такой гетерогенности. Мемристорные кроссбары естественным образом реализуют векторно-матричное умножение с варьируемой точностью, а адаптивная аналого-цифровая конверсия с программируемыми порогами квантования позволяет согласовывать точность преобразования с распределением выходных значений. Интеграция такого преобразователя в систему вычислений в памяти может снижать энергетические и площадные издержки до 50 и 30 процентов соответственно. Эксперимент может дать прямое подтверждение того, что неравномерное разрешение имеет аппаратную опору в физике устройств.

Однако мемристорные вычисления в памяти пока не являются универсальным решением. Для архитектур, отличных от трансформеров, требуются иные аппаратные стратегии. Ускорители для моделей пространства состояний, такие как ToMamba на плате U280 FPGA, демонстрируют ускорение до 636 раз по сравнению с центральным процессором и значительное улучшение энергоэффективности за счёт совместного проектирования алгоритма и архитектуры, включая прогрессивное слияние токенов и "мелкозернистую квантизацию". Это показывает, что аппаратная поддержка альтернативных архитектур уже существует на уровне прототипов, но остаётся фрагментарной.

Для трёхконтурной фовеальной архитектуры наиболее адекватной аппаратной моделью представляется разделение вычислений и памяти по контурам. Рамочный контур должен быть реализован в выделенном блоке энергонезависимой памяти с интерфейсом только для чтения, физически или логически изолированном от путей записи, используемых при обучении. Контур тематической релевантности может быть реализован как потоковый сопроцессор, оценивающий значимость на основе промежуточных активаций и выдающий управляющие сигналы для арифметических блоков. Контур адаптивного разрешения требует арифметических блоков с переменной разрядностью, которые могут быть реализованы либо на основе мемристорных кроссбаров с адаптивной конверсией, либо на основе цифровых блоков, поддерживающих переключение точности без остановки конвейера.

Стратегия продвижения: критерии раньше архитектур.

История науки показывает, что смена фундаментальных принципов редко происходит путём прямого опровержения предшествующей парадигмы. Чаще новая программа начинается как дополнение, накапливает аномалии и лишь затем перестраивает основания знания и философский фундамент. Сегодня аномалии смеси экспертов уже накоплены: обратное масштабирование, коллапс маршрутизации, деградация глобальной динамики при росте числа экспертов. Но простая констатация аномалий недостаточна. Для привлечения внимания и последующим действиям принимающих решение необходим сдвиг критериев оценки: от стоимости вычислений на токен при фиксированном бюджете параметров к стратегической когерентности, способности связывать удалённые фрагменты знания и устойчивости к артефактам при многошаговом рассуждении. Аппаратура, оптимизированная под один критерий, закрепляет этот критерий на десятилетия, создавая аппаратную колею, из которой потом сложно выбраться. Поэтому окно возможностей состоит не в продвижении конкретной архитектуры, а в том, чтобы сравнительный анализ альтернатив — фовеальной, гибридной, основанной на пространстве состояний, нейроморфной — был проведён до того, как колея станет проблемой институциональной инерции, а не научного выбора.
Предлагаемая трёхконтурная архитектура ИИ не претендует на статус единственного решения. Её ценность состоит в том, что она делает явными различия, которые в существующих подходах остаются скрытыми: между исключением и игнорированием, между обучаемым и рамочным знанием, между неравномерностью разрешения и неравномерностью активации. Если эти различия будут усвоены (В ТОМ ЧИСЛЕ ПОЛЬЗОВАТЕЛЯМИ), вопрос о том, какая архитектура лучше, сменится КЛИЕНТСКИМ ЗАПРОСОМ - какие именно знания должны быть защищены от обучения, а какие могут быть подвергнуты адаптивному разрешению без ущерба для стратегической когерентности. Именно это, а не спор о применимости для ИИ метафор биологического зрения является сегодня действительно неотложным.