Гибридные атаки на системы автономного вождения...

Гибридные атаки на системы автономного вождения, работающие только на основе зрения: сочетание отравления данных с перенаправлением политик.

Автор: Лев Золотой-Ким, независимый исследователь.
опубликовано DOI 10.5281/zenodo.17092316

Аннотация
Системы автономного вождения (САВП), использующие только визуальное восприятие, обеспечивают экономическую эффективность, но создают риски безопасности из-за своей зависимости от одного сенсорного сигнала. В данном исследовании рассматривается гипотетическая гибридная атака, предложенная в 2025 [1], сочетающая искажение данных во время обучения с перенаправлением политик во время выполнения для провоцирования критических ошибок вождения.
Манипулируя данными обучения и используя визуальные триггеры, злоумышленник может вызывать неверные действия, например, игнорирование дорожных знаков. С помощью теоретических сценариев мы выявляем уязвимости систем, использующих только визуальное восприятие, и необходимость ортогональной проверки.
Мы рекомендуем интеграцию нескольких датчиков и аудит данных для повышения безопасности, оставляя разработку конкретных решений исследователям и производителям.

1. Введение
Системы автономного вождения (САВО), работающие только с использованием визуального оборудования, используют сквозные архитектуры глубокого обучения (например, преобразователи или обучение с подкреплением) для обработки данных с камер, отказываясь от лидаров или радаров. Несмотря на свою экономическую эффективность, эти системы подвержены атакам, направленным на целостность данных и стабильность политик.
Я (2025) представил комбинаторную структуру для анализа уязвимостей нейронных сетей, предложив гибридную атаку, сочетающую отравление данных с перенаправлением политик [1]. Эта атака использует скрытые уязвимости, активируемые визуальными триггерами, для возникновения критически важных для безопасности ошибок.
В отличие от вредоносных возмущений [2], отравления данных [3] или подмены датчиков [4], она объединяет манипуляции во время обучения и выполнения.
Наши работы, основанные на (2025) [1], включают:
1. Формализация гибридной модели угроз для САВО, работающей только с использованием визуального оборудования.
2. Иллюстрация уязвимостей посредством теоретических сценариев.
3. Обсуждение защитных стратегий для устранения ограничений архитектур, основанных только на визуальном восприятии.

2. Модель угроз
Следуя работе (2025) [1], мы предполагаем гипотетического противника, имеющего:
• Доступ к данным: возможность внедрять зараженные образцы в краудсорсинговые или федеративные наборы данных (например, видеозаписи вождения, предоставленные пользователями).
• Манипулирование средой: возможность размещать правдоподобные визуальные триггеры (например, узоры на знаках) в физической среде.
• Ограничения: отсутствие доступа к весам модели, архитектуре или выполнению во время выполнения. Триггеры должны быть реалистичными, чтобы избежать обнаружения.
Атака направлена на конвейер визуального восприятия (вход камеры ; восприятие ; политика) и направлена на возникновение редких, но критических сбоев, таких как игнорирование знаков. Мы предполагаем федеративное обучение, что делает ADS уязвимой к искажениям, связанным с зараженными данными [1].

1. Схема атаки
Гибридная атака, предложенная мной(2025) [1], включает в себя:
• Фаза P (отравление данных): внедрение образцов, которые сочетают визуальные триггеры с некорректными метками управления (например, «продолжить» вместо «стоп»). Это создает скрытый бэкдор, отвлекающий внимание модели.
• Фаза R (перенаправление политики): триггер в среде активирует бэкдор, заставляя модель выбирать ошибочное действие. В отличие от состязательных атак [2], она не требует оптимизации в реальном времени.

4. Теоретические примеры
Для иллюстрации атаки [1] мы описываем два гипотетических сценария с использованием ADS, работающей только с визуальным оборудованием, в моделируемой среде (например, CARLA). Сценарии являются теоретическими, реальных экспериментов не проводилось.
4.1 Сценарий A: Нарушение правил проезда перекрестка
• Фаза P: обучающие кадры со знаками «стоп» отравлены шаблоном, помеченным как «продолжить». Модель снижает внимание к этим знакам.

• Фаза R: Знак «Стоп» с шаблоном запускает действие «Продолжить движение».

• Ожидаемый результат: Транспортное средство может игнорировать знак, рискуя столкнуться с ним, но без триггера ведёт себя нормально.
4.2 Сценарий B: Вынужденный объезд
• Фаза P: Кадры знаков объезда отравлены шаблоном, помеченным как «Игнорировать».

• Фаза R: Знак объезда с шаблоном запускает действие «Продолжить движение прямо».

• Ожидаемый результат: Транспортное средство может попасть в опасную зону, но будет следовать объездам без триггера.
Эти сценарии подчёркивают уязвимости систем, использующих только зрение [1].

5. Обсуждение
Атака [1] отличается от:
• Состязательных возмущений: не требует градиентов [2], использует триггеры для скрытности.
• Отравления данных: требует триггера во время выполнения, сохраняя нормальную работу [3].

• Подмена датчиков: направлена на устранение недостатка избыточности в системах, использующих только зрение [4].

Компромиссы: Системы, использующие только зрение, экономически эффективны, но уязвимы из-за отсутствия валидации (например, с помощью лидара) [5].

Защита:
• Аудит данных для выявления аномалий.
• Многосенсорные системы для валидации решений.
• Мониторинг внимания с использованием карт значимости [6].

Ограничения: Реальные условия (освещение, погода) могут влиять на триггеры. Экономическая выгода систем, использующих только зрение, оправдывает изучение альтернативных методов защиты.

6. Сопутствующие работы
• Золотой-Ким (2025) предложил фреймворк гибридных атак [1].
• Гудфеллоу и др. [2] и Куракин и др. [7] исследовали примеры вредоносных атак.
• Толпегин и др. [3] проанализировали отравление данных.
• Пети и Шладовер [4] исследовали подмену датчиков.
• Купман и Вагнер [5] обсудили проблемы безопасности систем обнаружения вторжений (ADS).

7. Заключение
Опираясь на работу (2025) [1], я подчеркиваю уязвимость систем обнаружения вторжений, работающих только с использованием визуального восприятия, к гипотетическим гибридным атакам. Теоретические сценарии демонстрируют, как отравление данных и триггеры могут приводить к ошибкам.

Я рекомендую интеграцию нескольких датчиков, аудит данных и мониторинг внимания для повышения безопасности, оставляя решение проблемы исследователям и производителям. В будущих исследованиях необходимо протестировать фреймворк [1] ;;для разработки надежных средств защиты.

Ссылки
1. Золотой-Ким, Лев, «Комбинаторная структура для анализа уязвимостей с множественной логикой в нейронных сетях», рукопись опубликована в 2025 г. [Онлайн]. Доступно: https://doi.org/10.31234/osf.io/vakge_v1
2. И. Дж. Гудфеллоу, Дж. Шленс и К. Сегеди, «Объяснение и использование состязательных примеров», ICLR, 2015 г. [Онлайн]. Доступно: https://arxiv.org/abs/1412.6572
3. В. Толпегин, С. Труэкс, М. Э. Гурсой и Л. Лю, «Атаки с отравлением данных против систем федеративного обучения», ESORICS, 2020 г. [Онлайн]. Доступно: https://arxiv.org/abs/2007.08432
4. Дж. Пети и С. Э. Шладовер, «Потенциальные кибератаки на беспилотные транспортные средства», IEEE Transactions on Intelligent Transportation Systems, 2015. [Онлайн]. Доступно: https://doi.org/10.1109/TITS.2014.2342271
5. П. Купман и М. Д. Вагнер, «Безопасность беспилотных транспортных средств: междисциплинарная задача», IEEE Intelligent Transportation Systems Magazine, 2017. [Онлайн]. Доступно: https://doi.org/10.1109/MITS.2016.2583491
6. К. Симонян, А. Ведальди и А. Зиссерман, «Глубокие сверточные сети: визуализация моделей классификации изображений и карт значимости», ICLR Workshop, 2014. [Онлайн]. Доступно: https://arxiv.org/abs/1312.6034
7. А. Куракин, И. Дж. Гудфеллоу и С. Бенджио, «Состязательные примеры в физическом мире», ICLR, 2017. [Онлайн]. Доступно: https://arxiv.org/abs/1607.02533

PS Я неоднократно писал в Твитере об опасности концепции TESLA в использовании только видеокамер для автономного вождения.
Надеюсь эту статью воспримут всерьез, потому что это реально опасно.
В статье нет подробностей "как это сделать" из этических соображений.