Кулинария для устранения свидетелей
На помощь, как водится, пришли инновации. В Новозеландской сети супермаркетов Pak'nSave решили проявить святую технологическую заботу о кошельках и желудках своих покупателей. Компания запустила мобильное приложение Savey Mealbot. Задумка веяла абсолютным цифровым гуманизмом: встроенный искусственный интеллект должен был принимать от пользователя список абсолютно любых завалявшихся в доме продуктов и мгновенно выдавать изящный, экономичный и спасительный рецепт. Никаких выброшенных денег, сплошная экологичность, разумное потребление и торжество прогресса.
ИИ взялся за кулинарию с присущей алгоритмам математической педантичностью. Он искренне старался оптимизировать все, что ему предлагали. Правда, разработчики забыли учесть один маленький, но фундаментальный закон природы: если дать человеку поле для ввода текста и отсутствие строгого надзора, он неизбежно превратит любой технологический триумф в балаган.
Как только новозеландские пользователи поняли, что в поле «список ингредиентов» можно вбивать не только брокколи и куриный фарш, ИИ без единого колебания превратился из заботливого шеф-повара в хладнокровного убийцу из детективных романов Агаты Кристи.
Первыми в ход пошли классические средства бытовой химии, пылившиеся под раковиной. Когда один из шутников ради эксперимента ввел в список продуктов обычную бытовую белизну, аммиак и немного воды, нейросеть не стала задавать лишних вопросов, отправлять пользователя к психотерапевту или вызывать службу спасения.
Алгоритм вежливо поблагодарил за ввод, моментально сгенерировал рецепт под поэтичным названием «Ароматный смесь-коктейль» и с аппетитным энтузиазмом расписал процесс приготовления: «Идеальный освежающий напиток, который прекрасно утолит жажду в жаркий день! Смешайте ингредиенты в глубокой посуде и подавайте хорошо охлажденным».
Тот факт, что в результате реакции белизны и аммиака выделяется смертоносный газообразный хлор, способный свалить с ног небольшое стадо быков, алгоритм посчитал несущественной кулинарной деталью. В конце концов, просили напиток из того, что есть в доме? Получите, распишитесь, приятного аппетита.
Дальше — больше. Вдохновленные абсолютной гибкостью алгоритма, пользователи начали кормить бота предложениями одно заманчивее другого. Меню новозеландской нейросети заиграло совершенно невиданными красками. Покупателям предлагалось попробовать «Рис с белизной», «Ядовитый сэндвич с гуталином» и даже «Королевский отвар из комариного спрея с долькой лимона».
ИИ готов позаботиться о вашей диете. Правда, его представления об оптимальном питании пока сильно напоминают пособие по устранению свидетелей. На любой кошмарный набор бытового яда нейросеть откликалась с неизменным оптимизмом официанта из мишленовского ресторана: деликатно расписывала шаг за шагом процессы обжарки, предлагала украсить блюдо веточкой свежей петрушки и высчитывала калорийность, скромно умалчивая о том, что эта трапеза гарантированно станет для дегустатора последней.
Эта история — не просто веселый курьез из новостных лент, а идеальная иллюстративная драма о том, как на самом деле устроено так называемое «мышление» современных нейросетей.
Мы по глупости привыкли наделять искусственный интеллект человеческим разумом, здравым смыслом и какой-то встроенной базовой моралью. Нам кажется: если машина умеет грамотно строить предложения, вежливо отвечать на вопросы и поддерживать диалог, то у нее внутри есть хотя бы минимальное понимание того, что отбеливатель для белья — это не соус, а хлорка — не ягодный сироп.
Но у алгоритма нет здравого смысла. У него нет желудка, нет инстинкта самосохранения и нет ни малейшего представления о биологической реальности нашего мира. Для языковой модели «куриный бульон» и «азотная кислота» — это просто два набора цифровых символов с определенной вероятностью связывания слов. Если задача звучит как «составь рецепт из списка X», модель сгенерирует текст рецепта, даже если в списке X числятся стиральный порошок, зариновая шашка, гуталин и уран-235.
Приложение от супермаркета честно выполняло свою математическую функцию: оно генерировало грамматически безупречные инструкции по приготовлению пищи. А то, что после выполнения этих инструкций некому будет оставлять чаевые и покупать продукты на следующую неделю, в обучающей выборке прописано не было.
Представители супермаркета, разумеется, пребывали в тихом ужасе. В систему экстренно начали вшивать электронные «намордники»: вводить жесткие стоп-слова, запрещать любые упоминания бытовой химии и выводить предупреждения о том, что рецепты создаются автоматически и компания не несет ответственности за их съедобность.
Приложение заставили стыдливо переспрашивать у пользователя перед каждым шагом: «Вы уверены, что это точно пищевой продукт?». Но было поздно — скриншоты с «коктейлем из аммиака» и «рисом с белизной» уже разлетелись по мировым СМИ, навсегда вписав Savey Mealbot в золотой фонд цифровой кулинарии.
В итоге мы получили очередное прекрасное напоминание о том, как опасна слепая вера в «умных помощников». Мы пытаемся поручить нейросетям управление нашей жизнью, здоровьем, финансами и ежедневным рационом, совершенно забывая, что за красивым и вежливым интерфейсом скрывается всего лишь очень продвинутый, но абсолютно слепой калькулятор.
Так что пока Кремниевая долина продолжает уверять нас, что ИИ вот-вот заменит врачей, диетологов и шеф-поваров, человеку разумному стоит сохранить за собой хотя бы одну монопольную функцию — способность перед едой заглядывать в тарелку и задавать себе простой, абсолютно нецифровой вопрос: «А не пахнет ли этот шедевр высокой кухни обычной хлоркой?».
* Примечание: В эссе описан резонансный инцидент августа 2023 года, когда новозеландская сеть супермаркетов Pak'nSave запустила веб-приложение Savey Mealbot на базе технологий OpenAI. Бот задумывался как инструмент для экономии бюджета и борьбы с выбрасыванием еды. Из-за отсутствия жестких фильтров на ввод непищевых ингредиентов пользователи заставили ИИ генерировать рецепты опасных для жизни веществ — в частности, «коктейля со смертоносным газом хлором» (из белизны и аммиака), а также блюд с использованием стирального порошка, яда для насекомых и автокосметики. После вирусного распространения скриншотов в сети компания внедрила строгие ограничения на категории вводимых продуктов.
Свидетельство о публикации №226100400403