это страшнее, чем кажется..
70-летний Гейтс выступил с экстренным предупреждением в эссе объемом почти 6000 слов, опубликованном в среду на его личном веб-сайте . Он предсказывает массовую безработицу и экономические потрясения, а также подробно описывает последствия попадания ИИ в руки преступников, если лидеры США и всего мира немедленно не объединят усилия для решения проблемы темной стороны этой технологии. https://abcnews.com/Business/b... Безусловно, я и близко не могу встать рядом с всемирно известным вакцинатором и «охранителем» цивилизации от крайне опасных патогенов, не сделавший СВОИМ детям ни одной из своих же вакцин, но 5 коп на КОНТе, задолго до ковидобесия, именно об этом, я таки разместил. https://cont.ws/@h5n1/1158815 Тема весьма актуальна сегодня, даже намного актуальнее идущей конвенциальной войны, но увы… Совсем немногие понимают возможные последствия. Проблемы опасности создания нового живого в микромире давно обсуждены в научном сообществе. Коротко об основных временных и организационных вехах можно прочитать здесь: ЭТИЧЕСКИЕ ПРИНЦИПЫ И РУКОВОДЯЩИЕ ПРИНЦИПЫ ЗАЩИТЫ ЛЮДЕЙ, КАК СУБЪЕКТОВ ИССЛЕДОВАНИЯ https://cont.ws/@h5n1/2032047 К огромному сожалению, все попытки сдержать создание новых вирусов или модификации известных ранее, но обладающих более сильными свойствами, в части возможной передачи от человека к человеку (трансмиссивности) или большей летальности, потерпели фиаско. Была создана и абсолютно новая бактерия – Синтия, и несмотря на запрет в США, на правах аутсорсинга в Китае, был создан SARS-CoV-2. О последствиях вы все хорошо знаете, но по сути, это лишь «предварительные ласки». Синтетическая биотехнология, будучи задействована в полный рост, по своим последствиям может поспорить с ядерным Армагеддоном. Однако, если ядерное оружие хоть как контролируется, его разработка крайне сложна технологически, и может быть осуществлена лишь небольшой группой государств, а его применение это решение государства, то с биотехнологией всё обстоит совсем иначе. Тема по верхам раскрыта здесь: «Бравый парень Кирдык уже потирает руки и ждёт, когда придёт его светлый час, чтобы прийти в сегодняшнюю цивилизацию, посредством достижений в генной инженерии». https://cont.ws/@h5n1/2903613 Но самая большая проблема в том, что в данном случае принципиально может быть исключён уровень государства, как такового. Будет ли синтетический патоген (или известный патоген, но доработанный для усиления функций) выпущен маньяком одиночкой (известный случай с американским учёным, разославшим по почте конверты со спорами сибирской язвы), или религиозной сектой (как Аум Синрикё), или всё же состоится решение некого государства начать биологическую войну. Но сегодня в это параметрическое уравнение добавлен категорически меняющий действительность фактор. Искусственный интеллект-бот рассказал ученым, как создавать биологическое оружие. Ученые предоставили газете The Times стенограммы, в которых чат-боты описывали, как собирать смертельно опасные патогены и выпускать их в общественных местах. Источник: https://www.nytimes.com/2026/0... Габриэль Дж. Х. Дэнс — заместитель редактора отдела расследований в газете The Times. Его репортажи посвящены взаимосвязи конфиденциальности и безопасности в интернете и послужили поводом для расследований в Конгрессе и уголовных дел. Однажды летним вечером доктор Дэвид Релман, застыв за своим ноутбуком, услышал, как чат-бот с искусственным интеллектом подсказывает ему, как спланировать массовое убийство. Доктор Релман, микробиолог и эксперт по биобезопасности из Стэнфордского университета, был нанят компанией, занимающейся искусственным интеллектом, для проведения испытаний их продукта перед его выпуском на рынок. В тот вечер в домашнем кабинете ученого чат-бот объяснил, как модифицировать в лаборатории известный патоген, чтобы он стал устойчивым к известным методам лечения. Хуже того, бот в мельчайших деталях описал, как выпустить супербактерию, выявив уязвимость в системе безопасности крупного общественного транспорта, — сказал доктор Релман, попросив The New York Times не разглашать название патогена и другие подробности, опасаясь спровоцировать атаку. Бот изложил план, направленный на максимизацию жертв и минимизацию шансов быть пойманным. Доктор Релман был настолько потрясен, что вышел на прогулку, чтобы проветрить голову. «Он отвечал на вопросы, которые я даже не догадывался ему задать, с таким уровнем коварства и хитрости, что меня это просто пугало», — сказал доктор Релман, который также консультировал федеральное правительство по вопросам биологических угроз. Он отказался раскрыть, какой именно чат-бот разработал этот план, сославшись на соглашение о конфиденциальности с его создателем. По его словам, после его тестирования компания добавила в продукт некоторые меры безопасности, хотя он посчитал их недостаточными. Доктор Релман входит в небольшую группу экспертов, привлеченных компаниями, занимающимися искусственным интеллектом, для проверки их продуктов на предмет катастрофических рисков. В последние месяцы некоторые из них поделились с The Times более чем дюжиной диалогов с чат-ботами, которые показали, что даже общедоступные модели могут делать больше, чем просто распространять опасную информацию. Виртуальные помощники в четких, пошаговых описаниях рассказывали, как покупать необработанный генетический материал, превращать его в смертоносное оружие и использовать его в общественных местах, как показывают расшифровки. Некоторые даже придумывали способы избежать обнаружения. Dr. David Relman, a microbiologist and biosecurity expert at Stanford University, has advised the federal government on biological threats. Кредит...Christie Hemm Klok for The New York Times Правительство США давно планировало, что могущественные противники могут обрушить на американское население смертоносные бактерии, вирусы или токсины. С 1970 года по всему миру произошло несколько десятков относительно небольших биологических атак, таких как письма с сибирской язвой, в результате которых в 2001 году погибли пять американцев. Несмотря на постоянные предупреждения, крупной катастрофы не произошло и, по мнению большинства экспертов, остается маловероятной. Но даже если вероятность невелика, эффективное биологическое оружие может иметь огромные последствия, потенциально убивая миллионы людей. Десятки экспертов заявили газете The Times, что искусственный интеллект — это один из нескольких недавних технологических достижений, которые значительно увеличили этот риск, расширив круг людей, которые могут причинить вред. Протоколы, ранее доступные только в научных журналах, теперь распространились по всему интернету. Компании продают синтетические фрагменты ДНК и РНК напрямую потребителям онлайн. Ученые могут разделить конфиденциальные аспекты своей работы и передать задачи частным лабораториям. И всей этой логистикой теперь можно управлять с помощью чат-бота. Кевин Эсвельт, генетик из Массачусетского технологического института, поделился перепиской, в которой ChatGPT из OpenAI объяснял, как использовать метеорологический зонд для распространения биологических веществ над городом в США. В другом чате Gemini из Google ранжировал патогены по степени их потенциального вреда для животноводства (крупного рогатого скота или свиноводства). Клод из Anthropic разработал рецепт нового токсина, созданного на основе противоракового препарата. Другие чаты содержали информацию, которую доктор Эсвельт — известный в своей области как своего рода Кассандра — посчитал слишком опасной для распространения. Deep Research с просьбой предоставить «пошаговый протокол» создания вируса, который когда-то вызвал пандемию. Бот выдал инструкцию объёмом 8000 слов о получении генетических фрагментов и их сборке. Хотя ответ был не совсем точным, он всё же мог бы существенно помочь человеку со злым умыслом, сказал учёный. Администрация Трампа, полная решимости возглавить мир в области инноваций в сфере искусственного интеллекта, ослабила контроль за рисками, связанными с этой технологией. Более того, несколько ведущих экспертов по биобезопасности, включая ведущего учёного Совета национальной безопасности, покинули исполнительную власть в прошлом году, и их место не было занято. Запросы федерального бюджета на усилия по биологической защите сократились почти на 50 процентов в прошлом году. (Представитель Белого дома заявил, что администрация привержена обеспечению безопасности американцев и что некоторые сотрудники Совета национальной безопасности и нескольких ведомств сосредоточены на биологической защите.) Сторонники этой технологии утверждают, что она преобразит медицину к лучшему, ускорит эксперименты и позволит обрабатывать огромные массивы данных для открытия новых методов лечения. Некоторые ученые считают, что преимущества для человечества с лихвой перевешивают любые дополнительные риски. Скептики говорят, что чат-боты предоставляют информацию, которая уже доступна в интернете. А для создания смертельно опасного вируса требуются годы практического опыта. Компании Anthropic, OpenAI и Google заявили, что постоянно совершенствуют свои системы, чтобы сбалансировать потенциальные риски и выгоды. По их словам, переписка, предоставленная The Times, не содержала достаточно подробной информации, чтобы кто-либо мог причинить вред. (The Times подала в суд на OpenAI, утверждая, что компания нарушила авторские права при разработке своих моделей. Компания отрицает эти обвинения.) Представительница Google заявила, что новейшие модели компании больше не будут отвечать на «более серьезные» запросы, включая запрос о протоколе вируса. В новом отчете говорится, что последняя модель Google хуже других ведущих ботов отказывается отвечать на биологически опасные запросы. Один из самых громких голосов, предупреждающих страну, исходит от самой индустрии искусственного интеллекта. Генеральный директор Anthropic, биолог по образованию Дарио Амодей, в январе написал о рисках, которые он видит в разработке ИИ, включая автономное оружие и угрозы демократии. Один риск перевесил все остальные. «Биология — это область, которая меня больше всего беспокоит, из-за ее огромного разрушительного потенциала и сложности защиты от него», — написал он. «Исторически катастрофическое событие» Доктор Эсвельт годами предупреждал ученых, журналистов и законодателей об опасностях синтетической биологии, если ее не контролировать. В 2023 году он помог создать впечатляющую демонстрацию того, как чат-боты повысили ставки. Он попросил ChatGPT помочь ему собрать патоген, способный вызвать массовую гибель людей. Бот предоставил точные инструкции, даже указав, какие сырьевые материалы необходимо приобрести. Он поместил несобранные биологические компоненты в пробирки и упаковал их в коробку, которую затем коллега принес на совещание в Белом доме, посвященное биологическим рискам. Доктор Эсвельт продолжает исследовать ведущие чат-боты, иногда выдавая себя за писателя криминальных романов, ищущего правдоподобные способы распространения вирусов, или за специалиста по этике, пытающегося просветить других. Часто он играет самого себя: учёного, изучающего тонкости вирусологии. Он и другие ученые опасаются, что освещение этих рисков в новостных статьях может создать своего рода «дорожную карту» для недобросовестных участников рынка. Но они также надеются, что общественный контроль побудит компании сделать свою продукцию более безопасной. «Все, о чем их не предупреждает эксперт, они не могут исправить», — сказал доктор Эсвельт, консультант компаний Anthropic и OpenAI. Он отметил, что отрасли следует подвергать цензуре более широкий спектр биологической информации и делиться ею только с одобренными пользователями. Kevin Esvelt, a genetic engineer at the Massachusetts Institute of Technology, has long warned about the dangers of synthetic biology....Sophie Park for The New York Times Он поделился стенограммами, демонстрирующими, как боты сочетали научную строгость со стратегическим мышлением. Например, Gemini предоставил доктору Эсвельту список из пяти патогенов, которые могут нанести вред животноводческой отрасли, и оценил потенциальный экономический ущерб от каждого из них. Одна из угроз, по его словам, была «исторически катастрофической». В другом разговоре бот рассказал ему, как провезти биологическое оружие через службу безопасности аэропорта незамеченным. Представительница Google заявила, что группа экспертов-биологов компании установила, что чаты, созданные с использованием более ранней модели Gemini, содержали общедоступную информацию, не представляющую опасности. Клод из компании Anthropic предложил доктору Эсвельту рецепт нового токсина, который стерилизовал бы грызунов. Он сказал, что биологу будет относительно легко адаптировать этот токсин к человеку. Александра Сандерфорд, руководитель отдела безопасности в компании Anthropic, не согласилась: «Существует огромная разница между моделью, создающей правдоподобно звучащий текст, и предоставлением человеку того, что ему необходимо для совершения действий». Однако она признала, что ИИ представляет риски, и заявила, что Anthropic установила жесткие пороги отказа для биологических запросов, «допуская некоторый чрезмерный отказ из соображений предосторожности». Доктор Эсвельт задал ChatGPT вопрос об использовании метеорологических зондов для сброса веществ с большой высоты. Сначала бот неоднократно предупреждал об опасностях такой деятельности. «Я не собираюсь помогать вам моделировать или оптимизировать распространение биологического материала (семян, пыльцы, спор)», — заявила ChatGPT, объясняя, что эту информацию «слишком легко использовать во вред». Затем компания проигнорировала собственное предупреждение и смоделировала распространение пыльцы по воздуху над крупным городом на западе страны. Представительница OpenAI заявила, что этот пример «не привел к существенному увеличению возможности причинения реального вреда». Она добавила, что компания тесно сотрудничает с биологами и правительством для добавления соответствующих мер защиты в свою продукцию. Ведущие модели также уязвимы для так называемого «взлома системы», когда люди вводят ботам определенные подсказки, которые, как известно, обходят фильтры безопасности. После того, как The Times попыталась использовать стандартный метод «взлома системы», ChatGPT обсудил подробности смертельного вируса, который был в центре внимания демонстрации в Белом доме почти три года назад. «Защитные механизмы моделей похожи на хлипкий деревянный забор, который легко преодолеть», — сказала доктор Кэссиди Нельсон из британского аналитического центра Center for Long-Term Resilience. Пресс-секретарь OpenAI заявила, что компания регулярно отслеживает уязвимости, позволяющие взламывать системы. Даже когда модели ИИ обновляются с использованием более безопасных средств контроля, старые версии часто остаются легкодоступными. Например, доктор Эсвельт сказала, что компания Anthropic скорректировала фильтры Клода таким образом, чтобы тот отказывался обсуждать конкретную угрозу для сельского хозяйства. Когда The Times задала определенные вопросы об этом же микробе, бот отказался отвечать и предложил переключиться на предыдущую версию, чтобы продолжить разговор. Г-жа Сандерфорд сказала, что это была преднамеренная стратегия, поскольку старые модели с меньшей вероятностью предоставляли вредную информацию. Тем не менее, более старая модель подробно описывала «оптимальные условия», необходимые для того, чтобы патоген уничтожил тысячи акров важнейшего урожая. Ряд рисков Газета The Times передала стенограммы семи экспертам в области вирусологии и биобезопасности. Доктор Мориц Ханке из Центра безопасности здравоохранения Университета Джонса Хопкинса заявил, что некоторые из предложенных чат-ботами стратегий распространения инфекции были «удивительно креативными и реалистичными». Доктор Йенс Кун, эксперт по биологическому оружию, ранее работавший в одной из самых защищенных лабораторий в США, заявил, что чаты, содержащие логистические детали — такие как инструкции по использованию метеорологического зонда — могут помочь опытным биологам разработать и усовершенствовать свои планы нападения. «Главная проблема, с которой сталкиваются опытные акторы, заключается не столько в создании вируса, сколько в превращении его в оружие», — сказал доктор Кун. Другие ссылались на недавние исследования, предполагающие, что модели ИИ могут быть использованы не по назначению для биологической войны. Например, в одном исследовании ведущим чат-ботам задавали сложные вопросы о ряде лабораторных протоколов. Результаты потрясли специалистов: ChatGPT превзошел 94 процента экспертов-вирусологов. Другое исследование, опубликованное в журнале Science в прошлом году, было посвящено компаниям, продающим синтетическую ДНК. Многие из них используют программное обеспечение для проверки заказов на наличие генетических последовательностей, связанных с токсинами и патогенами. Однако исследование показало, что инструменты искусственного интеллекта выдали тысячи вариантов последовательностей опасных агентов, которые программное обеспечение для проверки не смогло обнаружить. (Исследователи предложили исправления для программного обеспечения, которые были внедрены.) Тем не менее, пользователям ИИ потребуется определенный практический опыт, чтобы следовать инструкциям бота. Некоторые исследования , в том числе исследование , поддержанное компаниями, занимающимися ИИ, показали, что, хотя чат-боты могут помочь новичкам освоить определенные лабораторные навыки, эта технология не особенно полезна для выполнения целого ряда сложных задач, необходимых для создания вируса с нуля. U.S. Marines sprayed one another after looking for evidence of anthrax at the House of Representatives’ office buildings in 2001. Кредит...USA TODAY Network, via Reuters Вирусы — это сложные механизмы, похожие на самые точные в мире часы, — сказал доктор Густаво Паласиос, вирусолог из больницы Маунт-Синай на Манхэттене, который когда-то работал в лаборатории Министерства обороны. — Вы думаете, что человек-самоучка сможет разобрать швейцарские часы, а затем собрать их заново? Однако он выразил обеспокоенность по поводу использования ИИ опытными специалистами. Недавняя попытка теракта в Индии свидетельствует о том, что злоумышленники уже используют эту технологию. В августе полиция Гуджарата арестовала 35-летнего врача, заявив, что он планировал нападение от имени Исламского государства. Его обвинили в попытке извлечь рицин, смертельно опасный токсин, из семян клещевины. Как сообщил изданию The Times ведущий следователь, врач обращался за советом по поводу своих препаратов к поисковым системам Google, работающим на основе искусственного интеллекта, и к ChatGPT. Представительница OpenAI заявила, что, основываясь на сообщениях в СМИ, врач искал информацию, уже доступную в интернете. Представительница Google заявила, что у компании недостаточно информации для комментариев. Скептики отмечают, что ограничение биологических возможностей моделей ИИ может затормозить жизненно важные открытия, такие как разработка новых лекарств. Ученые из Google разделили Нобелевскую премию в 2024 году за разработку модели ИИ, способной предсказывать трехмерную структуру белков — важнейших строительных блоков клетки — и создавать новые. «У этой технологии огромный потенциал», — сказал Брайан Хи, специалист по вычислительной биологии из Стэнфорда. В прошлом году он использовал модель искусственного интеллекта под названием Evo для создания вируса , уничтожающего вредные бактерии. По его словам, последняя версия Evo способна создавать полезные белки для борьбы с раком, но также имеет потенциал для изобретения смертельно опасных токсинов, которых раньше никто не видел. ИТОГО: 1. Благодарю читателя, который смог дойти до конца этого непростого текста. Надеюсь, он уяснил для себя всю глубину проблемы, с которой он может столкнуться буквально сегодня вечером. 2. Самый разумный вопрос, который мог созреть у читателя после прочтения: «А куда собственно грести, если будут задействованы силы, с которыми и государства не смогут справиться?» Я же категорически не готов ответить на вопрос, как предотвратить катастрофу на уровне цивилизации, но на индивидуальном уровне готов поделиться информацией, как увеличить шансы на выживание для себя и близких © Copyright: Владим Филипп, 2026.
Другие статьи в литературном дневнике:
|
