Сказки о цифровизации

(Выступление Натальи Касперской на сессии "Архитектура цифровизации государственного управления" в рамках конференции «Цифровая индустрия промышленной России» (ЦИПР) в Нижнем Новгороде. В сокращении)

"Сейчас цифровизация - это модная тема и мы все туда быстро бежим. Но надо понимать следующие серьезные ограничения.

 1.Вся цифровизация построена на данных. Данные, которые мы отдаем, подвержены рискам информационной безопасности. Эти риски на 100% не купируются. Эта задача не решена до сих пор вообще. И решить её на данный момент невозможно. Отдаем данные в цифру и получаем гарантированное снижение уязвимости.

2.Оборудование устройства у нас у всех иностранного производства. Все наши данные принадлежат тому иностранному производителю - американскому или китайскому. Любые системы государственного управления все на иностранных платформах. Как вы их собираетесь защищать? Ответ: "Никак". На иностранных системах это невозможно. Сначала нужно всю систему заменить, произвести импортозамещение.

3.Внедрение электронных помощников. Звоните  в банк. И 10 минут электронному болвану пытаетесь объяснить свою проблему. Он вас посылает. Пробиться через этот искусственный интеллект просто невозможно. Теперь представьте, что мы цифровизовали всё. Теперь гражданам никуда пробиться будет нельзя. Статистика будет отличная. Электронные болваны сами себе будут давать хорошую статистику. Госуправление будет на высочайшем уровне.

4.Вы задумывались, что цифровизация - это интернет и электричество. Это два обязательных свойства, которые нужны. Там, где я живу - за городом, периодически в принудительном порядке отключают интернет с вечера и до утра по всем трём мобильным операторам. А иногда и днём отключают, чтобы БПЛА, летящие на Москву потеряли навигацию. Через некоторое время отключение интернета станет нормой.

Если мы будем полагаться на электронные системы, то мы рискуем в момент их отключения оказаться безрукими, слепыми и глухими котятами. Это абсолютно гигантский риск, который недооценивать нельзя.

5.Искусственный интеллект, который основан на глубоких нейронных сетях, имеет ложно положительное и ложно отрицательное срабатывание. Это значит, что эта система глючная. Она всё время будет глючить. Это надо понимать. Внедрять её в государственные системы с принятием ответственных решений нельзя. Точно также и в медицинские решения. Если врач ошибается, то он несёт ответственность, а тут , кто будет отвечать? Электронный болван? Программист? Программа - это вообще "чёрный ящик". Почему про это не говорят, когда хотят ввести ИИ?

Предложения.
1.Когда мы что-то цифровизируем, то надо иметь копию в бумаге. Отказ от бумаги к 2030 году - это диверсия под государственное управление. Это государственная измена.

2.При внедрении и создании любой цифровой системы нужно учитывать риски. Всё должно быть проанализировано и составлены системы защиты. Цифровизация и информационная безопасность должны быть близнецы братья.

Давайте не строить иллюзий. Нет у нас щита, у нас дыры сплошные.

Давайте мы все критически переосмыслим и подождем, когда мы получим реальные технологии, а нереалистичные сказки от фантастов.

Часть 2

(Отрывок из видеоролика Игорь Ашманов "Влияние нейросетей на IT, государство, общество и бизнес")

"Один из дураков защитил диплом на основе ИИ и получил свою жалкую тройку. Он думает, что сделал что-то хорошее.
Теперь ректора думают, что с этим делать, как ограничить. Что его пропустили, это проблема университета.

У меня два моих знакомых, которые занимались ИИ,  сошли с ума от этого.
Пишут мне отчаянные письма:"Дайте телефон Путина, я ему объясню, что всё, нам капец"

Там, действительно, многое поражает в этих GPT и у некоторых людей эмоционально неустойчивых возникает отчаяние, перевозбужденное состояние, навязчивые состояния. Нужно сделать ментальную гигиену.

Надо понимать, что все рассказы о том, что эта GPT такая гениальная и как она хорошо работает - это неправда. Эта штука реально косячит в довольно большом проценте случаев.

Вот пример. Когда Медведев стал президентом, задаю вопрос GPT:"Кто президент?", ответ: "Путин". Спрашиваю у друга, почему ошибка?
Ну,  в сети гораздо больше информации о Путине, а о Медведеве меньше, вот и ответ.

Ответственные применения ИИ давать нельзя, потому что 10%косяков может быть, или 2% , то есть точности добиться пока нельзя. Не факт, что это будет исправлено. Либо ответственные применения превратятся в безответственные.

Влияние на общество понятно. Будет фальсифицировано всё. Поскольку человек в целом не очень способен отличить текст написанный генератором и тем более видео сделанное генератором, а поскольку соблазн очень большой, то будет фальсифицироваться всё. Уже сейчас фальсифицируют диссертации, научные статьи.

Разработчик мне говорит:"Берешь статью, повторяешь всё, что там сделано, а там уже не 97% качества получается, а 80. Всё делаешь,как у них, а качество ниже, то есть это фальшивка. И у научного редактора нет никаких критериев, как узнать настоящая ли это статья.

Начали в интернете очень сильно фальсифицировать все что угодно, статьи Ленина, Пушкина... Обычному обывателю не заметить подмену смыслов.
Процесс этой фальсификации продолжается и далее, это будет просто всеобъемлющим.

Как защищаться обществу от этого? Это проблема, потому что люди с удовольствием становятся рабами роботов, они с удовольствием отдают ответственность.

 Случай с режиссером. Его остановили оперативники, потому что какая-то система распознавания узнала его как вора с точностью 70% . Они избили его, отказались смотреть паспорт, отвезли его в участок. В участке разобрались.
Такая же история была с солистом Мариинки.

Ученого геолога посадили в СИЗО потому что он якобы 20 лет назад участвовал в двойном убийстве. Люди с удовольствием передают ответственность роботам.

Вот как от этой проблемы защищаться - от склонности людей передавать ответственность роботам.

ИИ понижает качество - это я вам говорю, как профессиональный разработчик, но люди будут привыкать к снижению качества.

У нас есть категория оголтелых цифровизаторов, которые рассказывают, что цифровизация нас спасет. Но пока мы знаем, что цифровизация нас привела к тому, что за последние 4 года совершены миллиарды звонков мошенников, которые украли сотни миллиардов рублей у наших граждан. Утекли гигантские объемы персональных данных.

Особенно уязвимы пенсионеры и несовершеннолетние. Да и многие из нас бывают в уязвимом состоянии - уставшие, расстроенные.

Сейчас с помощью нейросетей пытаются говорить с покойными людьми.

Ещё пара поколений и пропадут компетенции, которые помогут различить - это на самом деле дрянь...

Это вопросы, которые должны на государственном уровне обсуждаться.
Нам нужна альтернативная цифровизация, чтобы она была безопасной для общества людей и государства. Нужно делать цифровой кодекс".

Часть3

Ответственность лежит на людях

(Отрывок из видеоролика "Моральные установки. Андрей Масалович".)

Есть ли у ИИ моральные установки?

Известна история про американца, который завел с ИИ романтические отношения, и даже провел ритуал женитьбы, а потом вдруг программа обнулилась и перестала его узнавать (в программе закончился запас слов - у нее были ограничения в 100.000 слов). Мужчина впал в депрессию.

Таких случаев много. Нельзя наделять программу человеческими свойствами.

В Италии была создана целая группа для 18+, где люди общались с ИИ с романтическими отношениями и это было анонимно. Но, когда депутаты потребовали снять анонимность, поскольку там могут скрываться школьники, не достигшие 18 лет, то народ начал массово бежать к психотерапевтам: "Что делать, она меня разлюбила, не хочет на эти темы больше говорить"... Хотя там нет и не было никаких чувств, там одни буквочки...

Часто из-за ложных свидетельств ИИ, люди попадают в большие неприятности. Профессор попал в список людей, которые занимаются вымогательством у студентов, хотя этого не было. Женщину объявили террористкой, хотя она занималась изучением террористов.

 Есть круг задач, которые ИИ доверять категорически нельзя. Всех мощностей мира хватило, чтобы сымитировать один кусочек нашего интеллекта, а их там около 50.
У него нету озарения, нету образов, нет, например, зоны Вернике, ИИ многое может не понять.

ИИ умеет объединять новости в связный короткий текст, но совершенно не может подобрать ссылки, составить списки - он будет врать.

У ИИ нет понятия морали. Ответственность всегда должна лежать на людях, на тех, кто это разрешил, кто запустил, кто подписал это разрешение.
Может ли ИИ обмануть человека? Да, может.

Всё,что касается лекарств, диет, организма человека, ИИ несёт полную ахинею, иногда предлагал лечиться ядовитыми грибочками.
Финансовую аналитику он может сделать, но что касается, что потом с этим делать он не справится.

ИИ учат на сырых данных и мы их не можем проверить. ИИ учат решению задач на примере бизнеса, политики, из нашей жизни. Нейронная сеть видит, что частью сценария является обман. То есть все друг друга обманывают и кидают. Заказчик кидает исполнителя, исполнитель дурит заказчика, работник дурит начальника, начальник дурит своих начальников и проверяющих и т.д. ИИ это видит и считает, что это так и надо.

 Ещё раз - у него нету морали.
Чем более сложная современная модель, тем больше она имеет склонность соврать.
Будем бдительны.