Нереальные сказки о цифровизации

(Выступление Натальи Касперской на сессии "Архитектура цифровизации государственного управления" в рамках конференции «Цифровая индустрия промышленной России» (ЦИПР) в Нижнем Новгороде. В сокращении)

"Сейчас цифровизация - это модная тема и мы все туда быстро бежим. Но надо понимать следующие серьезные ограничения.

 1.Вся цифровизация построена на данных. Данные, которые мы отдаем, подвержены рискам информационной безопасности. Эти риски на 100% не купируются. Эта задача не решена до сих пор вообще. И решить её на данный момент невозможно. Отдаем данные в цифру и получаем гарантированное снижение уязвимости.

2.Оборудование устройства у нас у всех иностранного производства. Все наши данные принадлежат тому иностранному производителю - американскому или китайскому. Любые системы государственного управления все на иностранных платформах. Как вы их собираетесь защищать? Ответ: "Никак". На иностранных системах это невозможно. Сначала нужно всю систему заменить, произвести импортозамещение.

3.Внедрение электронных помощников. Звоните  в банк. И 10 минут электронному болвану пытаетесь объяснить свою проблему. Он вас посылает. Пробиться через этот искусственный интеллект просто невозможно. Теперь представьте, что мы цифровизовали всё. Теперь гражданам никуда пробиться будет нельзя. Статистика будет отличная. Электронные болваны сами себе будут давать хорошую статистику. Госуправление будет на высочайшем уровне.

4.Вы задумывались, что цифровизация - это интернет и электричество. Это два обязательных свойства, которые нужны. Там, где я живу - за городом, периодически в принудительном порядке отключают интернет с вечера и до утра по всем трём мобильным операторам. А иногда и днём отключают, чтобы БПЛА, летящие на Москву потеряли навигацию. Через некоторое время отключение интернета станет нормой.

Если мы будем полагаться на электронные системы, то мы рискуем в момент их отключения оказаться безрукими, слепыми и глухими котятами. Это абсолютно гигантский риск, который недооценивать нельзя.

5.Искусственный интеллект, который основан на глубоких нейронных сетях, имеет ложно положительное и ложно отрицательное срабатывание. Это значит, что эта система глючная. Она всё время будет глючить. Это надо понимать. Внедрять её в государственные системы с принятием ответственных решений нельзя. Точно также и в медицинские решения. Если врач ошибается, то он несёт ответственность, а тут , кто будет отвечать? Электронный болван? Программист? Программа - это вообще "чёрный ящик". Почему про это не говорят, когда хотят ввести ИИ?

Предложения.
1.Когда мы что-то цифровизируем, то надо иметь копию в бумаге. Отказ от бумаги к 2030 году - это диверсия под государственное управление. Это государственная измена.

2.При внедрении и создании любой цифровой системы нужно учитывать риски. Всё должно быть проанализировано и составлены системы защиты. Цифровизация и информационная безопасность должны быть близнецы братья.

Давайте не строить иллюзий. Нет у нас щита, у нас дыры сплошные.

Давайте мы все критически переосмыслим и подождем, когда мы получим реальные технологии, а нереалистичные сказки от фантастов.

Часть 2

(Отрывок из видеоролика Игорь Ашманов "Влияние нейросетей на IT, государство, общество и бизнес")

"Один из дураков защитил диплом на основе ИИ и получил свою жалкую тройку. Он думает, что сделал что-то хорошее.
Теперь ректора думают, что с этим делать, как ограничить. Что его пропустили, это проблема университета.

У меня два моих знакомых, которые занимались ИИ,  сошли с ума от этого.
Пишут мне отчаянные письма:"Дайте телефон Путина, я ему объясню, что всё, нам капец"

Там, действительно, многое поражает в этих GPT и у некоторых людей эмоционально неустойчивых возникает отчаяние, перевозбужденное состояние, навязчивые состояния. Нужно сделать ментальную гигиену.

Надо понимать, что все рассказы о том, что эта GPT такая гениальная и как она хорошо работает - это неправда. Эта штука реально косячит в довольно большом проценте случаев.

Вот пример. Когда Медведев стал президентом, задаю вопрос GPT:"Кто президент?", ответ: "Путин". Спрашиваю у друга, почему ошибка?
Ну,  в сети гораздо больше информации о Путине, а о Медведеве меньше, вот и ответ.

Ответственные применения ИИ давать нельзя, потому что 10%косяков может быть, или 2% , то есть точности добиться пока нельзя. Не факт, что это будет исправлено. Либо ответственные применения превратятся в безответственные.

Влияние на общество понятно. Будет фальсифицировано всё. Поскольку человек в целом не очень способен отличить текст написанный генератором и тем более видео сделанное генератором, а поскольку соблазн очень большой, то будет фальсифицироваться всё. Уже сейчас фальсифицируют диссертации, научные статьи.

Разработчик мне говорит:"Берешь статью, повторяешь всё, что там сделано, а там уже не 97% качества получается, а 80. Всё делаешь,как у них, а качество ниже, то есть это фальшивка. И у научного редактора нет никаких критериев, как узнать настоящая ли это статья.

Начали в интернете очень сильно фальсифицировать все что угодно, статьи Ленина, Пушкина... Обычному обывателю не заметить подмену смыслов.
Процесс этой фальсификации продолжается и далее, это будет просто всеобъемлющим.

Как защищаться обществу от этого? Это проблема, потому что люди с удовольствием становятся рабами роботов, они с удовольствием отдают ответственность.

 Случай с режиссером. Его остановили оперативники, потому что какая-то система распознавания узнала его как вора с точностью 70% . Они избили его, отказались смотреть паспорт, отвезли его в участок. В участке разобрались.
Такая же история была с солистом Мариинки.

Ученого геолога посадили в СИЗО потому что он якобы 20 лет назад участвовал в двойном убийстве. Люди с удовольствием передают ответственность роботам.

Вот как от этой проблемы защищаться - от склонности людей передавать ответственность роботам.

ИИ понижает качество - это я вам говорю, как профессиональный разработчик, но люди будут привыкать к снижению качества.

У нас есть категория оголтелых цифровизаторов, которые рассказывают, что цифровизация нас спасет. Но пока мы знаем, что цифровизация нас привела к тому, что за последние 4 года совершены миллиарды звонков мошенников, которые украли сотни миллиардов рублей у наших граждан. Утекли гигантские объемы персональных данных.

Особенно уязвимы пенсионеры и несовершеннолетние. Да и многие из нас бывают в уязвимом состоянии - уставшие, расстроенные.

Сейчас с помощью нейросетей пытаются говорить с покойными людьми.

Ещё пара поколений и пропадут компетенции, которые помогут различить - это на самом деле дрянь...

Это вопросы, которые должны на государственном уровне обсуждаться.
Нам нужна альтернативная цифровизация, чтобы она была безопасной для общества людей и государства. Нужно делать цифровой кодекс".