Проблемы надежности искусственного интеллекта

Начало темы здесь: http://www.proza.ru/2019/03/05/1650

Итак, какие отношения между искусственным интеллектом и теорией надежности? Ну примерно как между спортсменом и врачом.  А иногда – как между пациентом и доктором.

Искусственный интеллект – это техническая система, и он рассматривается теорией надежности как объект расчетов и оценок.

При увеличении сложности технической системы снижается ее надежность. Снижение происходит по экспоненте. Вначале медленно и незаметно, потом – быстро и катастрофически.

В современном учебнике для ВУЗов по надежности энергосетей http://window.edu.ru/resource/964/36964/files/stup190.pdf можно прочесть много интересного.

«Проблема надежности управления энергосистем (как и других технических систем) за последние 2-3 десятилетия резко обострилась. Это вызвано следующими причинами:

1. Резким увеличением сложности энергосистем, включающих миллионы потребителей, тысячи узлов и элементов;
 …….
 5. Полной или частичной автоматизацией, широким использованием ПЭВМ для управления, и как следствие, исключением или уменьшением непосредственного контроля человеком работы энергосистемы и ее элементов».

Ничего личного, просто учебник.  Какого-то провинциального ВУЗа. Впрочем, в других учебниках  пишут то же самое.  Может быть, и не писали бы, не посягали бы на святое – Искусственный Интеллект, не прекращали бы борьбу с человеческим фактором, но … Зайдем на сайт http://peretok.ru/articles/generation/17952/

«Более половины крупных аварий в Единой энергосистеме (ЕЭС) России в 2017 году произошли из-за неправильной работы релейной защиты и автоматики». Ну конечно, там не допотопная автоматика, а современное ПО. И все же.

Некоторые случаи из жизни:
«Вечером, 1 августа 2017 было прервано электроснабжение во всех регионах Дальнего Востока. Десятки тысяч людей остались без света в том числе и в Хабаровском крае. Из-за аварии приостановлено движение поездов».
Статья полностью: https://www.dvnovosti.ru/khab/2017/08/02/69950/#ixzz5h9ElFVlu
Новости Хабаровска на DVHAB.RU

«Отключение электроэнергии на ЛЭП в Краснодарском крае, снабжавших Крым, произошло из-за аномально сильной жары. Об этом говорится в сообщении Минэнерго России». https://www.tvc.ru/news/show/id/120885

«27 июня масштабный блэкаут в ОЭС Сибири затронул Красноярский и Алтайский края, Иркутскую область и другие соседние регионы. Предварительно возможной причиной сбоя называлось неверное срабатывание автоматики на Братской ГЭС «Иркутскэнерго» и на подстанции Иркутской электросетевой компании.  Об этом сообщает Рамблер». Далее:
А что в Европе, США?  Тенденции такие же.
ВАШИНГТОН, 22 июля 2009 Причиной столкновения поездов на "красной" ветке вашингтонского метро 22 июня стал отказ автоматики системы управления составами, пишет в среду газета Washington Post. В аварии, произошедшей в час пик, погибли девять человек, 76 получили ранения.
Вашингтонское метро до катастрофы управлялось в автоматическом режиме с главного диспетчерского пульта. После аварии метрополитен управляется в речном режиме, поезда ходят с увеличенным интервалом.

«14 августа 2003 года крупнейшие города США и Канады на Восточном побережье остались без электричества в результате беспрецедентного выхода из строя энергосистемы. Без электричества в 16:11, в час пик, остались Нью-Йорк, Кливленд, Детройт, города Оттава и Торонто в канадской провинции Онтарио - всего около 50 млн человек. Эксперты говорят, что энергосистема США настолько допотопна, что Штаты вполне могли бы погрузиться во тьму полностью. Благо некоторые защитные системы все-таки сработали как надо».

Виноват ли именно искусственный интеллект и всевозможная автоматика? Нет.  Системы релейной защиты, автоматики, программные продукты для контроля и управления абсолютно необходимы для того, чтобы современные энергосистемы работали.

Виноваты, как всегда, люди. Бездумная вера в мудрость роботов. Создание слишком сложных сетей, управляемых слишком сложными системами.

Слишком сложные технические системы ненадежны.

И хотя Герман Греф предлагает присвоить искусственному интеллекту юридические права, открыть счет в банке и валить на него вину за все косяки, - надеюсь, до этого не дойдет.