Простота и сложность искусственного интеллекта

Уже говорилось, https://blondinka-comp.livejournal.com/, что слишком сложные управляющие технические системы сами провоцируют аварии.

Что значит «слишком сложные»? Разве прост компьютер, с его терабайтами памяти и мощными вычислительными способностями? А ведь он работает, выполняет множество функций.

С точки зрения теории надежности компьютер – система средней сложности, имеющая хороший ресурс безотказной работы.  Потому что компьютер выполнен  всего лишь из нескольких десятков деталей. Микросхема, созданная на одном кристалле, является одной деталью. С этим связан прорыв в информационных технологиях, случившийся в 80-е годы: вместо тысяч электронных ламп, составлявших большие ЭВМ – компактные микросхемы.

Ламповые ЭВМ были очень сложными системами, с десятками  и сотнями тысяч (доходило до миллиона) электрических проводов, контактов, электронных ламп, реле. Сложные ЭВМ все время ломались. Среднее время безотказной работы было 5-8 часов, а большие задачи требовали 12-20 часов непрерывной работы.

И вот тысячи ламп  заменили конструктивно простой системой – микросхемой с миниатюрными деталями.  Скачок в простоту. Надежность микропроцессоров казалась фантастической, в сравнении с ламповыми ЭВМ. Технологии совершенствовались, емкость микросхем росла, вычислительные возможности росли. Им поспешно пророчили бесконечный рост, а также бесконечную мудрость, которая превзойдет все человечество вместе взятое и отбросит его на обочину.

Вместе с технологиями росла и конструктивная сложность. И уменьшался ресурс безотказной работы. Компьютер сложнее калькулятора, поэтому чаще ломается. В космосе, где обслуживание техники исключено, работают вычислительные комплексы с многократном резервированием (параллельно, для одной задачи,  включают несколько дублирующих процессоров).

Превосходство искусственного интеллекта над человеческим является аксиомой, исключение «человеческого фактора» объявлено магистральной дорогой цивилизации. Но это требует дальнейшего усложнения систем. Вместо диспетчеров – автоматические датчики; приборы сами передают информацию на центральный процессор; число связей увеличивается в прогрессии, достигает тысяч, десятков тысяч… и возникает та же ситуация, что с большими ламповыми ЭВМ.  Система становится ненадежной.

Столкновение поездов в метро Нью-Йорка произошло из-за отказа нескольких датчиков. Вероятность такого отказа – вполне  предсказуемое явление. Более 50% аварий в энергосистемах по вине автоматики  - тоже естественный результат высокой конструктивной сложности системы.

Здесь не было речи о программных сбоях, о ловушках сложных информационных систем. Только о самом простом: о системе, сделанной из соединенных между собой элементов. О том, что надежность системы уменьшается при увеличении числа элементов и связей.

И падение надежности происходит по экспоненте: вначале медленно и незаметно, потом быстро и катастрофически.