Главные изъяны ИИ

/ Европейский центр программирования им. Леонарда Эйлера, 2024.
/ Руслан Богатырев, 2023-2024.
/ Арт-журнал «Пантеон»: https://panteono.ru/2023-03-29
/ Полная версия: http://proza.ru/2023/03/29/1575

В чём коренятся главные изъяны ИИ?

Три хронические проблемы ИИ: (1) недостоверность, (2) отсутствие контроля полноты информации, (3) непрозрачность принятия решений.

• Базис. Вы не можете знать, кто, когда, как и на каких документах и эталонах обучал данную ИИ-систему (данную её версию).

• Приоритеты. Вы не можете знать систему заложенных в ИИ приоритетов (параметров, метрик), по какой методике и кто эту систему приоритетов выстраивал.

• Полнота. Вы не можете проконтролировать полноту данных и документов.

• Принятие решений. Вы не можете получить полную трассировку принятия решения, чтобы верифицировать корректность работы в данной конкретной ситуации.

• Владение. Этот чёрный ящик вне вашего контроля и практически любого внешнего контроля. Им владеет лишь тот, кто его создал.

Бездумное и бесконтрольное внедрение ИИ и подобных программных систем в госструктурах, затрагивающих права граждан, — это скрытое делегирование ответственности. В том числе и правовой. Это, увы, вольное или невольное потакание коррупционным схемам и атмосфере безнаказанности. Когда надзорные органы, прокуратура, судебные органы беспомощно разводят руками в условиях творящегося произвола чиновников.

ИИ — это передовая программная фармацевтика. Но без клинических испытаний, лицензирования и подробного перечня возможных побочных явлений. Она лечит болезни, но неизбежно наносит и большой вред.

Мировая ИИ-экосистема на нынешнем этапе развития сродни Бигфарме. Но в отличие от Бигфармы она вне государственного и частного контроля: и надзорного, и правового.


Здесь справедливы все три ключевые постулата Эдсгера Дейкстры (1930-2002), лауреата Премии Тьюринга, аналога Нобелевки. Карла Маркса и Марка Твена компьютерного программирования в одном лице.

Три закона Дейкстры.

1. Первый закон Дейкстры. • Тестирование программ может показать наличие ошибок, но никогда не покажет их отсутствие.

2. Второй закон Дейкстры. • Если отладка — процесс удаления ошибок, то программирование должно быть процессом их внесения.

3. Третий закон Дейкстры. • Искусство программирования — это искусство организации сложности.


Они и определяют границы применимости и условность искусственного интеллекта.

Стоит упомянуть ещё один важный закон.

Закон Томпсона. В 1983 г. Кен Томпсон (род. 1943), другой лауреат Премии Тьюринга, автор операционной системы UNIX, в своей тьюринговой лекции убедительно показал, что нельзя доверять транслятору, «нельзя доверять программе, которую вы не написали полностью сами; сколько бы вы не исследовали и не верифицировали исходный текст — это не защитит вас от троянской программы».

Этот закон Томпсона справедлив для абсолютно любой системы искусственного интеллекта.



/ Полная версия: http://proza.ru/2023/03/29/1575