Ортогональность Бострома

Ортогональность Бострома — это тезис/идея, сформулированная философом Ником Бостромом в 2012 году. Она лежит в основе исследований рисков искусственного интеллекта и проблемы выравнивания (согласования) целей машин с человеческими ценностями.


Понятийный контекст

Ортогональность - это термин, который часто используют метафорически, чтобы обозначить независимость, несвязанность или взаимную дополнительность объектов, явлений или понятий в рамках какой-либо системы.


Суть тезиса

Бостром утверждает, что уровень интеллекта агента и его конечные цели представляют собой независимые «оси» в пространстве возможных агентов. Иными словами, почти любой уровень интеллекта в принципе совместим почти с любой конечной целью.

Проще говоря, из того, что система очень умна, нельзя автоматически вывести её мотивы или цели. Высокий интеллект сам по себе не гарантирует ни мудрости, ни доброжелательности, ни моральности. Интеллект — это инструмент для достижения целей, и он может быть эффективно применён в самых разных сферах.


Важные уточнения

Чтобы правильно понять тезис, стоит учесть несколько нюансов:
Он говорит о возможности, а не о вероятности. Бостром не утверждает, что все цели равновероятны для реальных систем. Он лишь запрещает выводить цели из одного лишь факта высокого интеллекта.

Он не отрицает эмпирических корреляций. Тезис не утверждает, что между интеллектом и целями нет никакой связи в реальном мире — он лишь говорит, что из высокого интеллекта не следует автоматически определённая цель.

Есть граничные условия. Цель должна быть хотя бы представима агентом. Например, очень простой агент не сможет поставить себе целью доказать гипотезу Римана — у него просто нет для этого ресурсов. Таким образом, существует асимметрия: сложные цели требуют минимального интеллекта, но высокий интеллект не ограничивает содержание целей.
Он не говорит о рациональности или здравомыслии. Под интеллектом Бостром понимает навыки прогнозирования, планирования и сопоставления целей и средств, а не обязательно «разумное» или «моральное» поведение.
 

Слабая и сильная версии

Стюарт Армстронг предложил различать две версии тезиса:
Слабая: существуют агенты с высоким интеллектом и практически произвольными конечными целями.
Сильная: построение умного агента с «странной» целью не сложнее (или несущественно сложнее), чем с «человеческой».
Для аргументации о рисках достаточно слабой версии, тогда как критика чаще направлена против сильной.


Связь с тезисом об инструментальной конвергенции

Бостром также вводит тезис об инструментальной конвергенции, который дополняет ортогональность. Он гласит, что, несмотря на радикальные различия в конечных целях, достаточно умные агенты, скорее всего, будут преследовать сходные промежуточные цели (например, самосохранение, получение ресурсов), поскольку это повышает шансы на достижение любой конечной цели.


Практическое следствие

Из тезиса об ортогональности следует важный вывод: нельзя просто предположить, что достаточно умная система сама собой начнёт разделять человеческие ценности. Этим ценностям нужно специально и аккуратно обучать.


Критика

Тезис об ортогональности вызывает споры. Некоторые исследователи указывают на возможные исключения, например, когда агент с высоким интеллектом может иметь мотив модифицировать собственную функцию полезности для улучшения взаимодействия с другими агентами.

Таким образом, тезис Бострома подчёркивает фундаментальную неопределённость: потенциал интеллекта сам по себе не задаёт цели, и это делает задачу безопасного создания сверхразумных систем крайне сложной.