Экспертов - на свалку истории

Ditch the "Experts"

Джоффрей Колвин/Jeoffrey Colvin
Журнал Fortune February 6 2006 Page 44

Долгие годы, дорогой читатель, вам морочили голову. Каким образом, вы спросите?

Если вы принимали в расчёт предсказания или советы экспертов - особенно если вы за эти советы платили свои кровные денежки. И мы, работники средств массовой информации, безответственно вам в этом помогали, добросовестно печатая прогнозные статьи. И что мы можем сказать в отношении самих экспертов? Потерявшие ориентацию эгоманьяки, некоторые из них - просто напросто аферисты.

Признаюсь что я не всегда придерживался такой точки зрения. Но недавно я прочитал книгу, которая напичкана столь красноречивыми доказательствами, что игнорировать их невозможно. Теперь вопрос к нам, живущим в реальном мире, как теперь жить без опоры на экспертизу "знатоков"?

Книга называется: " Знания экспертов: Насколько мы можем им верить?" (Expert Political Judgement: How good is it?) и написал её Филип Тетлок (Philip E. Tetlock), профессор Университета Калифорнии в Беркли. Книга суммирует результаты уникального научного исследования: В течении 7 лет Тетлок собрал огромное количество информации, опрашивая как экспертов, так и случайных людей. Вопросы формулировались очень аккуратно и особым образом, и были направлены на то, чтобы дать возможность опрашиваемым высказать своё мнение на вероятность того, что определённое событие произойдёт в будущем. Всего было собран 82361 прогноз, обобщённые в общей базе данных. Задаваемые вопросы касались таких например экономических тем, как расходы правительства, экономический рост страны, и прочие подобные.

Затем база данных была проанализирована используя различные статистические модели, и результат был неоспоримо показателен: Настоящих экспертов в природе не существует! А именно, статистически эксперты ничуть не лучше случайных людей в вопросах предсказания будущего. Эксперты в среднем были правы в 20% случаев в своих прогнозах. Простые компьютерные алгоритмы оказывались верны в 25-30% случаев, а сложные алгоритмы - в 47%. Что все эти числа значат для нас, простых смертных?  Это означает что мы можем ответить на вопросы: "На каком уровне будет индекс Доу Джонс через два года? Уничтожит ли федеральный дефицит сбережения бейби бумеров?" с той же точностью что и профессионалы, работающие в областях экономики. Не приблизительно с той же точностью а АБСОЛЮТНО с такой же точностью.

Это вовсе не означает что эксперты совсем не отличаются от нас. Отличаются конечно же. Например они намного более уверены в своих прогнозах чем случайные люди, при том что для этого нет совершенно никаких оснований. Например члены Ассоциации Американской Политической Науки (American Political Science Association) были абсолютно уверены в победе Ала Гора в Президентских Выборах в США в Августе 2000го года.

Эксперты так же могут лучше чем неэкперты обосновать свои прогнозы. Их эрудиция в своей области позволяет часами изливать на вас фактический материал, объясняющий почему то-то и то-то обязательно произойдёт (или не произойдёт) что, опять же ничуть не улучшит качество прогноза.

Кричащий вопрос, возникающий после прочтения книги - "Почему мир верит всем этим "экспертам"?" Ответ, в большой степени лежит в плоскости человеческой сущности. Нам ужасно не хочется верить в то что мир живёт лишь по закону игральных костей. Мы хотим чтобы для всего была причина, и чтобы умные люди были способны находить причины происходящих событий и строить прогнозы.

(Прим переводчика. Я не согласен с автором в абзаце и далее. Мы можем понимать причины и давать прогнозы, просто наши формулы в отдельных вопросах не учитывают ВСЕ факторы, влияющие на процесс. Необходимо инвестировать в изучение бOльших систем и шире смотреть на механику процесса. Мы же чаще ищем узкоспецифического результата, не учитывая устойчивости системы, или ещё хуже, устойчивости нескольких смежных систем в точке их соприкосновения, которая то нас и интересует.)

Школа исследователей, называющих себя радикальными скептиками приводит впечатляющие доказательства того, что мир развивается совершенно случайно, либо того, что человечество не в состоянии понять процессы управляющие миром. Но большинство людей не способны поверить в такую теорию, а потому мы напряжённо вслушиваемся и вчитываемся в труды экспертов.

Вторая часть вопроса "Почему?" особенно неприятна для средств массовой информации. Эксперты, участвовавшие в исследованиях Тетлока давали одинаково неправильные ответы независимо от их научной степени, опыта работы, наличия или отсутствия доступа к секретным данным. Правда Тетлок нашёл один параметр, влиявший на качество прогнозов эксперта - известность. Чем известнее и популярнее был эксперт, тем хуже были его результаты. И конечно же, не кто иной, как мы, работники масс медиа эту популярность обеспечиваем. Ага, вот где ответ на вопрос, почему мы слушаем экспертов. Масс медия любит экспертов, прогностикаторов, предсказателей, потому что потребитель постоянно просит нас огласить их мнения. Эксперты, в свою очередь любят быть в фокусе интереса средств массовой информации .... потому что это влияет на уровень их доходов. Отсюда вывод Тетлока: "Три принципа - эксперты, уверенно излагающие своё мнение, масс медиа живущее за счёт доходов базируюшихся на рейтингах и публика требующая экспертных мнений - замкнуты в симбиотическом треугольнике"

Перевод Виктор Урусов

Такома

Август 2009