Клод Шеннон и теория информации

В 1948 г. появилась большая статья «A Mathematical Theory of Communication» американского инженера и математика Клода Элвуда Шеннона (1916--2001). В ней излагались методы оптимального кодирования для передачи по каналам связи потока сообщений, исходя из их вероятностных, статистических характеристик. Его теорию стали широко применять в отрасли связи. Сам Шеннон с конца 50-х почти не публиковал работ по ней и не участвовал в конференциях: он занялся другими делами — конструировал разные кибернетические устройства, искал пути построения Искусственного Интеллекта. Когда его спрашивали, может ли машина мыслить, он отвечал: «Да, конечно. Я машина и вы машина, и мы оба мыслим, не так ли?».


Широкая общенаучная и даже общекультурная известность той статьи Шеннона объясняется её толкованием как «теории информации». Каждый постоянно сталкивается с различной информацией, и многие люди решили, что теперь появилась теория всех этих информационных процессов. Однако постепенно пришло понимание, что этот учёный рассмотрел лишь один, хотя и очень важный для связистов, аспект многогранного понятия информации. Поэтому нельзя считать, что он создал теорию информации, — начались попытки построить более общую теорию, которая охватывала бы смысл сообщений (семантику), их полезность (прагматику) и другие свойства.
Об этом я кратко рассказал в статье «Мы сделаны из вещества того же…», опубликованной в "Химии и жизни" (1995, № 3) <она имеется на моей странице Проза ру>. С тех прошло 20 лет, и можно констатировать, что общая теория информации так и не возникла. Приведу несколько соображений о том, как она могла бы, на мой взгляд, выглядеть.


Давно высказана мысль, что теория информации должна рассматривать (помимо каналов связи) приёмники и передатчики сообщений. Обычно они представляют собой сложные кибернетические системы с памятью, набором знаний (внутренней моделью мира, тезаурусом), своими целями функционирования. Для такой системы получить информацию — значит, изменить своё состояние (свой тезаурус), и мерой полученной ею информации должна стать именно величина этих изменений. Объём тезауруса может увеличиваться (при получении новых сведений) или уменьшаться, если удаётся (благодаря сообщению) сжать имеющиеся данные — в обоих этих случаях сообщение несёт определённую информацию. Но сообщение может быть тривиально или бессмысленно, тогда оно не изменит тезаурус — информации нет. Конечно, для сверхсложных систем (вроде научных знаний человека) количественно оценивать подобные изменения тезауруса очень трудно, но, скажем, для компьютерных программных комплексов это в принципе возможно.


Далее, действует принцип экономии: система стремится наиболее коротко представлять имеющиеся знания. Часто встречающиеся комбинаций слов, символов и т.д. запоминаются под каким-то именем (вводятся новые понятия, макрокоманды и т.п.). На это затрачивается память, но в целом происходит выигрыш, экономия памяти. Так же и в коммуникации: сообщить корреспонденту определение нового понятия (затрата), а потом использовать это понятие для укорочения сообщений. В целом, информационные процессы похожи на экономические: сначала вкладываются средства, которые потом окупаются и приносят прибыль.


Естественно, общая теория должна включить в себя и статистический (шенноновский) подход. Как мы помним, в модели коммуникации Шеннона полученное сообщение тем более информативно, чем менее оно было ожидаемо. Давайте каждому возможному сообщению сопоставим некоторое его описание, длина которого будет тем больше, чем больше его вероятность (ведь мы в жизни так и поступаем: более подробно рассматриваем более вероятные вещи, и кратко — маловероятные). Описание всей ситуации в целом — это сумма описаний всех возможных сообщений.
Тогда при осуществлении определённого исхода (снятие неопределённости) ликвидируются описания всех других вариантов, и общее изменение длины описания будет тем больше, чем менее вероятен данный исход. То есть качественно результат будет такой же, как у Шеннона (видимо, можно достичь и количественного, формульного соответствия).


В идеале должен произойти синтез разных подходов к построению теории информации — семантического (изменение тезауруса), алгоритмического (когда оценивается длина наиболее короткого описания), статистического и других. Причём в информационных процессах большую роль играет комбинаторика — ищутся минимальные описания конечных совокупностей объектов; возможно, подходящим математическим аппаратом окажется комбинаторная геометрия (см. мою статью «Мысли о мышлении», ХиЖ, 1989, № 7 -- имеется на моём личном сайте).