Р. Л. Стратонович. Теория информации

Р.Л. Стратонович. Теория информации
Приобретение информации сопровождается уменьшением неопределенности, поэтому количество информации можно измерять количеством исчезнувшей неопределенности, т.е. энтропии
***
Аннотация
Книга посвящена одному из главных направлений теоретической кибернетики. Дается систематическое изложение важнейших, ставших уже традиционными, результатов шенноновской информации, а также ряда новых вопросов, разработанных автором. К числу последних относятся теория ценности хартлиевского, больцмановского и шенноновского количеств информации, аппарат потенциальных функций, использующий параметры типа температуры. Подчеркивается общность математического аппарата теории информации и статистической термодинамики...
Введение
Термин информация, указанный в заглавии книги, понимается здесь не в том широком смысле, в каком его понимают работники печати, радиовещания и народного хозяйства, а в том узком научном смысле, какой ему придал К. Шеннон. Другими словами, предметом настоящей книги является специальная математическая дисциплина - шенноновская теория информации, которая в состоянии решать не всеобъемлющие, а определенные, сравнительно специальные задачи, относящиеся к ее компетенции. Содержанием этой дисциплины являются абстрактно формулируемые теоремы и результаты, которые могут быть по разному конкретизироваться в различных отраслях знания. Теория информации имеет многочисленные приложения в теории передачи сообщений при наличии помех, в теории записывающих и регистрирующих устройств, в математической лингвистике и других науках, вплоть до генетики. Теория информации вместе с другими математическими дисциплинами, такими, как теория оптимальных статистических решений, теория оптимального управления, теория алгоритмов и автоматов, теория игр и другие, входит в состав теоретической кибернетики - науке об управлении. По своему основному содержанию указанные дисциплины являются самостоятельными и не связанными между собой. Но это не значит, что они совершенно оторваны одна от другой, что мосты между ними не возможны. Без сомнения, возможно и вероятно появление комбинаторных теорий, в которых используются понятия и результаты различных дисциплин и которые соединяют между собой отдельные дисциплины. Картина подобна деревьям в лесу: стволы их стоят отдельно, а кроны переплетаются. Первое время они растут независимо, а затем, переплетаясь ветвями, проникают друг в друга. Конечно, в целом высказанное утверждение об обьединении дисциплин является предположительным, однако срастание друг с другом некоторых первоначально оторванных дисциплин является уже реальностью, свершившимся фактом. Как видно из ряда работ и из предлагаемой книги, срастаются три дисциплины:
1. статистическая термодинамика как математическая теория;
2. шенноновская теория информации;
3. теория оптимальных статистических решений (вместе с ее многошаговыми (последовательностными) разновидностями - оптимальной фильтрацией и динамическим программированием.
Из содержания настоящей книги будет видно, что цементом, объединяющим указанные три дисциплины, являются термодинамические методы с такими типичными их атрибутами, как термодинамические параметры и потенциалы, преобразования Лежандра, экстремальные распределения, асимптотический характер важнейших теорем. Статистическую термодинамику лишь условно можно относить к кибернетическим дисциплинам. Однако в некоторых вопросах статистической термодинамики ее кибернетическая подоплека  выступает довольно отчетливо. Достаточно вспомнить второй закон  термодинамики и демона Максвелла, который является типичным автоматом, перерабатывающим информацию в физическую энтропию. Информация является горючим для вечного двигателя второго рода. Эти вопросы рассматриваются в гл. 12.
Если статистическую термодинамику считать кибернетической дисциплиной, то Л. Больцмана и Дж. К. Максвелла следует назвать первыми выдающимися кибернетиками. Важно учесть, что формулу, по которой энтропия выражается через вероятности, ввел Л. Больцман. Он также дал распределение вероятностей, которое является решением первой вариационной задачи (как называются входящие в формулу функции - энергией или штрафами, разумеется, совершенно безразлично).
При возникновении шенноновской теории информации появление в ней такого хорошо известного в термодинамике понятия как энтропия воспринимается некоторыми как курьез, и этому не придавалось серьезного значения. Считалось, что эта энтропия не имеет ничего общего с физической энтропией (вопреки  деятельности вышеупомянутого демона). В связи с этим можно вспомнить бесконечное число кавычек, в которые заключено слово энтропия в первом издании русского перевода статей К. Шеннона (сборник под ред. А. Н. Железнова, ИЛ, 1953). Я думаю, что теперь такой термин, как температура в теории информации можно писать без кавычек, понимая под эти просто параметр, определенным образом входящий в выражение для экстремального распределения. Однотипные закономерности имеют место и в теории информации и в статистической физике, и их условно можно назвать термодинамическими. Сначала (с 1948г. по 1959г.) в шенноновской теории информации фигурировало лишь одно термодинамическое понятие - энтропия. В ней, казалось, нет места для энергии и других аналогичных термодинамических потенциалов. В этом отношении теория выглядела однобокой по сравнению со статистической термодинамикой. Но это было временным явлением. После осознания того, что в прикладной теории информации, понимаемой как теория передачи сигналов, аналогом энергии является функция штрафов, аналогом средней энергии является риск, положение изменилось. Стало очевидным сходство в числе основных понятий и в соотношениях между ними. Если, в частности, иметь в виду первую вариационную задачу, то можно говорить о подобии, изоморфизме, данных двух теорий. Математические соотношения между соответствующими понятиями в обеих дисциплинах одни и те же, а они-то и составляют содержание математической теории - той теории, которая рассматривается в этой книге...
Р.Л. Стратонович. Теория информации //М., Сов. радио, 1975, 424с. Тираж. 17400. Редакция  литературы по вопросам космической  радиоэлектроники