Дюжина смутных мест Теории Информации

Всякое изменение тела, будь то болезнь или здоровье, сводится к перемещению веществ в пространстве… но демоны не могут произвести этого движения, так как это доступно только богу. Отсюда ясно, что демоны не могут произвести никакого, по крайней мере фактического телесного изменения, и что в силу этого, подобные превращения должны быть приписаны какой-либо тайной причине.

© Крамер, Генрих и Шпренгер, Якоб "Молот ведьм", 1486


Со времени пионерных публикаций Норберта Винера и Клода Шеннона по Теории Информации прошло почти семьдесят лет. Неопределенность основных понятий не может не вызывать беспокойства. Упущения, возможно, казавшиеся неважными по условиям военного времени, ныне выглядят недопустимым "белым пятном" на карте достаточно развитой в других отношениях дисциплины.

Различными авторами было предпринято немало попыток дать толкование понятию "Информация", но уже сама их многочисленность и часто - противоречивость, свидетельствует о все еще продолжающемся неблагополучии в этой области.


Краткий очерк нескольких смутных мест Теории Информации


1. Неопределенность предмета

Что есть информация? Этот вопрос просто игнорируется. Есть ли еще другая теория со столь же неочерченной областью исследования?

Не существует не только общепринятого, но даже просто внятного объяснения понятия "Информация". С ходу, можно насчитать около полудюжины различных определений, тогда как авторы некоторых тематических обзоров насчитывают их несколько десятков.

Одни, например, утверждают, что информация - это неотъемлемое свойство материи, тогда как другие объявляют материальной саму информацию (и даже приписывают ей свойства плоской волны и квадратичный закон убывания). Третьи признают информацию свойством только живой природы, четвертые рассматривают ее лишь в процессе достижения цели (по сути, "заметая мусор под коврик"), пятые заняты поиском поправочных коэффициентов в формулах, шестые отождествляют информацию и термодинамическую энтропию и.т.д.

Одно уже обилие противоречивых определений свидетельствует, что ни одно из них не является достаточно обоснованным.


2. Вводящая в заблуждение терминология

Точно так же, как не существует "сжатия" данных, не существует и "обмена" информацией.

Все известные процессы обмена являются процессами обмена веществом и / или энергией. Для них существуют законы сохранения. Иными словами, это процессы перемещения чего-либо.

Информация, очевидно, неперемещаема. Она клонируется. С оригинала может быть сделано неограниченное число копий. Законы сохранения не действуют. Одно это ставит крест на всех попытках "материализации" информации.

Более того, все чем можно "обменяться", не является информацией "по определению", так как не обладает свойством "бесконечной воспроизводимости".

Кроме того, информации неправомерно приписываются характеристики обобщенного заряда (заряд - это объект, который может быть перемещен из одной точки в другую), тогда как по своим свойствам она может быть только обобщенным потенциалом (потенциал - это разность, измеряемая между двумя точками).

Наконец, в отличие от реальных процессов обмена, "обмен" информацией не может быть самопроизвольным и, обязательно, требует работы третьих сил.

И еще одно замечание.

Все известные процессы обмена происходят по принципу "от большего - к меньшему".

К информации это, по-видимому, не относится: дезинформация распространяется столь же легко и непринужденно, как и достоверные сведения.


3. Скрытое использование разделяемой модели

Понятие Информации вводится весьма странным образом - через устраненную неопределенность.

Приемник обязан быть осведомлен о характеристиках источника. Никакая коммуникация невозможна без использования общей для участников (разделяемой) модели. Такой, например, как использование единого языка и / или ключа шифрования при переписке.

Между тем, степень близости, то есть взаимная осведомленность сторон (общее алго шифрования, например) вообще не учитывается в подсчетах количества информации.

Понятие "количество информации", очевидно, имеет смысл только в данном классе процессов коммуникации с заданными участниками и разделяемой ими моделью (включающей задание алфавита), но это обстоятельство никак не учитывается и не оговаривается.

Более точно, предложенное Шенноном определение количества информации имеет физический смысл ошибки предсказания ("снятая неопределенность") в следящих системах с отрицательной обратной связью. Это замечательно для систем управления зенитным огнем, например (которыми занимался Норберт Винер), но совершенно не исчерпывает всех возможных моделей поведения.

Используя электрическую аналогию, можно сказать, что понятие "количество информации" описывает поведение дифференцирующей цепи и, разумеется, непригодно для всех других классов схем.


4. Неразличимость Информации и Шума

Эта неразличимость вынужденно оговаривается и Харли и Шенноном и вытекает из существования разделяемой модели, которая задает семантику сообщения. В отсутствие общей с источником модели, приемник совершенно бесполезен, так как не способен отличить информацию от шума или дезинформации. Это никак не влияет на технический расчет потребного количества тары для транспортировки, но доказывает очевидную бессмысленность термина "количество информации".


5. Существование коммуникации

Эта проблема вытекает из предыдущей и прямо связана с (не)использованием разделяемой модели.

В Теории Информации существование коммуникации, фактически, подменено возможностью передачи сигнала. Однако, потенциальная возможность коммуникации, очевидно, не равнозначна ее действительному осуществлению.

Рассмотрим три экстремальных случая:

Наихудший: Два взаимодействующих субъекта абсолютно различны.

Языковый барьер, культурный барьер... какой угодно барьер. Разделяемой модели не существует. Абсолютная логическая изоляция. Коммуникация невозможна.


"Потому говорю им притчами, что они видя не видят, и слыша не слышат, и не разумеют".

Матфея 13:13


Наилучший: Два взаимодействующих субъекта идентичны.

Если их состояния также идентичны, то просто не существует информации, которой они могли бы обменяться - также, как невозможен теплообмен, например, между двумя телами равной температуры. Они находятся "в информационном равновесии".


Извращенный: Дезинформация.

Разделяемая модель на самом деле не является таковой: субъекты используют различные модели, но сообщения, которыми они обмениваются, к несчастью, являются корректными в каждой из них.

Один из излюбленных сюжетов классической литературы: "Обманутый муж всегда узнает последним". Сюда же вписывается любая другая схема (само)обмана от прямого мошенничества до добросовестного заблуждения.

Вся классическая цепочка Теории Информации - от источника до приемника - функционирует ОК, но результат фатален для жертвы.

Из сказанного следует, что "сообщения" (на которых сосредоточено все внимание Теории Информации), на самом деле, незначительная часть полного процесса коммуникации. Более того, любая кибернетическая система с достаточным усилением в контуре отрицательной обратной связи (следящая система) находится в режиме виртуального отсутствия сигнала, виртуального отсутствия сообщений, виртуального отсутствия информации.


6. Асимметрия процесса коммуникации

Общепринято (исключая разве что квантовую механику) пренебрегать обратным влиянием одной из взаимодействующих сторон. Информационная среда полагается анизотропной, система координат - выделенной, а информация - распространяющейся исключительно от источника к приемнику. Введение петли обратной связи в кибернетике все еще не решает проблемы, закрепляя ведущую роль регулятора по отношению к управляемому объекту.

Вводимая таким образом асимметрия неестественна, не имеет под собой физических оснований, затемняет предмет исследования и искусственно отделяет методы Теории Информации от развитого аппарата других технических дисциплин. Общая теория не должна базироваться на частных случаях.


7. Неполнота описания процесса

Опираясь на указанный Хартли инвариант количества информации для аналоговых сигналов, следовало бы ожидать аналогичного описания для дискретных. Однако, понятие алфавита игнорирует битовую ширину символов. Энтропия вычисляется исключительно для равномерного кода.


8. Неаддитивность энтропии

Кажется неожиданным, что характеристика, аддитивность которой постулирована, может быть неаддитивна. Однако, энтропия была введена как мера в специфическом процессе смешивания, при котором число состояний системы росло как степень ее размера (конкатенация сообщений, экспансия). Обратным будет процесс компрессии, в котором при смешивании двух сообщений результирующий размер и число состояний уменьшаются (все варианты симметричного шифрования с ключом). Тем самым, при смешивании двух сообщений можно добиться произвольного значения результирующей энтропии во всем диапазоне 0..1, а при суммировании двух независимых сообщений с единичной энтропией невозможно получить суммарное значение больше 1 (энтропийный предел).

Имея физический смысл плотности (концентрации), энтропия, очевидно, не может служить мерой ни в каком "каскадном" процессе (сжатие уже сжатого файла, шифрование уже зашифрованного). Иными словами, имея, например, две концентрации по 0.75, никаким процессом нельзя достичь концентрации 1.5, а только 1 ("концентрационный" предел).

Таким образом, для данной модели смешивания должна быть введена релятивистская поправка, аналогично тому, как это сделано для сложения скоростей в СТО (лоренц-сжатие).


9. Непригодность энтропии в качестве характеристики Информации

В понятии энтропии не используется алфавитная упорядоченность. Иными словами, искажено понятие близости. Точки, различно расположенные в фазовом пространстве, оказываются одинаково близкими по энтропийной метрике.

Введенная Ральфом Хартли метрика (1928), явно описывает передачу сообщения как последовательность элементарных равновозможных выборов из заданного конечного набора (алфавита). Общепринято, что метрика Клода Шеннона (1948) является обобщением метрики Хартли на случай разновероятных выборов. Таким образом, сообщение можно трактовать либо как уточняющую последовательность выборов в полном пространстве состояний (оригинальный подход Хартли), либо (равноценно) как последовательное изменение состояния источника (подход, обычно используемый в технике связи). В любом случае, пространство состояний, очевидно, анизотропно. В первой модели из-за анизотропии самого дерева выборов, во второй - из-за причинно-следственных связей.

Энтропия, однако, нечувствительна к пермутациям символов сообщения. Анаграммы, такие как "МАРС - СРАМ", или "АВСТРАЛОПИТЕК - ВАТЕРПОЛИСТКА" содержат одинаковое количество информации по Шеннону, что, очевидно, не согласуется с анизотропией самого сообщения.

Более того, признание анизотропии сообщения означает, что никакая изотропная характеристика не может быть его корректной оценкой.


10. Фиктивная однородность сообщений

Теория информации рассматривает сообщения, как моноалфавитные. Абстракция сообщения не учитывает смеси различных алфавитов ("эмульсии"). На первый взгляд, это чисто техническое затруднение. На самом деле, отказ от учета семантики принципиально не позволяет получить несмещенную оценку смешанных (мультимедийных) текстов. Например, запись шахматной партии - это многоалфавитный текст (эмульсия). Варианты ходов различны для каждой из фигур.


11. Одномерность

Кажется, нет другой дисциплины, кроме, может быть, арифметики, которая так строго ограничивала бы себя одномерным случаем. Несомненно, мы чувствуем, что игра идет на информационном поле - информация оценивается и сравнивается, складывается и вычитается, модулируется и интерферирует, имеет ощутимый градиент, свои "сверхновые" и свои "черные дыры". Теория информации предпочитает не замечать всего этого, ограничиваясь едва ли не телеграфной связью по длинным линиям с существенно одним измерением и, подобно Митрофанушке, упорно повторяет "арифметические зады". Понятий "разветвленная информационная цепь" или "информационный волновой процесс" для нее просто не существует.


12. Квантовый характер энтропии

Рассматривая энтропию в ее изначальном по Хартли смысле - как высоту дерева выбора, нельзя не видеть, что она может принимать только дискретные значения, независимо от расчетных значений логарифмов. Неважно, насколько сбалансировано дерево, его высота всегда натуральное число. Таким образом, единичное изменение высоты дерева выбора при перестройке структуры системы следует трактовать как переход на соседнюю орбиту с поглощением (или излучением) одного кванта.


Рецензии
Вот здесь Михаил можно пошпрехать.
Вот ваши слова.
......
Понятий "разветвленная информационная цепь" или "информационный волновой процесс" для нее просто не существует.
......
Ну вот правильно же все вы Михаил говорите.
Но означенное вами, существуют в человеческих системах шифрования значений, смыслов, понятий.
Во я вам же приводил пример с названием Ра- Ду - Га.
Где спарено, совмещено вместе, Названия РаГа,и ДуГа. Где Га, в РаДуГа, спарено.
Что можно отразить так 2 ГА. Где один Г1 со значением внутрь, что собственно так и есть, потому как рога у радуги обращены внутрь. И взят этот Г1 от звука втыкания гарпуна, плитки, палки в воду.
Но здесь имеется и второй Г2, взятый от Голубей, Со значением, что эти Голуби летучие.
Ну и действительно радуга, в общем то как бы летит, находится в воздухе. И крылья загнула вниз, Своими концами как гарпунами.
Таким образом мы по части Г, в радуГа, имеем два Г каждый со своим значением.
Что можно изобразить как 2(Г1 + Г2). С этими А в сдвоенном ГА, точно такая же история. И У нам получается типа ласточкиного хвоста. Или хвоста разделенного пополам, на двое. Но хвост то, у той же ласточки, он все равно один. Хоть и раздвоенный.
И я вам приводил чертежик, в виде Y, где скажем стойка, имеет два усика, раздвоена, о чем я вам выше вам и говорил. И говоря вашими словами, это и есть разветвленная информационная цепь, что наверное лучше назвать комплекс. Или двойной, спаренный фрактал.
А вот верхние усики это Ра и Ду,
Где как раз на рисунке, чертежике, мы наглядно видим вами означенный волновой процесс.
Но этих волновых процесса идет сразу, два. Да ещё и согнутыми в дугу.
Потому как РУ и ДУ, тоже раскладывается на 1 РА и 2 РА, а также 1 ДУ и 2 ДУ
И значение этих разных Д и У, я раньше вам рассматривал.
И даже вверху на рисунке, чертежыки Y видно то, что вы означили волновой процесс, но он происходит в две перекрещивающиеся волны. Что есть типичная перекрестная система шифрования. Имеющееся и применяющаяся в русской системе шифрования на полную катушку.
Что по импортному называется флексия, а переводится как изгибающаяся. Типа Как уж на сковородке вертится и изливается.

Сергей Горохов 2   31.01.2019 10:02     Заявить о нарушении
> Но означенное вами, существуют в человеческих системах шифрования значений, смыслов, понятий.

У меня речь о другом - интерференции различных источников.

Инвариант   01.02.2019 22:08   Заявить о нарушении
А вот это интерференция, на русский можно перевести.

Сергей Горохов 2   01.02.2019 22:57   Заявить о нарушении
> интерференция, на русский можно перевести

Взаимное влияние. В том смысле, что физический процесс может взаимодействовать как сам с собой (запаздывание), так и с другим процессом, так что информация - как модель этого взаимодействия - также выглядит взаимодействующей.

Например, если два предмета отбрасывают тень в одно место, то там где одна тень накладывается на другую, она "гуще". И в этом смысле, одна "усиливает" другую, хотя на самом деле тени никак не взаимодействуют.

Инвариант   02.02.2019 00:22   Заявить о нарушении
Ну так я и Михаил о том, в речеязыкоаых системах, как системах шифрования информации.
Вот возьмём опять же этот шифр Радуга.
И рассмотрим опять этот ГА, имеющийся в двойном размере.
Где Г1 # Г2, не равны по значению. Которые наложены друг на друга, или состыкованы в виде фрактала, что именуется в языковедении морфема. Но сами друг другу близко не родня, а даже оборотны, противоположны, типа плюс и минус. Голуби то вверхе летают, А Гарпун то внутрь воды входит. Но друг с другом образуют сладкую парочку. Как основание у ласточкиного хвоста.
Так же как и описанные вами тени. Тоже два в одном, но суть не одно и тоже.

Сергей Горохов 2   02.02.2019 13:08   Заявить о нарушении
Вот она и наблюдается в этом Г1 + Г2, ваша интерференция, накладывание, спаривание, но без *совмещения*. Или без слияния. Точнее, если отталкиваться от вашего примера, это только глазом видно, а в речи ухом слышно, что оно вроде как суть одно. Но получено от разных теней. Скажем от палки, столба, справа и от столба слева.
Но источники света, фонарь, на эти столбы падающие, и от которых тени, совсем разные. Типа сами по себе.
Но после скажем слияния теней от столбов. В одной точке, потом то у этих теней, типа лучей дорожки то снова разные. Что собственно можно изобразить так, V.
А если учесть что два фонарика светят на два столба, каждый под своим углом. То собственно мы получим такую конструкцию, Чертеж, или модель. Х. Где в точке пересечения по значению Г1 # Г2. Противоположные по значению, скажем вверх и вниз, вглубь. Но как разнополюсные, как мужчины и женщины, тянутся друг к другу, повлюблятся, но без полного слияния в одно.
А вот А1 может вполне быть по значению одинаков А2, , типа плюс и плюс, или минус и минус. И они шарахаются друг от друга, как с одинаковым зарядом магниты.
Что мы собственно и наблюдаем, как на чертежике, Х, так и в ласточкином хвосте.
И получился у нас типа, борьба и единство противоположностей.
А вообще то о чем шла речь, это перекрестная система шифрования. Согласно которой можно производить шифрование практически до бесконечности. Эти крестики, Х, только подстпвляй друг к другу ножками- головками, и получится типа спирали.
Вот эти , РА + Ду. Такую систему как раз и имеют.
Но вот *хвостик* можно заменять. Раду+Га. Раду+ Жный. Типа такого Жнеца. Удальца молодца. Но здесь уже ни ласточкин хвост. А типа наверное как у сороки, белобоки.
А вообще эта конструкция, со сменным хвостом. Типа как у ящерицы, один хвост оторвался, другой нарастает. Ну как вы мне ссылку давали где речь шла про этого бекаса, забыл как его по импортному называют.
Вот ещё бы пояснили что такое дифракция, русскими словесами. Как противоположность интерференции кажется. Сращивания. Если я правильно понял.
Вообще было бы здорово. Для третье классников.

Сергей Горохов 2   02.02.2019 13:42   Заявить о нарушении
А вообще, было бы здорово, если бы вы меня рассматривали как третьеклассника, и шпрехающем на языке этого уровня третьего класса.
Чтоб не только мне было понятно, но ентим третье классникам.
А похоже Михаил, мы уже начали создавать болванку учебника для третьего класса.
Потом эту болванку, обтещем, как папа Карло, Буратину делал.
И в путь.

Сергей Горохов 2   02.02.2019 14:45   Заявить о нарушении
> А похоже Михаил, мы уже начали создавать болванку учебника для третьего класса

Нет. У меня нет ни малейшего интереса к созданию учебников.

Инвариант   03.02.2019 13:54   Заявить о нарушении
Михаил. Так учебник это и есть научный труд, который изучают, осваивают все, от мала до велика. Начиная со школы.
Все остальное, типа статьи на проза ру или ФМ.
Все это суета сует.
Ну кто прочитает ваши труды на ФШ, ну сотни две человек. Ну тысяча. Ну пять. Ну десять. А в мире миллиарды людей.
Ну даже и прочитает вас и даже поймёт, например, как я. Вы думаете они как апостолы пойдут в народ, сеять ваше вечное, доброе. Да не будет этого никогда. Такова правда жизни.
Все эти статьи, Читаются По принципу, в одно ухо влетело, в другое вылетело.
Только через учебник для младших классов вас услышат.
А в противном случае, ни кто вас не услышит. И не признаёт.
Чего, насколько я вас понял, вы хотите.
Без труда, не аынешь рыбку из пруда?
Более того, Ваши мысли взрослым возмужавшим и бабушкам и дедушкам. Сто лет не надо.
И причины того, вполне прозаичны.
Жаждут знаний дети, молодежь.

Сергей Горохов 2   03.02.2019 14:19   Заявить о нарушении
> ни кто вас не услышит. И не признаёт

За "признанием" надо на эстраду идти. А я своим делом занят. Обойдусь :-)

Инвариант   03.02.2019 15:02   Заявить о нарушении
Ладно Михаил. Пока с учебником отстал. Но это пока.
Подскажите, в какой то вашей статье я типа формулы видел. Статью просто пробежал глазами, со временем то напряг. Я же не пенсионер.
Но в свете что там имеется формула надо ознакомится внимательней.
Формула, не помню точно какие там буквы, Но выглядит так.
С = р*г.

Сергей Горохов 2   03.02.2019 19:08   Заявить о нарушении
> Формула, не помню точно какие там буквы

Я называю это "термодинамическая тройка": Приложенная сила равна произведению реакции системы на ее импеданс. Буквы там могут быть любые. Зная любые два параметра, можно найти третий. Это правило справедливо для любых линейных систем. Например, закон Ома U = I*r, или 2-ой закон Ньтона F = m*a, или закон Гука F = -k*x, или закон Клапейрона-Менделеева T = p*V (без учета коэффициента k) итп. В разных дисциплинах приняты различные обозначения, но суть от этого не меняется.

Инвариант   03.02.2019 20:18   Заявить о нарушении
Да эти все формулки я ещё со школы и института помню.
Но там у вас какая то своя была.
Что то связанное с информационными делами.

Сергей Горохов 2   03.02.2019 20:50   Заявить о нарушении
> Но там у вас какая то своя была.

Ну, значит, с тем же смыслом: Сила-реакция-импеданс.

Инвариант   04.02.2019 00:02   Заявить о нарушении
А ссылку можно повторить Михаил?

Сергей Горохов 2   04.02.2019 08:07   Заявить о нарушении
> А ссылку можно повторить

Вот здесь несколько разных формул:

Старый новый взгляд на природу Информации (HJ)
http://samlib.ru/i/idelxchik_m/info_hj.shtml

Инвариант   04.02.2019 08:20   Заявить о нарушении
На это произведение написаны 2 рецензии, здесь отображается последняя, остальные - в полном списке.