Q. А какая разница между Информацией и Энтропией?
A. Нет никакой связи между этими понятиями.
Например, в известной фразе "казнить нельзя помиловать" положение запятой никоим образом не влияет на ее шенновскую энтропию. Энтропия любых анаграмм, скажем, "марс" и "срам" идентична. Если рассматривать задачу транспорта информации, то символы (коды) сообщения играют роль тары.
Энтропия - удельная мощность сообщения (на единицу тары). Избыточность - коэффициент заполнения тары.
Если требуется транспортировать 0.5 л, то это можно осуществить с помощью трех стаканов по 200 (с некоторой избыточностью), но нельзя с помощью трех стаканов по 150, поскольку это меньше "энтропийного предела" (~167).
При этом, совершенно неважно, 0.5 чего - воды, спирта, уксуса...
FAQ. Информация и Энтропия
© Copyright: Инвариант, 2017
Свидетельство о публикации №217061100149
Свидетельство о публикации №217061100149
Рецензии