Мне кажется, что это интересные мысли

    1. Сколько стоит информация.
Информация определяется структурой системы. Следовательно, минимальное изменение структуры изменяет информацию на один бит. Стоимость бита -  стоимость минимального изменения структуры.
    2. Ведение слов  и смыслов.
Если сообщение предается десятичными цифрам, то в двоичной передаче этих  знаков будет в пять раз больше. Передача информации словами сокращает скорость передачи. Информация смыслов это ещё одна перекодировка. Ещё одно сжатие информации. Можно провести сравнение английских и русских слов.
    3. Слова, то есть понятия образуют базис для передачи информации. Если базис мал, то часть информации просто нельзя передать. Например, интеграл это одно слово. Если его нет, то требуется много слов описывающих это понятие. Причем это слово в разных контекстах имеет различные значения. В этом понятии содержится объединяющая характеристика суммирования. Внедрение этого понятия в язык возможно, в обществе с высоко развитой научной и технической культурой, где оно широко используется. Для описания быта это слово излишне.
С этой проблемо связана ограниченность развития всех региональных языков.