Количество информации.
Математическое понятие информации тесно связано с ее измерением. Существуют два подхода (способа) измерения количества информации.
Энтропийный
Объемный
Энтропийный способ применяется в теории информации. Он учитывает ценность или полезность информации для человека. Способ измерения основан на следующей модели: пусть получателю сообщения известны определенные представления о возможном наступлении некоторых событий. Число событий обозначим n. В общем случае эти представления недостоверны и характеризуются вероятностью их наступления Pi. i=1,n. Общая мера неопределенности (энтропия) — H — математическая величина, зависящая от совокупности вероятностей — вычисляется по формуле. В теории информации a=2, единица измерения называется бит.
Количество полезной информации в сообщении определяется тем, насколько уменьшается энтропия после получения сообщения. Существуют два крайних случая: сообщение называют тривиальным если оно не несет полезной информации (Hн=Hк); сообщение называется полным, если оно полностью снимает всю неопределенность (Hк=0).
В технике используют объемный способ измерения количества информации. Он основан на подсчете числа символов в сообщении, то есть связан с его длиной и не учитывает полезность информации для человека. Длина сообщения зависит от мощности используемого алфавита. То есть числа различных символов для записи сообщения. В СВТ используется двоичный алфавит, то есть сообщения записываются с помощью двух символов — 0 и 1. Один разряд двоичной записи называется бит. Также используется единица измерения байт — один символ сообщения, представленный восьмиразрядным двоичным кодом. На практике используются более крупные единицы измерения(килобайт, мегабайт, гигабайт, терабайт, петабайт...).
Эти два способа измерения — энтропийный и объемный, как правило, не совпадают, причем энтропийное количество информации не может быть больше числа символов в сообщении. Если же оно меньше, то говорят, что сообщение избыточно. На основе понятий энтропии и количества информации вводятся важные характеристики информационных систем:
1.Скорость создания информации — энтропия источника, отнесенная к единице времени, бит/с.
2.Скорость передачи информации — количество информации, переданное по каналу связи за единицу времени, бит/с.
3.Избыточность сообщений и сигналов — безразмерная величина, показывающая, какую долю полезной информации несет сообщение или сигнал.Где n0- минимальная из длин сообщений, несущих аналогичную полезную информацию. Избыточность вредна, но она является информационным средством.