Количествена информация

Информация - Компютри, програмиране

Други материали по темата Компютри, програмиране

КОЛИЧЕСТВЕНА ОЦЕНКА НА ИНФОРМАЦИЯ

Общият брой неповтарящи се съобщения, които могат да бъдат съставени по азбучен ред м чрез комбиниране н символи в съобщението,

Несигурност, дължима на символа на първичната (кодирана) азбука, съставена от равновероятни и взаимно независими символи,

Основата на логаритъма влияе само върху удобството на изчислението. В случай на оценка на ентропията:

а) в двоични единици

б) в десетични единици

в) в естествени единици

Тъй като информацията е несигурност, премахната при получаване на съобщение, количеството информация може да бъде представено като произведение на общия брой съобщения да се на средна ентропия З., на съобщение:

За случаите на равновероятни и взаимозависими символи на първичната азбука, количеството информация в да се азбучни съобщения м по равно

и количеството информация в съобщение, съставено от да се неравномерни символи на вероятността,

За непропорционални азбуки, ентропията за символ на азбука

При решаване на задачи, при които ентропията се изчислява като сбор от произведенията на вероятностите по техния логаритъм, независимо дали са безусловни, условни или вероятности от съвместни събития.

Количеството информация се определя единствено от характеристиките на първичната азбука, а обемът от характеристиките на вторичната азбука. Количество информация

Където lcr средна дължина на кодовите думи на вторичната азбука. За еднакви кодове (всички комбинации от кодове съдържат еднакъв брой цифри)

Където н дължина на кода (брой чипове в кода). Съгласно (3) обемът е равен на количеството информация, ако lcr=З., тези. в случай на максимално натоварване на трафика върху символа на съобщението. Във всички останали случаи .

Например, ако кодираме в кода на Бодо някаква равновероятна азбука, състояща се от 32 знака, тогава

Ако кодирате руската 32-буквена азбука в кода на Бодо, тогава, без да се взема предвид корелацията между буквите, количеството информация

тези. ако има излишък в кода и, тогава количеството в битове винаги е по-голямо от количеството информация в същите единици.

Тема 2. Условна ентропия и ентропия на обединението

Концепцията за условна ентропия в теорията на информацията се използва за определяне на взаимозависимостта между символите на кодираната азбука, за определяне на загубата при предаване на информация по комуникационни канали, при изчисляване на ентропията на обединението.

Във всички случаи при изчисляване на условната ентропия под една или друга форма се използват условни вероятности.

Ако по време на предаване н символ на съобщението И се появи м пъти, символ IN се появи л пъти и символа И заедно със символа IN да се пъти, тогава вероятността за появата на символа И; вероятността от поява на символа IN; вероятност от съжителство на символи И и IN; условна вероятност за поява на символ И по отношение на символа IN и условната вероятност на символа IN по отношение на символа И

Ако условната вероятност е известна, тогава вероятността за съвместно появяване на символи И и IN, използвайки изрази (7)

Формулата за условна ентропия се различава от класическия израз (4) по това, че съдържа условни вероятности:

Разграничаване на понятията частна и обща условна ентропия. Изразите (9) и (10) са конкретните условни ентропии.

Изразът (11) е общ израз за определяне на количеството информация за символ на съобщение в случай на неравномерни и взаимно независими символи.

Тъй като представлява вероятността за съвместно възникване на две събития, формула (11) може да бъде записана по следния начин:

Концепцията за обща и частична условна ентропия се използва широко при изчисляване на загубите на информация в комуникационните канали с шум.

Като цяло, ако предаваме м сигнали И и очаквайте да получите м сигнали IN, влиянието на смущения в комуникационния канал е напълно описано матрица на канала, които предоставяме по-долу:

b1 b2 ... bj ... bma1

Вероятностите, които са разположени по диагонала, определят правилния прем, останалите са неверни. Стойността на числата, запълващи колоните на матрицата на канала, обикновено намалява с разстоянието от основния диагонал и при пълно