Мерни единици за ентропия и информация

Така че в исторически план първите стъпки към въвеждането на концепцията за ентропия са направени през 1928 г. от американския инженер по комуникации Р. Хартли, който предлага да се характеризира степента на несигурност на опита с к различни резултати по броя на дневниците к. Измерете несигурността на опита, като к равновероятен произход, взе числото. В специфични приложения на „мерки за степен на несигурност“ логаритмите обикновено се използват с основа две. Това означава, че мерната единица за степента на несигурност тук се приема за несигурността, съдържаща се в събитие, което има два еднакво вероятни резултата (например в събитие, състоящо се в хвърляне на перфектна монета). Тази мерна единица на несигурност се нарича двоична единица или малко (битът се формира от двете начални и последни букви на английския израз двоична единица, което означава двоична единица). По този начин обозначението (където основата на логаритъма не е посочена) обикновено означава .

Също така се използва dit Ентропията на система с десет равновероятни състояния, изчислена с помощта на базовия десет логаритъм. Понякога избухване на физическа система с д държави, тогава се нарича естествената единица на количеството информация нитом, основата на логаритъма във формулата на Шанън е д.

Връзката между единиците на количеството информация:

.

От гледна точка на теорията на кодирането има обяснение защо се използва двоичната система (основа на логаритъма).

Както можете да видите, оптималният брой букви в азбуката е между 3 и 4. Тоест, троичната система би била по-добра, но е по-трудна за изпълнение.

Бинарната система, както и четвъртичната система, са почти оптимални. Но е по-лесно да внедрите двоична система.

1.4. Свойства на функцията за ентропия

Собственост 1.Ентропията не може да приема отрицателни стойности.

Доказателства

Както винаги , тогава тя не може да бъде положителна, а отрицателна.

Собственост 2. Функцията с много малка промяна в вероятностите, ..., ще се промени много малко.

За да си представим естеството на зависимостта на функцията от индивидуалните вероятности, нека разгледаме по-отблизо графиката на функцията (вж. Фиг. 2). От тази графика може да се види, че при, стойността нараства изключително бързо; следователно, в този регион, относително малък спад на вероятността или к) съответства на много значително намаление на съответния член в израза на функцията. Това води до факта, че обикновено термините, съответстващи на много малки стойности на вероятността, допринасят много по-малко за израза, отколкото други термини, така че при изчисляването на ентропията сравнително малко вероятните резултати често могат просто да бъдат пропуснати без голяма грешка. Напротив, в областта между и, където функцията приема най-големи стойности, тя се променя относително плавно; следователно в този регион дори доста значителна промяна в вероятностите има сравнително малък ефект върху стойността на ентропията.

Собственост 3.Ентропията е нула:

,

ако вероятността за един от резултатите от експеримента е 1, а останалите са равни на нула. Тези. ентропията е нула, ако е възможен само един резултат от експеримента (с вероятност равна на една).

Доказателства

Очевидно. За останалите вероятности помислете за границата

,

тези., което общо за P вероятностите ще дадат нула.

Имот 4. Всяка промяна в вероятностите към тяхното изравняване увеличава ентропията .