Ентропия като мярка за несигурност

Случайните действия могат да бъдат описани с въвеждането на концепцията "вероятност". Отношенията на теорията на вероятностите ви позволяват да намерите (изчислите) вероятностите като единични случайни събития, и сложни експерименти, съчетаващи няколко независими или взаимосвързани събития. Но е възможно да се очертаят случайни действия не само в определенията на вероятностите.

Фактът, че дадено събитие е инцидент, означава липсата на пълна убеденост за неговото настъпване, което от своя страна прави несигурност във финалите на експерименти, свързани с това събитие. Разбира се, степен на несигурност е различно за различните ситуации. Например, ако опитът се състои в определяне на възрастта по случая на избран студент от 1-ва година на редовен университет, тогава с голяма доза убеденост може да се твърди, че той ще бъде на поне 30 години; хВъпреки че според позицията в редовното отделение лица под 35-годишна възраст могат да учат, в повечето случаи завършили редовно училище следващите няколко броя. Подобно преживяване е още по-малко сигурно, когато се проверява дали възрастта на произволно избран студент ще бъде под 18 години. За практиката е фундаментално възможно да се направи числена оценка на несигурността на различни експерименти. Нека се опитаме да въведем такава количествена мярка за несигурност.

Нека започнем с обичайната ситуация, в която има опит P еднакво вероятни резултати. Разбира се, несигурността на всеки от тях зависи н, тези. мярката за несигурност е функция от броя на резултатите f (n).

Можете да посочите някои характеристики на тази функция:

  • един. е(1) = 0, тъй като за n = 1 краят на експеримента не е случаен и, както следва, няма несигурност;
  • 2. f (n) расте с растежа P, тъй като колкото по-голям е броят на вероятните резултати, толкова по-трудно става пророкуването на резултата от експеримента.

Да се ​​определи очевидната форма на функция f (n) вижте две независим изпитват α и β * съответно с броя на еднакво вероятни резултати Pα и Pβ. Нека се проведе труден експеримент, който се състои в едновременно изпълнение на експерименти α и β; броят на възможните резултати е Pα ∙ Pβ, докато всички те са еднакво вероятни. Разбира се, несигурността на края на такъв сложен експеримент α ^ β ще бъде по-голяма от несигурността на опита α, тъй като несигурността β се добавя към него; мярката на несигурността при сложен експеримент е f (nα ∙ нβ). От друга страна, мерките за несигурност на отделните α и β са съответно, f (nα) и f (nβ). В първия случай (труден опит) се проявява общата (тотална) несигурност на съвместните събития, във втория - несигурността на всяко от събитията поотделно. Но от независимостта на α и β следва, че в сложен експеримент те не могат да си влияят по никакъв начин и, а именно, α не могат да влияят на несигурността на β и обратно. Както следва, мярката на общата несигурност трябва да бъде равна на сумата от мерките на несигурност на всеки от експериментите, т.е. мярката за несигурност е адитивна:

* За посочване преживявания със случайни окончания ще използваме гръцки букви (α, β и др.) и за обозначаване на отделни резултати преживявания (събития) - латински голям (A, B и т.н.).

Сега нека помислим каква може да бъде очевидната форма на функцията f (n), така че да отговаря на свойства (1) и (2) и отношение (2.1)? Лесно е да се види, че функцията дневник удовлетворява такъв набор от параметри(н), в този случай може да се твърди, че то единственият от всички налични класове функции. Поради това: за мярка за несигурност на опита с P равновероятните окончания могат да вземат числото дневник (n).

Трябва да се види, че изборът на основата на логаритъма в този случай няма значение, тъй като по силата на добре познатата формула за преобразуване на логаритъма от 1-ва основа в друга.

преходът към друга основа се състои във въвеждането на постоянен фактор logb, който е сходен и за двете части на израза (2.1) и, което е равносилно на промяна на скалата (т.е. единица размер) на измерването на несигурността. Тъй като това е така, възможно е да се избере удобна (от всякакви допълнителни преценки) основа на логаритъма. Такава удобна основа е 2, защото в В този случай за мерна единица се приема несигурността, съдържаща се в експеримента, който има само два еднакво вероятни окончания, които могат да бъдат обозначени, например True (Вярно) и ерес (Невярно) и използвайте апарата на математическата логика, за да анализирате такива събития.

Извиква се мерната единица на неопределеност за 2 вероятни равновероятни края на експеримента малко*.

* Заглавие малко идва от британците двоична цифра,което буквално означава "двоичен бит" или "двоичен".

По този начин ние установихме очевидна форма на функцията, която описва мярката на несигурност на опита, която има P равновероятни резултати:

Тази стойност получи заглавието ентропия. В бъдеще ще го определим З.

Помислете отново за опита с P равновероятни окончания. Тъй като всеки край е случаен, той има своя принос за несигурността на цялото преживяване, но защото всичко P резултатите са равни, уместно е да се приеме, че несигурността им е сходна. От характеристиката на адитивността на несигурността, също и от факта, че съгласно (2.2) общата несигурност е равна на log2 P, от това следва, че несигурността, въведена от един финал, е

Където p = - възможността за всеки от индивидуалните резултати.

По този начин несигурността, въведена от всеки от равновероятните резултати, е:

Сега нека се опитаме да обобщим формула (2.3) към ситуацията, когато краищата на експериментите неравен, напр, p (Aедин) и p (A2). Тогава:

Обобщаване на този израз в ситуация, в която опитът α има P неравномерни резултати Иедин, И2... Нагоре, получаваме:

Стойността, въведена по този начин, както вече споменахме, се извиква ентропия на опита оса Използване на формулата за средната стойност на дискретни случайни променливи (A.11), можеш да пишеш:

A (α) - обозначава финалите, вероятни в опит α.

Ентропия е мярка за несигурността на опита, при която се появяват случайни действия, и е равна на средната несигурност на всички негови вероятни резултати.

На практика формулата (2.4) е от основно значение, тъй като ни позволява да сравняваме несигурността на различните експерименти със случайни финали.