Калкулатор ентропије - Израчунавање Шенонове ентропије онлајн бесплатно

Шта је калкулатор ентропије?

Калкулатор ентропије израчунава Шенонову ентропију скупа бројева. Шенонова ентропија је начин мерења непредвидљивости скупа података. Скуп података у којем је свака вредност иста има ентропију једнаку нули, јер у њему нема неизвесности. Скуп података у којем је појава сваке вредности подједнако вероватна има највећу могућу ентропију за своју величину.

Идеја потиче из теорије информација, области коју је започео амерички математичар Клод Шенон 1948. Шенон је желео да измери колико информација носи нека порука. Ентропију је дефинисао као просечну количину „изненађења“ у низу симбола. Иста формула се данас користи у науци о подацима, криптографији, биологији и машинском учењу, свуда где је потребно измерити случајност скупа исхода.

Формула Шенонове ентропије

За скуп података са јединственим вредностима од x₁ до xₙ, при чему се свака појављује са вероватноћом p(xᵢ), Шенонова ентропија H износи:

$H(X) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i)$

Речима: за сваку јединствену вредност помножите њену вероватноћу логаритмом те вероватноће по основи 2, саберите све те производе, а затим промените знак. Резултат је увек нула или позитиван.

Овај калкулатор увек користи логаритме по основи 2, па се резултат мери у битовима. За друге намене користе се и друге основе: природни логаритам даје јединицу која се назива нат, а основа 10 даје јединицу која се назива хартли. Битови су стандардна јединица у рачунарству и теорији информација, због чега овај калкулатор користи основу 2.

Зашто резултат не може бити негативан

Свака вероватноћа p(xᵢ) налази се између 0 и 1, па је њен логаритам нула или негативан. Множењем вероватноће негативним или нултим логаритмом добија се негативан или нулти број. Сабирање тих вредности и промена знака увек дају резултат једнак нули или већи од нуле.

Највећа могућа ентропија

За скуп података са n јединствених вредности, ентропија је највећа када се свака вредност појављује подједнако често. Тај максимум износи log₂(n) битова. Скуп података са 4 подједнако честих јединствених вредности може имати највише 2 бита ентропије, јер је log₂(4) = 2. Свака неравномерна расподела истих 4 вредности даје мању ентропију.

Како израчунати ентропију: корак по корак

1. Наведите јединствене вредности у скупу података и пребројте колико се пута свака појављује.
2. Поделите сваки број појављивања укупним бројем вредности да бисте добили вероватноћу сваке јединствене вредности.
3. Израчунајте логаритам сваке вероватноће по основи 2, а затим га помножите том истом вероватноћом.
4. Саберите све те производе, а затим укупан збир помножите са −1.

Овај калкулатор аутоматски обавља иста четири корака. Унесите бројеве у поље за унос, раздвојене размацима или зарезима, изаберите одговарајући формат и ентропија, табела вероватноћа и стубичасти дијаграм појавиће се одмах. Табела испод резултата приказује вредност, број појављивања, вероватноћу и p(x) × log₂(p(x)) за сваки јединствени број, па је поступак видљив, а не само коначни резултат.

Правила за унос

• Прихватају се само нумеричке вредности: цели бројеви, децимални бројеви и негативни бројеви.
• Вредности се раздвајају размацима (пример: 1 2 3 4) или зарезима (пример: 1,2,3,4), у зависности од изабраног формата.
• Скуп података може да садржи највише 100.000 вредности. Унос већег броја вредности приказује поруку о грешци у којој се тражи мањи скуп података.
• Прихвата се научна нотација, па се 1e3 чита као 1000.
• Текст, симболи и празни уноси између раздвајача одбацују се уз приказ грешке, уместо да се прећутно занемаре.
• Одбацује се и број који је превелик да би га рачунар сачувао, као што је 1e400. Највећа вредност коју калкулатор може да чува је приближно 1,8 x 10^308.

Решени пример

Узмимо скуп података 1 2 3 1 2 1, који има шест бројева.

Најпре пребројмо сваку јединствену вредност:

Затим применимо формулу на сваки ред и саберимо резултате:

$H = -(0.5 \log_2 0.5 + 0.3333 \log_2 0.3333 + 0.1667 \log_2 0.1667)$ $H = -(0.5 \times -1 + 0.3333 \times -1.585 + 0.1667 \times -2.585)$ $H \approx 1.4591 \text{ битови}$

Скуп података има 3 јединствене вредности, па је највећа могућа ентропија log₂(3) ≈ 1,585 битова. Стварни резултат, 1,4591 битова, мањи је од тог максимума јер се вредност 1 појављује чешће од осталих, па је скуп података нешто мање случајан него код потпуно равномерне расподеле.

Скуп података без неизвесности

Скуп података 5 5 5 5 5 има само једну јединствену вредност, па је њена вероватноћа 1. Пошто је log₂(1) = 0, сваки члан збира једнак је нули, а ентропија је тачно 0 битова. У скупу података у којем су све вредности исте нема неизвесности.

Тумачење резултата

• Ентропија близу 0 значи да су подаци понављајући и предвидљиви. Једна или неколико вредности преовлађују.
• Ентропија близу log₂(n), где је n број јединствених вредности, значи да су подаци приближно равномерно распоређени међу свим јединственим вредностима.
• Ентропија тачно 0 значи да је свака вредност у скупу података иста.

Ентропија сама по себи не говори да ли је скуп података „добар“ или „лош“. Генератор лозинки жели високу ентропију, јер се таква лозинка теже погађа. Сензору који треба да очитава сталну температуру потребна је ниска ентропија, јер то значи да је очитавање стабилно.

Где се користи Шенонова ентропија

• Машинско учење: алгоритми стабала одлучивања користе ентропију да би одредили која особина најбоље раздваја скуп података на предвидљиве групе.
• Компресија података: ентропија одређује теоријску границу до које се датотека може смањити компресијом без губитка информација.
• Криптографија: ентропија мери колико су лозинка или криптографски кључ непредвидљиви.
• Генетика: ентропија може да укаже на неуобичајене или веома променљиве регионе у секвенци ДНК.
• Анализа текста: ако се слова или речи посматрају као „вредности“, ентропија омогућава мерење предвидљивости дела текста.

Најчешће постављана питања

Шта је ентропија у теорији информација? То је број који мери колико је скуп података неизвестан или непредвидљив. Израчунава се на основу вероватноћа сваке јединствене вредности у подацима, а не на основу самих вредности.

Како ручно израчунати Шенонову ентропију? Пребројте колико се често појављује свака јединствена вредност, поделите сваки број појављивања укупним бројем да бисте добили вероватноће, помножите сваку вероватноћу њеним логаритмом по основи 2, саберите резултате и помножите их са −1.

Може ли ентропија бити негативна? Не. Најмања могућа вредност је 0 битова, а јавља се када су све вредности у скупу података исте.

Која је највећа ентропија за скуп података? Максимум је log₂(n) битова, где је n број јединствених вредности, и јавља се само када се свака јединствена вредност појављује подједнако често.

Постоји ли ограничење величине скупа података? Да. Овај калкулатор прихвата највише 100.000 вредности у једном скупу података. За веће уносе приказује се грешка.

По чему се ентропија разликује од варијансе? Варијанса мери колико су нумеричке вредности удаљене од свог просека. Ентропија мери колико је образац исхода непредвидљив, на основу самих вероватноћа, без обзира на стварну величину бројева.

Референце

1. Шенон, К. Е. (1948). Математичка теорија комуникације. Bell System Technical Journal, 27(3), 379–423.
2. Кавер, Т. М. и Томас, Џ. А. (2006). Основи теорије информација (2. издање). Wiley-Interscience.
3. Мекеј, Д. Џ. Ц. (2003). Теорија информација, закључивање и алгоритми учења. Cambridge University Press.