Entropijas Kalkulators - Aprēķiniet Šenona Entropiju Tiešsaistē Bez Maksas

Kas ir entropijas kalkulators?

Entropijas kalkulators aprēķina skaitļu kopas Šenona entropiju. Šenona entropija ir veids, kā izmērīt, cik neparedzama ir datu kopa. Datu kopai, kurā visas vērtības ir vienādas, entropija ir nulle, jo tajā nav nekā nenoteikta. Datu kopai, kurā katra vērtība parādās ar vienādu varbūtību, ir lielākā iespējamā entropija attiecīgajam kopas lielumam.

Šī ideja nāk no informācijas teorijas — jomas, ko 1948. gadā aizsāka amerikāņu matemātiķis Klods Šenons. Šenons vēlējās izmērīt, cik daudz informācijas satur ziņojums. Viņš definēja entropiju kā vidējo “pārsteiguma” daudzumu simbolu secībā. Šī pati formula tagad tiek izmantota datu zinātnē, kriptogrāfijā, bioloģijā un mašīnmācīšanās jomā — visur, kur jāizmēra nejaušība iznākumu kopā.

Šenona entropijas formula

Datu kopai ar unikālām vērtībām no x₁ līdz xₙ, kur katra parādās ar varbūtību p(xᵢ), Šenona entropija H ir:

$H(X) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i)$

Vārdiem izsakot: katrai unikālajai vērtībai sareizina tās varbūtību ar šīs varbūtības logaritmu pie bāzes 2, saskaita visus šos reizinājumus un pēc tam maina zīmi uz pretējo. Rezultāts vienmēr ir nulle vai pozitīvs.

Šis kalkulators vienmēr izmanto logaritmus pie bāzes 2, tāpēc rezultātu izsaka bitos. Citi logaritmu pamati tiek izmantoti citiem mērķiem: naturālais logaritms dod vienības, ko sauc par natēm, bet bāze 10 dod vienības, ko sauc par hartlijiem. Biti ir standarta vienība skaitļošanā un informācijas teorijā, tāpēc šis kalkulators izmanto bāzi 2.

Kāpēc rezultāts nevar būt negatīvs

Katra varbūtība p(xᵢ) atrodas starp 0 un 1, tāpēc tās logaritms ir nulle vai negatīvs. Sareizinot varbūtību ar negatīvu vai nulles logaritmu, iegūst negatīvu skaitli vai nulli. Saskaitot šos rezultātus un mainot zīmi uz pretējo, vienmēr iegūst nulli vai lielāku skaitli.

Maksimālā iespējamā entropija

Datu kopai ar n unikālām vērtībām entropija ir visaugstākā tad, kad katra vērtība parādās vienlīdz bieži. Šis maksimums ir log₂(n) biti. Datu kopa ar 4 vienlīdz bieži sastopamām unikālām vērtībām var sasniegt ne vairāk kā 2 bitus entropijas, jo log₂(4) = 2. Jebkāds nevienmērīgs to pašu 4 vērtību sadalījums dod mazāku entropiju.

Kā aprēķināt entropiju: soli pa solim

1. Uzskaitiet unikālās vērtības datu kopā un saskaitiet, cik reižu katra no tām parādās.
2. Izdaliet katru skaitu ar kopējo vērtību skaitu, lai iegūtu katras unikālās vērtības varbūtību.
3. Aprēķiniet katras varbūtības logaritmu pie bāzes 2 un sareiziniet to ar šo pašu varbūtību.
4. Saskaitiet visus šos reizinājumus un pēc tam sareiziniet summu ar −1.

Šis kalkulators automātiski veic tās pašas četras darbības. Ievadiet skaitļus ievades laukā, atdalot tos ar atstarpēm vai komatiem, izvēlieties atbilstošo formātu, un entropija, varbūtību tabula un stabiņu diagramma tiek parādītas uzreiz. Tabulā zem rezultāta katram unikālajam skaitlim ir redzama vērtība, skaits, varbūtība un p(x) × log₂(p(x)), tāpēc aprēķina gaita, nevis tikai galīgais rezultāts, ir pārskatāma.

Ievades noteikumi

• Tiek pieņemtas tikai skaitliskas vērtības: der veseli skaitļi, decimāldaļas un negatīvi skaitļi.
• Vērtības atdala ar atstarpēm (piemērs: 1 2 3 4) vai komatiem (piemērs: 1,2,3,4) atkarībā no izvēlētā formāta.
• Datu kopā var būt ne vairāk kā 100 000 vērtību. Ievadot vairāk vērtību, tiek parādīts kļūdas ziņojums ar lūgumu izmantot mazāku datu kopu.
• Zinātniskais pieraksts ir atļauts, tāpēc 1e3 tiek nolasīts kā 1000.
• Teksts, simboli vai tukši ieraksti starp atdalītājiem tiek noraidīti ar kļūdas ziņojumu, nevis klusi ignorēti.
• Arī pārāk liels skaitlis, ko dators nespēj saglabāt, piemēram, 1e400, tiek noraidīts. Lielākā vērtība, ko kalkulators spēj saglabāt, ir aptuveni 1,8 x 10^308.

Aprēķina piemērs

Aplūkosim datu kopu 1 2 3 1 2 1, kurā ir seši skaitļi.

Vispirms saskaitīsim katras unikālās vērtības parādīšanās reižu skaitu:

Pēc tam piemērosim formulu katrai rindai un saskaitīsim rezultātus:

$H = -(0.5 \log_2 0.5 + 0.3333 \log_2 0.3333 + 0.1667 \log_2 0.1667)$ $H = -(0.5 \times -1 + 0.3333 \times -1.585 + 0.1667 \times -2.585)$ $H \approx 1.4591 \text{ biti}$

Datu kopā ir 3 unikālas vērtības, tāpēc maksimālā iespējamā entropija ir log₂(3) ≈ 1,585 biti. Faktiskais rezultāts — 1,4591 biti — ir mazāks par šo maksimumu, jo vērtība 1 parādās biežāk nekā pārējās, padarot datu kopu nedaudz mazāk nejaušu nekā pilnīgi vienmērīgs sadalījums.

Datu kopa bez nenoteiktības

Datu kopai 5 5 5 5 5 ir tikai viena unikāla vērtība, tāpēc tās varbūtība ir 1. Tā kā log₂(1) = 0, katrs summas loceklis ir nulle, un entropija ir tieši 0 biti. Datu kopā, kurā visas vērtības ir identiskas, nav nekā nenoteikta.

Rezultāta interpretācija

• Entropija tuvu 0 nozīmē, ka dati ir atkārtojošies un paredzami. Dominē viena vai dažas vērtības.
• Entropija tuvu log₂(n), kur n ir unikālo vērtību skaits, nozīmē, ka dati ir gandrīz vienmērīgi sadalīti starp visām unikālajām vērtībām.
• Entropija, kas ir tieši 0, nozīmē, ka visas datu kopas vērtības ir vienādas.

Entropija pati par sevi nepasaka, vai datu kopa ir “laba” vai “slikta”. Paroļu ģenerators vēlas augstu entropiju, jo tā padara paroli grūti uzminamu. Sensors, kuram jāuzrāda nemainīga temperatūra, vēlas zemu entropiju, jo tas nozīmē, ka rādījums ir stabils.

Kur izmanto Šenona entropiju

• Mašīnmācīšanās: lēmumu koku algoritmi izmanto entropiju, lai noteiktu, kura pazīme vislabāk sadala datu kopu paredzamās grupās.
• Datu saspiešana: entropija nosaka teorētisko robežu, cik mazu var padarīt failu, nezaudējot informāciju.
• Kriptogrāfija: entropija mēra, cik neparedzama ir parole vai kriptogrāfiskā atslēga.
• Ģenētika: entropija var izcelt neparastus vai ļoti mainīgus DNS secības reģionus.
• Teksta analīze: uzskatot burtus vai vārdus par “vērtībām”, ar entropiju var izmērīt, cik paredzams ir teksta fragments.

Biežāk uzdotie jautājumi

Kas ir entropija informācijas teorijā? Tas ir skaitlis, kas mēra, cik nenoteikta vai neparedzama ir datu kopa. To aprēķina, izmantojot katras unikālās datu vērtības varbūtības, nevis pašas vērtības.

Kā manuāli aprēķināt Šenona entropiju? Saskaitiet, cik reižu parādās katra unikālā vērtība, izdaliet katru skaitu ar kopējo skaitu, lai iegūtu varbūtības, sareiziniet katru varbūtību ar tās logaritmu pie bāzes 2, saskaitiet rezultātus un sareiziniet ar −1.

Vai entropija var būt negatīva? Nē. Mazākā iespējamā vērtība ir 0 biti; tā rodas, kad visas datu kopas vērtības ir identiskas.

Kāda ir datu kopas maksimālā entropija? Maksimums ir log₂(n) biti, kur n ir unikālo vērtību skaits, un tas rodas tikai tad, kad katra unikālā vērtība parādās vienlīdz bieži.

Vai datu kopas lielumam ir ierobežojums? Jā. Šis kalkulators vienā datu kopā pieņem ne vairāk kā 100 000 vērtību. Lielāki ievaddati rada kļūdu.

Kā entropija atšķiras no dispersijas? Dispersija mēra, cik izkliedētas skaitliskās vērtības ir ap to vidējo vērtību. Entropija mēra iznākumu modeļa neparedzamību, balstoties tikai uz varbūtībām un neatkarīgi no skaitļu faktiskā lieluma.

Atsauces

1. Šenons, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379–423.
2. Cover, T. M., un Thomas, J. A. (2006). Elements of Information Theory (2. izdevums). Wiley-Interscience.
3. MacKay, D. J. C. (2003). Information Theory, Inference, and Learning Algorithms. Cambridge University Press.