Entropie Calculator - Bereken Shannon Entropie Online Gratis

Wat is een entropiecalculator?

Een entropiecalculator berekent de entropie van Shannon van een verzameling getallen. Shannon-entropie is een manier om te meten hoe onvoorspelbaar een dataset is. Een dataset waarin elke waarde hetzelfde is, heeft een entropie van nul, omdat er niets onzeker aan is. Een dataset waarin elke waarde even waarschijnlijk voorkomt, heeft voor zijn omvang de hoogst mogelijke entropie.

Het idee komt uit de informatietheorie, een vakgebied dat in 1948 werd gestart door de Amerikaanse wiskundige Claude Shannon. Shannon wilde meten hoeveel informatie een bericht bevat. Hij definieerde entropie als de gemiddelde hoeveelheid ‘verrassing’ in een reeks symbolen. Dezelfde formule wordt nu gebruikt in datawetenschap, cryptografie, biologie en machine learning, overal waar iemand de willekeur in een verzameling uitkomsten moet meten.

Formule voor Shannon-entropie

Voor een dataset met unieke waarden x₁ tot en met xₙ, die elk voorkomen met kans p(xᵢ), is de Shannon-entropie H:

$H(X) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i)$

In woorden: vermenigvuldig voor elke unieke waarde de kans ervan met de logaritme met grondtal-2 van die kans, tel al deze producten op en verander vervolgens het teken. Het resultaat is altijd nul of positief.

Deze calculator gebruikt altijd logaritmen met grondtal-2, dus het resultaat wordt uitgedrukt in bits. Voor andere doeleinden bestaan andere grondtallen: de natuurlijke logaritme geeft eenheden die nats worden genoemd, en grondtal-10 geeft eenheden die hartleys worden genoemd. Bits zijn de standaardeenheid in de informatica en informatietheorie. Daarom gebruikt deze calculator grondtal 2.

Waarom het resultaat niet negatief kan zijn

Elke kans p(xᵢ) ligt tussen 0 en 1, dus de logaritme ervan is nul of negatief. Het vermenigvuldigen van een kans met een negatieve of nul-logaritme geeft een negatief of nulgetal. De som daarvan en het omkeren van het teken levert altijd een resultaat van nul of meer op.

Maximale mogelijke entropie

Voor een dataset met n unieke waarden is de entropie het hoogst wanneer elke waarde even vaak voorkomt. Dat maximum is log₂(n) bits. Een dataset met 4 unieke waarden die even vaak voorkomen, kan maximaal 2 bits entropie bereiken, omdat log₂(4) = 2. Elke ongelijke verdeling van dezelfde 4 waarden geeft een lagere entropie.

Entropie berekenen: stap voor stap

1. Noteer de unieke waarden in de dataset en tel hoe vaak elke waarde voorkomt.
2. Deel elke telling door het totale aantal waarden om de kans van elke unieke waarde te krijgen.
3. Neem de logaritme met grondtal-2 van elke kans en vermenigvuldig die vervolgens met dezelfde kans.
4. Tel al deze producten op en vermenigvuldig het totaal vervolgens met −1.

Deze calculator voert automatisch dezelfde vier stappen uit. Voer getallen in het invoervak in, gescheiden door spaties of komma’s, kies de bijbehorende indeling en de entropie, de kansentabel en een staafdiagram verschijnen meteen. Een tabel onder het resultaat toont voor elk uniek getal de waarde, telling, kans en p(x) × log₂(p(x)), zodat de berekening zichtbaar is en niet alleen het eindantwoord.

Invoerregels

• Alleen numerieke waarden worden geaccepteerd: gehele getallen, decimalen en negatieve getallen werken allemaal.
• Waarden worden gescheiden door spaties (voorbeeld: 1 2 3 4) of door komma’s (voorbeeld: 1,2,3,4), afhankelijk van de geselecteerde indeling.
• Een dataset kan maximaal 100.000 waarden bevatten. Als er meer worden ingevoerd, verschijnt een foutmelding met het verzoek een kleinere dataset te gebruiken.
• Wetenschappelijke notatie wordt geaccepteerd, dus 1e3 wordt gelezen als 1000.
• Tekst, symbolen of lege items tussen scheidingstekens worden afgewezen met een foutmelding in plaats van stilzwijgend genegeerd.
• Een getal dat te groot is om door een computer te worden opgeslagen, zoals 1e400, wordt eveneens afgewezen. De grootste waarde die de calculator kan bevatten is ongeveer 1,8 x 10^308.

Uitgewerkt voorbeeld

Neem de dataset 1 2 3 1 2 1, die zes getallen bevat.

Tel eerst elke unieke waarde:

Pas vervolgens de formule op elke rij toe en tel de resultaten op:

$H = -(0.5 \log_2 0.5 + 0.3333 \log_2 0.3333 + 0.1667 \log_2 0.1667)$ $H = -(0.5 \times -1 + 0.3333 \times -1.585 + 0.1667 \times -2.585)$ $H \approx 1.4591 \text{ bits}$

De dataset heeft 3 unieke waarden, dus de maximaal mogelijke entropie is log₂(3) ≈ 1,585 bits. Het werkelijke resultaat, 1,4591 bits, ligt onder dat maximum omdat de waarde 1 vaker voorkomt dan de andere waarden. Daardoor is de dataset iets minder willekeurig dan bij een perfect gelijke verdeling.

Een dataset zonder onzekerheid

De dataset 5 5 5 5 5 heeft slechts één unieke waarde, dus de kans ervan is 1. Omdat log₂(1) = 0, is elke term in de som nul en is de entropie precies 0 bits. Er is niets onzeker aan een dataset waarin elke waarde identiek is.

Het resultaat interpreteren

• Entropie dicht bij 0 betekent dat de gegevens repetitief en voorspelbaar zijn. Eén of enkele waarden overheersen.
• Entropie dicht bij log₂(n), waarbij n het aantal unieke waarden is, betekent dat de gegevens bijna gelijkmatig over alle unieke waarden zijn verdeeld.
• Een entropie van precies 0 betekent dat elke waarde in de dataset hetzelfde is.

Entropie zegt op zichzelf niet of een dataset ‘goed’ of ‘slecht’ is. Een wachtwoordgenerator wil een hoge entropie, omdat het wachtwoord daardoor moeilijk te raden is. Een sensor die een constante temperatuur hoort te meten, wil een lage entropie, omdat dit betekent dat de meting stabiel is.

Waar Shannon-entropie wordt gebruikt

• Machine learning: algoritmen voor beslisbomen gebruiken entropie om te bepalen welke eigenschap een dataset het best in voorspelbare groepen opsplitst.
• Datacompressie: entropie bepaalt de theoretische grens voor hoe klein een bestand kan worden gecomprimeerd zonder informatieverlies.
• Cryptografie: entropie meet hoe onvoorspelbaar een wachtwoord of cryptografische sleutel is.
• Genetica: entropie kan ongebruikelijke of sterk variabele gebieden in een DNA-sequentie zichtbaar maken.
• Tekstanalyse: door letters of woorden als de ‘waarden’ te behandelen, kan entropie meten hoe voorspelbaar een tekstfragment is.

Veelgestelde vragen

Wat is entropie in de informatietheorie? Het is een getal dat meet hoe onzeker of onvoorspelbaar een dataset is. Het wordt berekend op basis van de kansen van elke unieke waarde in de gegevens, niet op basis van de waarden zelf.

Hoe bereken je Shannon-entropie met de hand? Tel hoe vaak elke unieke waarde voorkomt, deel elke telling door het totaal om de kansen te krijgen, vermenigvuldig elke kans met de logaritme met grondtal-2 ervan, tel de resultaten op en vermenigvuldig ze met −1.

Kan entropie negatief zijn? Nee. De laagst mogelijke waarde is 0 bits. Dit gebeurt wanneer elke waarde in de dataset identiek is.

Wat is de maximale entropie voor een dataset? Het maximum is log₂(n) bits, waarbij n het aantal unieke waarden is. Dit maximum treedt alleen op wanneer elke unieke waarde even vaak voorkomt.

Is er een limiet aan de omvang van een dataset? Ja. Deze calculator accepteert maximaal 100.000 waarden in één dataset. Grotere invoer levert een foutmelding op.

Waarin verschilt entropie van variantie? Variantie meet hoe ver numerieke waarden rond hun gemiddelde verspreid liggen. Entropie meet hoe onvoorspelbaar het patroon van uitkomsten is, uitsluitend op basis van kansen, ongeacht de werkelijke grootte van de getallen.

Referenties

1. Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379–423.
2. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2e editie). Wiley-Interscience.
3. MacKay, D. J. C. (2003). Information Theory, Inference, and Learning Algorithms. Cambridge University Press.