Entropie-Rechner - Shannon-Entropie Online Kostenlos Berechnen

Was ist ein Entropierechner?

Ein Entropierechner ermittelt die Shannon-Entropie einer Zahlenmenge. Die Shannon-Entropie ist ein Maß dafür, wie unvorhersehbar ein Datensatz ist. Ein Datensatz, in dem jeder Wert gleich ist, hat die Entropie null, weil nichts ungewiss ist. Ein Datensatz, in dem jeder Wert mit gleicher Wahrscheinlichkeit auftritt, hat für seine Größe die höchstmögliche Entropie.

Die Idee stammt aus der Informationstheorie, einem Fachgebiet, das der amerikanische Mathematiker Claude Shannon mit seiner Arbeit A Mathematical Theory of Communication von 1948 begründete. Shannon wollte messen, wie viel Information eine Nachricht trägt. Er definierte die Entropie als den durchschnittlichen Grad an „Überraschung“ in einer Folge von Symbolen. Dieselbe Formel findet sich heute in der Datenwissenschaft, der Kryptografie, der Biologie und im maschinellen Lernen, überall dort, wo die Zufälligkeit einer Menge von Ergebnissen gemessen werden soll.

Formel der Shannon-Entropie

Für einen Datensatz mit verschiedenen Werten x₁ bis xₙ, von denen jeder mit der Wahrscheinlichkeit p(xᵢ) auftritt, lautet die Shannon-Entropie H:

$H(X) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i)$

In Worten: Für jeden verschiedenen Wert wird seine Wahrscheinlichkeit mit dem Logarithmus zur Basis 2 dieser Wahrscheinlichkeit multipliziert. Anschließend werden alle diese Produkte addiert und das Vorzeichen umgekehrt. Das Ergebnis ist immer null oder positiv.

Dieser Rechner verwendet stets Logarithmen zur Basis 2, sodass das Ergebnis in Bit gemessen wird. Shannon hielt fest, dass die Wahl der Logarithmenbasis eine Wahl der Einheit ist: Die Basis 2 liefert Bit, die Basis 10 liefert Dezimalziffern, und der natürliche Logarithmus (Basis e) liefert natürliche Einheiten. Bit ist die übliche Einheit in der Informatik, weshalb dieser Rechner bei der Basis 2 bleibt.

Warum das Ergebnis nicht negativ sein kann

Jede Wahrscheinlichkeit p(xᵢ) liegt zwischen 0 und 1, daher ist ihr Logarithmus null oder negativ. Die Multiplikation einer Wahrscheinlichkeit mit einem negativen Logarithmus oder einem Logarithmus von null ergibt eine negative Zahl oder null. Die Summe dieser Werte ergibt nach der Vorzeichenumkehr immer ein Ergebnis von null oder mehr.

Maximal mögliche Entropie

Bei einem Datensatz mit n verschiedenen Werten ist die Entropie am höchsten, wenn jeder Wert gleich häufig vorkommt. Shannon zeigte, dass dieses Maximum log(n) beträgt, bei einer Messung in Bit also log₂(n). Ein Datensatz mit 4 gleich häufigen verschiedenen Werten kann höchstens 2 Bit Entropie erreichen, denn log₂(4) = 2. Jede ungleichmäßige Verteilung derselben 4 Werte ergibt eine niedrigere Entropie.

So wird die Entropie berechnet: Schritt für Schritt

1. Listen Sie die verschiedenen Werte auf und zählen Sie, wie oft jeder im Datensatz vorkommt.
2. Teilen Sie jede Anzahl durch die Gesamtzahl der Werte, um die Wahrscheinlichkeit jedes verschiedenen Werts zu erhalten.
3. Berechnen Sie den Logarithmus zur Basis 2 jeder Wahrscheinlichkeit und multiplizieren Sie ihn anschließend mit derselben Wahrscheinlichkeit.
4. Addieren Sie alle diese Produkte und multiplizieren Sie die Summe anschließend mit −1.

Dieser Rechner führt dieselben vier Schritte automatisch aus. Zahlen werden durch Leerzeichen oder Kommas getrennt in das Eingabefeld eingegeben, anschließend wird das passende Format ausgewählt. Entropie, Wahrscheinlichkeitstabelle und Balkendiagramm erscheinen sofort. Eine Tabelle unter dem Ergebnis zeigt für jede verschiedene Zahl den Wert, die Anzahl, die Wahrscheinlichkeit und p(x) × log₂(p(x)), sodass der Rechenweg und nicht nur das Endergebnis sichtbar ist.

Eingaberegeln

• Es werden nur numerische Werte akzeptiert: Ganze Zahlen, Dezimalzahlen, negative Zahlen und wissenschaftliche Notation wie 1e3 funktionieren alle.
• Werte werden je nach ausgewähltem Format durch Leerzeichen (Beispiel: 1 2 3 4) oder durch Kommas (Beispiel: 1,2,3,4) getrennt.
• Ein Datensatz kann bis zu 100.000 Werte enthalten. Bei einer größeren Anzahl wird eine Fehlermeldung ausgegeben, die zur Eingabe eines kleineren Datensatzes auffordert.
• Text, Symbole oder leere Einträge zwischen Trennzeichen werden mit einer Fehlermeldung abgelehnt, statt stillschweigend ignoriert zu werden.

Durchgerechnetes Beispiel

Betrachten wir den Datensatz 1 2 3 1 2 1 mit sechs Zahlen.

Zuerst wird jeder eindeutige Wert gezählt:

Anschließend wird die Formel auf jede Zeile angewendet und die Ergebnisse werden addiert:

$H = -(0.5 \log_2 0.5 + 0.3333 \log_2 0.3333 + 0.1667 \log_2 0.1667)$ $H = -(0.5 \times -1 + 0.3333 \times -1.585 + 0.1667 \times -2.585)$ $H \approx 1.4591 \text{ Bits}$

Der Datensatz hat 3 eindeutige Werte, daher beträgt die höchstmögliche Entropie log₂(3) ≈ 1,585 Bits. Das tatsächliche Ergebnis von 1,4591 Bits liegt darunter, weil der Wert 1 häufiger vorkommt als die anderen. Dadurch ist der Datensatz etwas weniger zufällig als bei einer vollkommen gleichmäßigen Verteilung.

Ein Datensatz ohne Ungewissheit

Der Datensatz 5 5 5 5 5 enthält nur einen eindeutigen Wert, daher beträgt seine Wahrscheinlichkeit 1. Da log₂(1) = 0 ist, ist jeder Summand null und die Entropie beträgt genau 0 Bits. Bei einem Datensatz, in dem jeder Wert identisch ist, gibt es keine Ungewissheit.

Das Ergebnis verstehen

• Eine Entropie nahe 0 bedeutet, dass die Daten sich wiederholen und vorhersehbar sind. Ein oder wenige Werte dominieren.
• Eine Entropie nahe log₂(n), wobei n die Anzahl der eindeutigen Werte ist, bedeutet, dass die Daten nahezu gleichmäßig auf alle eindeutigen Werte verteilt sind.
• Eine Entropie von genau 0 bedeutet, dass jeder Wert im Datensatz gleich ist.

Die Entropie allein sagt nicht aus, ob ein Datensatz „gut“ oder „schlecht“ ist. Ein Passwortgenerator benötigt eine hohe Entropie, weil das Passwort dadurch schwer zu erraten ist. Ein Sensor, der eine konstante Temperatur messen soll, benötigt eine niedrige Entropie, weil dies auf einen stabilen Messwert hindeutet.

Anwendungen der Shannon-Entropie

• Maschinelles Lernen: Algorithmen für Entscheidungsbäume verwenden die Entropie, um zu bestimmen, welches Merkmal einen Datensatz am besten in vorhersehbare Gruppen aufteilt.
• Datenkompression: Die Entropie legt die theoretische Grenze dafür fest, wie stark eine Datei ohne Informationsverlust komprimiert werden kann.
• Kryptografie: Die Entropie misst, wie unvorhersehbar ein Passwort oder ein kryptografischer Schlüssel ist.
• Genetik: Die Entropie kann ungewöhnliche oder stark variable Bereiche in einer DNA-Sequenz sichtbar machen.
• Textanalyse: Wenn Buchstaben oder Wörter als „Werte“ behandelt werden, kann die Entropie messen, wie vorhersehbar ein Textabschnitt ist.

Häufig gestellte Fragen

Was ist Entropie in der Informationstheorie? Sie ist eine Zahl, die misst, wie ungewiss oder unvorhersehbar ein Datensatz ist. Sie wird aus den Wahrscheinlichkeiten jedes verschiedenen Werts in den Daten berechnet, nicht aus den Werten selbst.

Wie berechnet man die Shannon-Entropie von Hand? Zählen Sie, wie oft jeder verschiedene Wert vorkommt, teilen Sie jede Anzahl durch die Gesamtzahl, um die Wahrscheinlichkeiten zu erhalten, multiplizieren Sie jede Wahrscheinlichkeit mit ihrem Logarithmus zur Basis 2, addieren Sie die Ergebnisse und multiplizieren Sie die Summe mit −1.

Kann die Entropie negativ sein? Nein. Der niedrigste mögliche Wert beträgt 0 Bits und tritt auf, wenn jeder Wert im Datensatz identisch ist.

Wie hoch ist die maximale Entropie eines Datensatzes? Das Maximum beträgt log₂(n) Bits, wobei n die Anzahl der verschiedenen Werte ist. Es tritt nur auf, wenn jeder verschiedene Wert gleich häufig vorkommt.

Gibt es eine Begrenzung für die Datensatzgröße? Ja. Dieser Rechner akzeptiert bis zu 100.000 Werte in einem einzelnen Datensatz. Größere Eingaben führen zu einem Fehler.

Wie unterscheidet sich die Entropie von der Varianz? Die Varianz misst, wie stark numerische Werte um ihren Mittelwert streuen. Die Entropie misst, wie unvorhersehbar das Muster der Ergebnisse ist, und basiert ausschließlich auf Wahrscheinlichkeiten – unabhängig von der tatsächlichen Größe der Zahlen.

Referenzen

1. Shannon, C. E. A Mathematical Theory of Communication. Bell System Technical Journal, 1948 (Nachdruck der Harvard University). harvard.edu — der Ursprung der Informationstheorie von 1948, die Einheit Bit ("bits") zur Basis 2 sowie andere Basen, Entropie null nur bei einem sicheren Ergebnis und das Maximum log(n) bei gleichen Wahrscheinlichkeiten.