Entropie-Rechner - Shannon-Entropie Online Kostenlos Berechnen

Was ist ein Entropierechner?

Ein Entropierechner ermittelt die Shannon-Entropie einer Zahlenmenge. Die Shannon-Entropie ist ein Maß dafür, wie unvorhersehbar ein Datensatz ist. Ein Datensatz, in dem jeder Wert gleich ist, hat die Entropie null, weil nichts ungewiss ist. Ein Datensatz, in dem jeder Wert mit gleicher Wahrscheinlichkeit auftritt, hat für seine Größe die höchstmögliche Entropie.

Die Idee stammt aus der Informationstheorie, einem von dem amerikanischen Mathematiker Claude Shannon im Jahr 1948 begründeten Fachgebiet. Shannon wollte messen, wie viel Information eine Nachricht enthält. Er definierte die Entropie als die durchschnittliche Menge an „Überraschung“ in einer Folge von Symbolen. Dieselbe Formel wird heute in der Datenwissenschaft, der Kryptografie, der Biologie und beim maschinellen Lernen verwendet – überall dort, wo die Zufälligkeit einer Menge von Ergebnissen gemessen werden soll.

Formel der Shannon-Entropie

Für einen Datensatz mit eindeutigen Werten x₁ bis xₙ, von denen jeder mit der Wahrscheinlichkeit p(xᵢ) auftritt, lautet die Shannon-Entropie H:

$H(X) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i)$

In Worten: Für jeden eindeutigen Wert wird seine Wahrscheinlichkeit mit dem Logarithmus zur Basis 2 dieser Wahrscheinlichkeit multipliziert. Anschließend werden alle diese Produkte addiert und das Vorzeichen umgekehrt. Das Ergebnis ist immer null oder positiv.

Dieser Rechner verwendet immer Logarithmen zur Basis 2, daher wird das Ergebnis in Bits angegeben. Für andere Zwecke gibt es weitere Basen: Der natürliche Logarithmus ergibt die Einheit Nat, und die Basis 10 ergibt die Einheit Hartley. Bits sind die Standardeinheit in der Informatik und der Informationstheorie, weshalb dieser Rechner bei der Basis 2 bleibt.

Warum das Ergebnis nicht negativ sein kann

Jede Wahrscheinlichkeit p(xᵢ) liegt zwischen 0 und 1, daher ist ihr Logarithmus null oder negativ. Die Multiplikation einer Wahrscheinlichkeit mit einem negativen oder nullen Logarithmus ergibt eine negative oder nullte Zahl. Die Summe dieser Werte ergibt nach der Vorzeichenumkehr immer ein Ergebnis von null oder mehr.

Maximale mögliche Entropie

Bei einem Datensatz mit n eindeutigen Werten ist die Entropie am höchsten, wenn jeder Wert gleich häufig auftritt. Dieses Maximum entspricht log₂(n) Bits. Ein Datensatz mit 4 gleich häufigen eindeutigen Werten kann höchstens eine Entropie von 2 Bits erreichen, da log₂(4) = 2. Jede ungleichmäßige Verteilung derselben 4 Werte ergibt eine niedrigere Entropie.

So wird die Entropie berechnet: Schritt für Schritt

1. Die eindeutigen Werte auflisten und zählen, wie oft jeder im Datensatz vorkommt.
2. Jede Anzahl durch die Gesamtzahl der Werte teilen, um die Wahrscheinlichkeit jedes eindeutigen Werts zu erhalten.
3. Den Logarithmus zur Basis 2 jeder Wahrscheinlichkeit berechnen und ihn anschließend mit derselben Wahrscheinlichkeit multiplizieren.
4. Alle diese Produkte addieren und die Summe anschließend mit −1 multiplizieren.

Dieser Rechner führt dieselben vier Schritte automatisch aus. Zahlen werden durch Leerzeichen oder Kommas getrennt in das Eingabefeld eingegeben, anschließend wird das passende Format ausgewählt. Entropie, Wahrscheinlichkeitstabelle und Balkendiagramm erscheinen sofort. Eine Tabelle unter dem Ergebnis zeigt für jede eindeutige Zahl den Wert, die Anzahl, die Wahrscheinlichkeit und p(x) × log₂(p(x)), sodass der Rechenweg und nicht nur das Endergebnis sichtbar ist.

Eingaberegeln

• Es werden nur numerische Werte akzeptiert: Ganze Zahlen, Dezimalzahlen und negative Zahlen funktionieren gleichermaßen.
• Werte werden je nach ausgewähltem Format durch Leerzeichen (Beispiel: 1 2 3 4) oder durch Kommas (Beispiel: 1,2,3,4) getrennt.
• Ein Datensatz kann bis zu 100.000 Werte enthalten. Bei einer größeren Anzahl wird eine Fehlermeldung ausgegeben, die zur Eingabe eines kleineren Datensatzes auffordert.
• Die wissenschaftliche Schreibweise wird akzeptiert, daher wird 1e3 als 1000 gelesen.
• Text, Symbole oder leere Einträge zwischen Trennzeichen werden mit einer Fehlermeldung abgelehnt, statt stillschweigend ignoriert zu werden.
• Eine für einen Computer zu große Zahl, etwa 1e400, wird ebenfalls abgelehnt. Der größte Wert, den der Rechner speichern kann, beträgt etwa 1,8 x 10^308.

Beispielrechnung

Betrachten wir den Datensatz 1 2 3 1 2 1 mit sechs Zahlen.

Zuerst wird jeder eindeutige Wert gezählt:

Anschließend wird die Formel auf jede Zeile angewendet und die Ergebnisse werden addiert:

$H = -(0.5 \log_2 0.5 + 0.3333 \log_2 0.3333 + 0.1667 \log_2 0.1667)$ $H = -(0.5 \times -1 + 0.3333 \times -1.585 + 0.1667 \times -2.585)$ $H \approx 1.4591 \text{ Bits}$

Der Datensatz hat 3 eindeutige Werte, daher beträgt die höchstmögliche Entropie log₂(3) ≈ 1,585 Bits. Das tatsächliche Ergebnis von 1,4591 Bits liegt darunter, weil der Wert 1 häufiger vorkommt als die anderen. Dadurch ist der Datensatz etwas weniger zufällig als bei einer vollkommen gleichmäßigen Verteilung.

Ein Datensatz ohne Ungewissheit

Der Datensatz 5 5 5 5 5 enthält nur einen eindeutigen Wert, daher beträgt seine Wahrscheinlichkeit 1. Da log₂(1) = 0 ist, ist jeder Summand null und die Entropie beträgt genau 0 Bits. Bei einem Datensatz, in dem jeder Wert identisch ist, gibt es keine Ungewissheit.

Das Ergebnis verstehen

• Eine Entropie nahe 0 bedeutet, dass die Daten sich wiederholen und vorhersehbar sind. Ein oder wenige Werte dominieren.
• Eine Entropie nahe log₂(n), wobei n die Anzahl der eindeutigen Werte ist, bedeutet, dass die Daten nahezu gleichmäßig auf alle eindeutigen Werte verteilt sind.
• Eine Entropie von genau 0 bedeutet, dass jeder Wert im Datensatz gleich ist.

Die Entropie allein sagt nicht aus, ob ein Datensatz „gut“ oder „schlecht“ ist. Ein Passwortgenerator benötigt eine hohe Entropie, weil das Passwort dadurch schwer zu erraten ist. Ein Sensor, der eine konstante Temperatur messen soll, benötigt eine niedrige Entropie, weil dies auf einen stabilen Messwert hindeutet.

Anwendungen der Shannon-Entropie

• Maschinelles Lernen: Algorithmen für Entscheidungsbäume verwenden die Entropie, um zu bestimmen, welches Merkmal einen Datensatz am besten in vorhersehbare Gruppen aufteilt.
• Datenkompression: Die Entropie legt die theoretische Grenze dafür fest, wie stark eine Datei ohne Informationsverlust komprimiert werden kann.
• Kryptografie: Die Entropie misst, wie unvorhersehbar ein Passwort oder ein kryptografischer Schlüssel ist.
• Genetik: Die Entropie kann ungewöhnliche oder stark variable Bereiche in einer DNA-Sequenz sichtbar machen.
• Textanalyse: Wenn Buchstaben oder Wörter als „Werte“ behandelt werden, kann die Entropie messen, wie vorhersehbar ein Textabschnitt ist.

Häufig gestellte Fragen

Was ist Entropie in der Informationstheorie? Sie ist eine Zahl, die misst, wie ungewiss oder unvorhersehbar ein Datensatz ist. Sie wird aus den Wahrscheinlichkeiten jedes eindeutigen Werts in den Daten berechnet, nicht aus den Werten selbst.

Wie berechnet man die Shannon-Entropie von Hand? Zählen Sie, wie oft jeder eindeutige Wert vorkommt, teilen Sie jede Anzahl durch die Gesamtzahl, um die Wahrscheinlichkeiten zu erhalten, multiplizieren Sie jede Wahrscheinlichkeit mit ihrem Logarithmus zur Basis 2, addieren Sie die Ergebnisse und multiplizieren Sie die Summe mit −1.

Kann die Entropie negativ sein? Nein. Der niedrigste mögliche Wert beträgt 0 Bits und tritt auf, wenn jeder Wert im Datensatz identisch ist.

Wie hoch ist die maximale Entropie eines Datensatzes? Das Maximum beträgt log₂(n) Bits, wobei n die Anzahl der eindeutigen Werte ist. Es tritt nur auf, wenn jeder eindeutige Wert gleich häufig vorkommt.

Gibt es eine Begrenzung für die Datensatzgröße? Ja. Dieser Rechner akzeptiert bis zu 100.000 Werte in einem einzelnen Datensatz. Größere Eingaben führen zu einem Fehler.

Wie unterscheidet sich die Entropie von der Varianz? Die Varianz misst, wie stark numerische Werte um ihren Mittelwert streuen. Die Entropie misst, wie unvorhersehbar das Muster der Ergebnisse ist, und basiert ausschließlich auf Wahrscheinlichkeiten – unabhängig von der tatsächlichen Größe der Zahlen.

Referenzen

1. Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379–423.
2. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2. Aufl.). Wiley-Interscience.
3. MacKay, D. J. C. (2003). Information Theory, Inference, and Learning Algorithms. Cambridge University Press.