Zeichenhäufigkeitsanalyse & Visualisierungstool

Was ist eine Zeichenhäufigkeitsanalyse?

Eine Zeichenhäufigkeitsanalyse ist das Zählen, wie oft jedes Zeichen in einem Text vorkommt. Dazu gehören Buchstaben, Ziffern, Leerzeichen, Satzzeichen und alle anderen Symbole im Text. Das Ergebnis ist eine einfache Tabelle oder ein Diagramm: ein Zeichen, eine Anzahl.

Dieses Tool nimmt beliebigen eingefügten oder eingegebenen Text entgegen und zählt automatisch jedes Zeichen. Es erstellt ein Balkendiagramm der Häufigkeiten, sodass die häufigsten Zeichen sofort auffallen. Wenn man auf einen Balken zeigt oder tippt, wird die genaue Anzahl dieses Zeichens angezeigt.

Die Methode ist alt. Der arabische Gelehrte Al-Kindi beschrieb sie im 9. Jahrhundert als Möglichkeit, einfache Verschlüsselungen zu brechen. Heute wird sie auch bei der Datenkompression, bei der Prüfung von Rechtschreibung und Zeichencodierung sowie bei der grundlegenden Spracherkennung eingesetzt.

So wird die Zeichenhäufigkeit berechnet

Die manuelle Berechnung der Zeichenhäufigkeit erfolgt in drei Schritten:

1. Den Text Zeichen für Zeichen durchgehen, einschließlich Leerzeichen und Satzzeichen.
2. Für jedes unterschiedliche Zeichen eine laufende Zählung führen. Ein neues Zeichen beginnt bei 1; ein wiederholtes Zeichen erhöht seine bestehende Zählung um 1.
3. Jedes Zeichen mit seiner endgültigen Anzahl auflisten.

Dieses Tool führt dasselbe automatisch aus und verwendet dafür eine Datenstruktur namens Hashmap (eine Nachschlagetabelle, die einen Wert unter einem Schlüssel speichert). Für jedes Zeichen im Text prüft es, ob dieses Zeichen bereits einen Eintrag in der Map hat. Falls ja, erhöht das Tool die gespeicherte Anzahl um 1. Falls nicht, erstellt es einen neuen Eintrag mit der Anzahl 1. Diese Methode verarbeitet jedes Zeichen genau einmal. Daher wächst die benötigte Zeit direkt proportional zur Textlänge und nicht schneller.

Nach dem Zählen listet das Tool die Ergebnisse alphabetisch nach Zeichen auf. Eine Option zur Sortierung nach Anzahl gibt es derzeit nicht.

Zeichenhäufigkeit als Prozentsatz

Einzelne Zählwerte lassen sich bei Texten unterschiedlicher Länge nur schwer vergleichen. Deshalb wird die Häufigkeit oft als Prozentsatz der Gesamtzahl der Zeichen angegeben:

$f(c) = \frac{n_c}{N} \times 100\%$

Dabei gibt $n_c$ an, wie oft das Zeichen $c$ vorkommt, und $N$ ist die Gesamtzahl der Zeichen im Text. Dieses Tool gibt die absoluten Zählwerte und die Gesamtzahl der Zeichen aus, jedoch keine Prozentspalte. Der Prozentsatz für ein beliebiges Zeichen lässt sich berechnen, indem man seine Anzahl durch die Gesamtzahl teilt und mit 100 multipliziert.

Durchgerechnetes Beispiel

Betrachten wir das Wort „mississippi“, das 11 Zeichen und keine Leer- oder Satzzeichen enthält.

Beim Zählen jedes Buchstabens ergibt sich:

Die Tabelle ist alphabetisch sortiert (i, m, p, s) und entspricht damit der Reihenfolge, in der dieses Tool seine Ergebnisse anordnet. Die Zählwerte ergeben zusammen 11, die Gesamtlänge des Wortes. Für die Prozentspalte wurde jede Anzahl durch 11 geteilt und mit 100 multipliziert, zum Beispiel 4 ÷ 11 × 100 ≈ 36,4 %.

So wird dieses Tool verwendet

Text in das Eingabefeld eingeben oder einfügen. Das Tool analysiert ihn sofort; ein zu betätigender Button ist nicht erforderlich. Während sich der Text ändert, werden die Zeichenliste und das Balkendiagramm entsprechend aktualisiert.

Der Ergebnisbereich zeigt:

• Ein Balkendiagramm mit einem Balken pro Zeichen. Höhere Balken bedeuten, dass das Zeichen häufiger vorkommt.
• Die Gesamtzahl der Zeichen im Text, einschließlich Leerzeichen und Satzzeichen.
• Die genaue Anzahl für jeweils ein Zeichen, die angezeigt wird, wenn man auf dessen Balken zeigt oder tippt.

Ein „Kopieren“-Button formatiert die Ergebnisse als Klartext, mit jeweils einem Zeichen und seiner Anzahl pro Zeile, sodass sie direkt in eine Tabellenkalkulation oder ein Dokument eingefügt werden können. Leerzeichen werden in dieser Ausgabe mit „Leerzeichen“ bezeichnet, damit sie nicht mit leeren Zeilen verwechselt werden.

In gewöhnlichen englischen Texten gehören Buchstaben wie E, T, A, O und I normalerweise zu den häufigsten. Ein Text, in dem seltene Buchstaben wie Q oder Z ungewöhnlich oft vorkommen, könnte codiert, verschlüsselt oder in einer anderen Sprache verfasst sein.

Anwendungsbereiche der Zeichenhäufigkeitsanalyse

Brechen von Substitutionschiffren

Eine Substitutionschiffre ersetzt jeden Buchstaben einer Nachricht durch einen anderen Buchstaben oder ein anderes Symbol und verwendet dabei überall dieselbe Ersetzung. Da die Ersetzung gleich bleibt, überlebt das Häufigkeitsmuster der ursprünglichen Sprache im verschlüsselten Text. Im Englischen kommt der Buchstabe E in ungefähr 12–13% der Fälle vor. Wenn ein Symbol im Geheimtext ungefähr so häufig erscheint, ist es ein aussichtsreicher Kandidat für die Ersetzung von E. Diese Methode wurde über Jahrhunderte hauptsächlich zum Brechen von Substitutionschiffren verwendet, bevor moderne Verschlüsselung sie für alles außer Rätseln und historischen Dokumenten überflüssig machte.

Datenkompression

Kompressionsformate wie ZIP und GZIP nutzen die Zeichenhäufigkeit über ein Verfahren namens Huffman-Codierung. Häufig vorkommende Zeichen erhalten kurze Binärcodes, seltene Zeichen längere. Da häufige Zeichen pro Vorkommen weniger Speicherplatz benötigen, wird die gesamte Datei kleiner, ohne Informationen zu verlieren.

Erkennen von Codierungsproblemen

Text, der ungewöhnliche, unerwartete Zeichen anzeigt (etwa „é“ an der Stelle von „é“), weist oft auf eine Unstimmigkeit zwischen der Zeichencodierung hin, mit der eine Datei gespeichert wurde, und derjenigen, die zum Lesen verwendet wird. Ein Häufigkeitsdiagramm mit einem ungewöhnlichen Ausschlag bei fremdartigen Symbolen statt bei häufigen Buchstaben kann helfen, ein Codierungsproblem zu bestätigen.

Spracherkennung

Verschiedene Sprachen haben unterschiedliche typische Zeichenverteilungen. Im Englischen sind E, T und A häufig. Im Deutschen kommen E und N wesentlich häufiger vor; außerdem gibt es Buchstaben wie ä, ö und ü, die im Englischen überhaupt nicht vorkommen. Der Vergleich der Zeichenhäufigkeiten eines Textes mit bekannten Sprachprofilen bietet eine schnelle, grobe Möglichkeit, seine Sprache zu vermuten.

Schreibstil und Urheberschaft

Da Schreibende meist gleichbleibende Gewohnheiten bei Satzzeichen und der Verwendung von Buchstaben haben, können Muster auf Zeichenebene als ein kleiner Teil der Belege für die Bestimmung der Urheberschaft dienen. Die Zeichenhäufigkeit allein beweist nur selten, wer etwas geschrieben hat; am besten funktioniert sie zusammen mit Wortwahl, Satzlänge und anderen stilistischen Merkmalen.

Andere Methoden der Textanalyse

Die Zeichenhäufigkeit ist nicht die einzige Möglichkeit, Text zu analysieren.

• Worthäufigkeit zählt ganze Wörter statt Zeichen. Sie steht der Bedeutung eines Textes näher und wird häufig bei der Keyword-Recherche und Themenanalyse eingesetzt.
• Die N-Gramm-Analyse betrachtet kurze Folgen von Zeichen oder Wörtern, etwa Zweier- oder Dreierfolgen. Tastaturen mit Wortvorhersage und automatische Vervollständigung nutzen dies, um den nächsten Buchstaben oder das nächste Wort zu erraten.
• Die Sentimentanalyse beurteilt, ob ein Text positiv, negativ oder neutral klingt, und verwendet dafür Methoden, die weit über einfaches Zählen hinausgehen.
• Die Lesbarkeitsanalyse, etwa anhand des Flesch-Kincaid-Werts, schätzt auf Grundlage der Satz- und Wortlänge, wie schwer ein Text zu lesen ist.

Häufig gestellte Fragen

Was sagt eine Zeichenhäufigkeitsanalyse aus?

Sie zeigt, wie oft jedes Zeichen in einem Text vorkommt. Die Auswertung kann für Kryptografie und Kompression nützliche Muster sichtbar machen, Codierungsfehler aufdecken oder Hinweise auf die Sprache eines Textes geben.

Wie sortiert dieses Tool die Ergebnisse?

Es sortiert die Zeichen alphabetisch. Eine Sortierung nach Anzahl ist nicht möglich. Die häufigsten und seltensten Zeichen müssen im Balkendiagramm abgelesen oder durch Durchsehen der Zählwerte im kopierten Text ermittelt werden.

Zeigt das Tool Prozentsätze an?

Nein. Es gibt die absolute Anzahl für jedes Zeichen und die Gesamtzahl der Zeichen aus. Ein Prozentsatz lässt sich berechnen, indem man die Anzahl eines Zeichens durch die Gesamtzahl teilt und mit 100 multipliziert.

Kann eine Zeichenhäufigkeitsanalyse moderne Verschlüsselungen brechen?

Nein. Sie funktioniert nur bei einfachen Substitutionschiffren, bei denen ein Zeichen immer für dasselbe Ersatzzeichen steht. Moderne Verschlüsselungsverfahren wie AES erzeugen eine Ausgabe ohne ein solches gleichbleibendes Muster, sodass Häufigkeitszählungen nichts über die ursprüngliche Nachricht verraten.

Zählt das Tool Leerzeichen und Satzzeichen?

Ja. Jedes Zeichen der Eingabe wird gezählt, einschließlich Leerzeichen, Tabulatoren, Zeilenumbrüchen und Satzzeichen. Leerzeichen sind in gewöhnlichen Texten oft das einzelne häufigste Zeichen.

Wie viel Text wird für zuverlässige Muster benötigt?

Einige hundert Zeichen sind ein sinnvoller Mindestwert. Bei sehr kurzen Texten können die Häufigkeiten allein durch Zufall stark vom erwarteten Muster abweichen. Längere Stichproben mit tausend oder mehr Zeichen entsprechen meist eher den bekannten Sprachmustern.

Referenzen

1. MDN Web Docs: Map — Dokumentation zur Hashmap-Datenstruktur, die zum effizienten Zählen von Zeichen verwendet wird.
2. Shannon, C. E. (1951). „Prediction and entropy of printed English.“ The Bell System Technical Journal, 30(1), 50-64.
3. Huffman, D. A. (1952). „A Method for the Construction of Minimum-Redundancy Codes.“ Proceedings of the IRE, 40(9), 1098-1101.
4. Huffman-Codierung — Wikipedia