字符频率分析与可视化工具

什么是字符频率分析？

字符频率分析是统计一段文本中每个字符出现次数的过程。它涵盖文本中的字母、数字、空格、标点符号以及其他任何符号。结果是一张简单的表格或图表：一个字符对应一个计数。

此工具会自动统计粘贴或输入其中的任意文本中的每个字符。它将计数绘制成条形图，因此最常见的字符一眼就能看出。将指针移到某个条形上或点击该条形，会显示该字符的确切计数。

这种技术由来已久。阿拉伯学者阿尔·肯迪在9世纪将其描述为破解简单密码的一种方法。如今，它还用于数据压缩、拼写和编码检查，以及基本的语言识别。

如何计算字符频率

手工计算字符频率需要经过三个步骤：

逐个检查文本中的字符，包括空格和标点符号。
为每个不同的字符持续计数。新字符从1开始；重复出现的字符在已有计数上增加1。
列出每个字符及其最终计数。

此工具使用一种称为哈希映射的数据结构（在键下存储值的查找表）自动完成同样的操作。对于文本中的每个字符，它都会检查映射中是否已有该字符的条目。如果有，工具就在存储的计数上增加1。如果没有，就创建一个计数为1的新条目。这种方法恰好访问每个字符一次，因此所需时间与文本长度成正比，而不会增长得更快。

统计完成后，工具按字符的字母顺序列出结果。目前，它不提供按计数排序的选项。

以百分比表示字符频率

仅比较计数很难比较不同长度的文本。因此，频率通常表示为字符总数的百分比：

$f(c) = \frac{n_c}{N} \times 100\%$

这里， $n_c$ 表示字符 $c$ 出现的次数， $N$ 表示文本中的字符总数。此工具报告原始计数和字符总数，而不提供百分比列；但可以将某个字符的计数除以总数，再乘以100，计算出该字符的百分比。

计算示例

以单词“mississippi”为例，它包含11个字符，且没有空格或标点符号。

统计每个字母后得到：

字符	计数	百分比
i	4	36.4%
m	1	9.1%
p	2	18.2%
s	4	36.4%

表格按字母顺序（i、m、p、s）排序，与此工具排列结果的方式一致。计数之和为11，即该单词的总长度。要得到百分比列，每个计数都要除以11，再乘以100；例如，4 ÷ 11 × 100 ≈ 36.4%。

如何使用此工具

在输入框中输入或粘贴文本。工具会立即进行分析，无需按下按钮。文本发生变化时，字符列表和条形图也会相应更新。

结果区域会显示：

每个字符对应一个条形的条形图。条形越高，表示该字符出现得越频繁。
文本中的字符总数，包括空格和标点符号。
一次显示一个字符的确切计数，方法是将指针移到其条形上或点击该条形。

“复制”按钮会将结果整理为纯文本，每行包含一个字符及其计数，便于粘贴到电子表格或文档中。在此输出中，空格会标记为“space”，以免被误认为空白行。

在普通英语文本中，E、T、A、O 和 I 等字母通常位居最常见字符之列。如果 Q 或 Z 等罕见字母出现得异常频繁，文本可能经过编码或加密，也可能使用了另一种语言。

字符频率分析的用途

破解替换密码

替换密码使用同一种替换规则，将消息中的每个字母替换为另一个字母或符号。由于替换保持一致，原语言的频率模式会保留在加密文本中。在英语中，字母 E 出现的比例接近12–13%。如果密文中的某个符号以大约这一比例出现，它很可能代表 E。在现代加密技术使这种方法除了破解谜题和历史文献之外不再适用之前，几个世纪以来它一直是破解替换密码的主要方法。

数据压缩

ZIP 和 GZIP 等压缩格式通过一种称为霍夫曼编码的方法利用字符频率。出现频率高的字符使用较短的二进制编码，罕见字符使用较长的编码。由于常见字符每次出现所占空间更少，整个文件会缩小，同时不会丢失任何信息。

发现编码问题

如果文本显示出奇怪且意外的字符（例如本应显示“é”的地方出现“Ã©”），通常说明文件保存时使用的字符编码与读取时使用的编码不匹配。频率图中如果奇怪符号出现异常峰值，而不是常见字母出现峰值，也可以帮助确认存在编码问题。

语言识别

不同语言具有不同的典型字符分布。英语中 E、T 和 A 较为常见。德语中 E 和 N 的出现次数要高得多，还有英语中完全没有的 ä、ö 和 ü 等字母。将文本的字符频率与已知语言的特征进行比较，可以快速粗略地猜测文本所使用的语言。

写作风格与作者身份

由于作者在标点符号和字母使用方面往往具有稳定习惯，字符层面的模式可以作为识别作者身份的一小部分证据。单凭字符频率很少能证明某段文字出自谁手；将其与用词、句子长度及其他风格标记结合使用，效果最好。

其他文本分析方法

字符频率并不是分析文本的唯一方法。

词频统计完整的单词，而不是字符。它更接近文本含义，常用于关键词研究和主题分析。
N-gram 分析考察字符或单词组成的短序列，例如二元组或三元组。预测键盘和自动补全功能会利用这种方法猜测下一个字母或单词。
情感分析判断文本表达的情绪是积极、消极还是中性，所用方法远不止简单计数。
可读性分析（例如弗莱施-金凯德评分）根据句子和单词长度估计文本的阅读难度。

常见问题

字符频率分析能告诉你什么？

它显示文本中每个字符出现的频率。阅读分析结果可以发现对密码学、压缩、编码错误检测或文本语言猜测有用的模式。

此工具如何对结果排序？

它按字母顺序排列字符。目前没有按计数排序的选项。要找出最常见和最不常见的字符，必须查看条形图，或扫描复制文本中的计数。

此工具会显示百分比吗？

不会。它报告每个字符的原始计数和字符总数。将某个字符的计数除以总数，再乘以100，即可计算百分比。

字符频率分析能破解现代加密吗？

不能。它只适用于简单的替换密码，即一个字符始终代表同一个替换字符。AES 等现代加密会生成没有这种一致模式的输出，因此频率计数无法揭示原始消息的任何信息。

此工具会统计空格和标点符号吗？

会。输入中的每个字符都会被统计，包括空格、制表符、换行符和标点符号。在普通文本中，空格通常是出现次数最多的单个字符。

需要多少文本才能得到可靠的模式？

几百个字符是较为合理的最低数量。文本过短时，频率可能纯粹由于偶然而与预期模式相差很大。较长的样本（达到一千个字符或更多）通常会更接近已知语言模式。

参考文献

MDN Web Docs：Map ——关于用于高效统计字符的哈希映射数据结构的文档。
Shannon, C. E.（1951）。“Prediction and entropy of printed English.” The Bell System Technical Journal，30（1），50-64。
Huffman, D. A.（1952）。“A Method for the Construction of Minimum-Redundancy Codes.” Proceedings of the IRE，40（9），1098-1101。
Huffman Coding — Wikipedia

字符频率分析与可视化工具