Инструмент анализа и визуализации частоты символов

Что такое частотный анализ символов?

Частотный анализ символов — это подсчёт того, сколько раз каждый символ встречается в тексте. Он охватывает буквы, цифры, пробелы, знаки препинания и любые другие символы текста. Результат представляет собой простую таблицу или диаграмму: один символ — одно количество.

Этот инструмент принимает любой вставленный или введённый текст и автоматически подсчитывает каждый символ. Он строит столбчатую диаграмму частот, поэтому наиболее распространённые символы сразу заметны. При наведении указателя на столбец или нажатии на него отображается точное количество вхождений соответствующего символа.

Этот метод известен давно. Арабский учёный Аль-Кинди описал его в 9 веке как способ взлома простых шифров. Сегодня его также применяют для сжатия данных, проверки написания и кодировки, а также для базового определения языка.

Как вычислить частоту символов

Ручной подсчёт частоты символов состоит из трёх шагов:

1. Просматривайте текст посимвольно, включая пробелы и знаки препинания.
2. Ведите текущий подсчёт для каждого отдельного символа. Новый символ получает значение 1; при повторном появлении символа к его текущему значению добавляется 1.
3. Составьте список всех символов с их итоговыми значениями.

Этот инструмент выполняет ту же операцию автоматически, используя структуру данных под названием «хеш-таблица» (таблица поиска, которая хранит значение по ключу). Для каждого символа текста он проверяет, есть ли этот символ в таблице. Если есть, инструмент добавляет 1 к сохранённому счётчику. Если нет, он создаёт новую запись со значением 1. Этот метод обрабатывает каждый символ ровно один раз, поэтому время работы растёт прямо пропорционально длине текста, а не быстрее.

После подсчёта инструмент выводит результаты в алфавитном порядке символов. Возможности сортировать их по количеству пока нет.

Частота символов в процентах

Сами по себе количества могут быть сложны для сравнения в текстах разной длины. Поэтому частоту часто выражают в виде процента от общего количества символов:

$f(c) = \frac{n_c}{N} \times 100\%$

Здесь $n_c$ — количество вхождений символа $c$, а $N$ — общее количество символов в тексте. Этот инструмент показывает исходные количества и общее количество символов, но не отдельный столбец с процентами. Процент для любого символа можно вычислить, разделив его количество на общее количество и умножив на 100.

Пример расчёта

Рассмотрим слово «mississippi», состоящее из 11 символов без пробелов и знаков препинания.

Подсчёт каждой буквы даёт следующие результаты:

Таблица отсортирована в алфавитном порядке (i, m, p, s), как и результаты этого инструмента. Сумма количеств равна 11 — общей длине слова. Чтобы получить столбец с процентами, каждое количество делят на 11 и умножают на 100; например, 4 ÷ 11 × 100 ≈ 36,4 %.

Как пользоваться этим инструментом

Введите или вставьте текст в поле ввода. Инструмент анализирует его сразу, без нажатия кнопки. При изменении текста список символов и столбчатая диаграмма обновляются соответствующим образом.

В разделе результатов отображаются:

• Столбчатая диаграмма с одним столбцом для каждого символа. Чем выше столбец, тем чаще встречается символ.
• Общее количество символов в тексте, включая пробелы и знаки препинания.
• Точное количество для каждого символа, отображаемое при наведении указателя на его столбец или нажатии на него.

Кнопка «Copy» форматирует результаты как обычный текст: один символ и его количество в каждой строке, готовые для вставки в электронную таблицу или документ. В этом выводе пробелы обозначаются словом «space», чтобы их не приняли за пустые строки.

В обычном английском тексте такие буквы, как E, T, A, O и I, обычно входят в число наиболее распространённых. Текст, в котором редкие буквы, например Q или Z, встречаются необычно часто, может быть закодирован, зашифрован или написан на другом языке.

Применение частотного анализа символов

Взлом подстановочных шифров

Подстановочный шифр заменяет каждую букву сообщения другой буквой или символом, используя одну и ту же замену на протяжении всего сообщения. Поскольку замена постоянна, частотная картина исходного языка сохраняется в зашифрованном тексте. В английском языке буква E встречается примерно в 12–13% случаев. Если один символ шифротекста встречается примерно с такой частотой, это вероятный кандидат на роль буквы E. На протяжении веков этот метод был основным способом взлома подстановочных шифров, пока современное шифрование не сделало его непригодным для чего-либо, кроме головоломок и исторических документов.

Сжатие данных

Форматы сжатия, такие как ZIP и GZIP, используют частоту символов в рамках метода, называемого кодированием Хаффмана. Часто встречающиеся символы получают короткие двоичные коды, а редкие — более длинные. Поскольку распространённые символы занимают меньше места при каждом появлении, размер всего файла уменьшается без потери информации.

Выявление проблем с кодировкой

Текст со странными, неожиданными символами (например, «Ã©» вместо «é») часто указывает на несоответствие между кодировкой символов, в которой был сохранён файл, и кодировкой, использованной для его чтения. Диаграмма частот с необычным всплеском странных символов вместо распространённых букв может помочь подтвердить проблему с кодировкой.

Определение языка

В разных языках характерны разные распределения символов. В английском часто встречаются E, T и A. В немецком гораздо чаще используются E и N, а также буквы ä, ö и ü, которых в английском вообще нет. Сравнение частот символов текста с известными языковыми профилями позволяет быстро и приблизительно определить его язык.

Стиль и авторство текста

Поскольку писатели обычно придерживаются устойчивых привычек в использовании знаков препинания и букв, закономерности на уровне символов могут служить небольшим свидетельством при установлении авторства. Сама по себе частота символов редко доказывает, кто написал текст; лучше всего она работает в сочетании с выбором слов, длиной предложений и другими стилистическими признаками.

Другие методы анализа текста

Частотный анализ символов — не единственный способ анализировать текст.

• Частотный анализ слов подсчитывает целые слова, а не символы. Он ближе к смыслу текста и часто применяется при исследовании ключевых слов и тематики.
• N-граммный анализ рассматривает короткие последовательности символов или слов, например пары или тройки. Прогнозирующие клавиатуры и автодополнение используют его для предсказания следующей буквы или слова.
• Анализ тональности определяет, звучит ли текст положительно, отрицательно или нейтрально, с помощью методов, далеко выходящих за рамки простого подсчёта.
• Анализ удобочитаемости, например оценка Флеша — Кинкейда, оценивает сложность чтения текста на основе длины предложений и слов.

Часто задаваемые вопросы

Что показывает частотный анализ символов?

Он показывает, как часто каждый символ встречается в тексте. Анализ результатов может выявить закономерности, полезные для криптографии, сжатия данных, обнаружения ошибок кодировки или определения языка текста.

Как инструмент сортирует результаты?

Он сортирует символы в алфавитном порядке. Возможности сортировать их по количеству нет. Наиболее и наименее распространённые символы приходится находить по столбчатой диаграмме или просматривать количества в скопированном тексте.

Показывает ли инструмент проценты?

Нет. Он сообщает исходное количество каждого символа и общее количество символов. Процент можно вычислить, разделив количество символа на общее количество и умножив на 100.

Может ли частотный анализ символов взломать современные шифры?

Нет. Он работает только с простыми подстановочными шифрами, в которых одному символу всегда соответствует один и тот же символ замены. Современное шифрование, например AES, создаёт результат без такой устойчивой закономерности, поэтому подсчёт частот ничего не сообщает об исходном сообщении.

Считает ли инструмент пробелы и знаки препинания?

Да. Учитывается каждый символ во входных данных, включая пробелы, табуляции, переводы строк и знаки препинания. В обычном тексте пробелы часто являются самыми распространёнными символами.

Какой объём текста нужен для надёжного выявления закономерностей?

Разумный минимум — несколько сотен символов. В очень коротком тексте частоты могут случайно сильно отличаться от ожидаемой картины. Более длинные образцы, содержащие тысячу символов или больше, обычно ближе соответствуют известным языковым закономерностям.

Источники

1. MDN Web Docs: Map — документация по структуре данных «хеш-таблица», используемой для эффективного подсчёта символов.
2. Шеннон, К. Э. (1951). «Предсказание и энтропия печатного английского текста». The Bell System Technical Journal, 30(1), 50-64.
3. Хаффман, Д. А. (1952). «Метод построения кодов с минимальной избыточностью». Proceedings of the IRE, 40(9), 1098-1101.
4. Кодирование Хаффмана — Википедия