Аналіз та Візуалізація Частоти Символів

Що таке аналіз частотності символів?

Аналіз частотності символів — це підрахунок того, скільки разів кожен символ з’являється в певному фрагменті тексту. Він охоплює літери, цифри, пробіли, розділові знаки та будь-які інші символи тексту. Результат — проста таблиця або діаграма: один символ — одна кількість.

Цей інструмент приймає будь-який текст, вставлений або введений у нього, і автоматично підраховує кожен символ. Він будує стовпчасту діаграму кількостей, тому найпоширеніші символи одразу помітні. Наведення вказівника на стовпчик або натискання на нього показує точну кількість відповідного символу.

Ця методика є давньою. Арабський учений Аль-Кінді описав її в 9 столітті як спосіб зламувати прості шифри. Сьогодні її також використовують для стиснення даних, перевірки правопису й кодування та базового визначення мови.

Як обчислити частотність символів

Обчислення частотності символів вручну складається з трьох кроків:

1. Переглянути текст по одному символу, враховуючи пробіли та розділові знаки.
2. Вести поточний підрахунок для кожного окремого символу. Для нового символу початкове значення дорівнює 1; повторна поява додає 1 до вже наявного підсумку.
3. Записати кожен символ разом із його остаточною кількістю.

Цей інструмент автоматично виконує те саме, використовуючи структуру даних, яка називається хеш-мапою (таблицею пошуку, що зберігає значення за ключем). Для кожного символу тексту він перевіряє, чи є цей символ у мапі. Якщо є, інструмент додає 1 до збереженої кількості. Якщо немає, він створює новий запис із кількістю 1. Цей метод обробляє кожен символ рівно один раз, тому час його виконання зростає прямо пропорційно до довжини тексту, а не швидше.

Після підрахунку інструмент упорядковує результати за символами в алфавітному порядку. Наразі він не пропонує сортування за кількістю.

Частотність символів у відсотках

Самі кількості може бути важко порівнювати для текстів різної довжини. Тому частотність часто виражають як відсоток від загальної кількості символів:

$f(c) = \frac{n_c}{N} \times 100\%$

Тут $n_c$ — кількість появ символу $c$, а $N$ — загальна кількість символів у тексті. Цей інструмент показує абсолютні кількості та загальну кількість символів, але не стовпчик із відсотками. Відсоток для будь-якого символу можна обчислити, поділивши його кількість на загальну кількість і помноживши результат на 100.

Приклад обчислення

Візьмімо слово «mississippi», яке містить 11 символів і не має пробілів чи розділових знаків.

Підрахунок кожної літери дає:

Таблицю впорядковано за алфавітом (i, m, p, s), так само як інструмент упорядковує результати. Кількості в сумі дають 11 — загальну довжину слова. Щоб отримати стовпчик із відсотками, кожну кількість поділили на 11 і помножили на 100, наприклад 4 ÷ 11 × 100 ≈ 36,4%.

Як користуватися цим інструментом

Введіть або вставте текст у поле введення. Інструмент аналізує його одразу, без кнопки запуску. Коли текст змінюється, список символів і стовпчаста діаграма оновлюються відповідно.

Розділ результатів містить:

• Стовпчасту діаграму з одним стовпчиком для кожного символу. Вищі стовпчики означають, що символ трапляється частіше.
• Загальну кількість символів у тексті, включно з пробілами та розділовими знаками.
• Точну кількість кожного символу, яка відображається під час наведення вказівника на його стовпчик або натискання на нього.

Кнопка «Copy» подає результати у вигляді звичайного тексту: один символ і його кількість у кожному рядку, готові для вставлення в електронну таблицю або документ. У цьому виведенні пробіли позначаються як «space», щоб їх не плутати з порожніми рядками.

У звичайному англійському тексті такі літери, як E, T, A, O та I, зазвичай належать до найпоширеніших. Текст, у якому рідкісні літери на кшталт Q або Z трапляються незвично часто, може бути закодованим, зашифрованим або написаним іншою мовою.

Застосування аналізу частотності символів

Злам підстановних шифрів

Підстановний шифр замінює кожну літеру повідомлення іншою літерою або символом, використовуючи ту саму заміну в усьому тексті. Оскільки заміна є сталою, частотний профіль початкової мови зберігається в зашифрованому тексті. В англійській мові літера E трапляється приблизно у 12–13% випадків. Якщо один символ у шифротексті з’являється приблизно з такою частотою, він є ймовірним відповідником E. Протягом століть це був основний метод зламу підстановних шифрів, доки сучасне шифрування не зробило його непридатним для всього, крім головоломок та історичних документів.

Стиснення даних

Формати стиснення, такі як ZIP і GZIP, використовують частоту появи символів за методом, який називається кодуванням Гаффмана. Символи, що трапляються часто, отримують короткі двійкові коди, а рідкісні — довші. Оскільки поширені символи займають менше місця під час кожної появи, увесь файл зменшується без втрати інформації.

Виявлення проблем із кодуванням

Текст із дивними, неочікуваними символами (наприклад, «Ã©» замість очікуваного «é») часто вказує на невідповідність між кодуванням символів, у якому файл було збережено, і кодуванням, використаним для його читання. Діаграма частотності з незвичним сплеском дивних символів замість поширених літер може допомогти підтвердити проблему з кодуванням.

Визначення мови

Різні мови мають різні типові розподіли символів. В англійській переважають E, T та A. У німецькій значно частіше трапляються E та N, а також літери ä, ö та ü, яких в англійській немає зовсім. Порівняння частотності символів тексту з відомими мовними профілями дає швидкий, приблизний спосіб визначити його мову.

Стиль письма та авторство

Оскільки письменники схильні дотримуватися сталих звичок у використанні розділових знаків і літер, закономірності на рівні символів можуть бути невеликим доказом під час визначення авторства. Сама по собі частотність символів рідко доводить, хто написав текст; найкраще поєднувати її з вибором слів, довжиною речень та іншими стилістичними ознаками.

Інші методи аналізу тексту

Частотність символів — не єдиний спосіб аналізувати текст.

• Частотність слів підраховує цілі слова, а не символи. Вона ближча до змісту тексту й часто використовується для дослідження ключових слів і тем.
• N-грамний аналіз розглядає короткі послідовності символів або слів, наприклад пари чи трійки. Прогнозні клавіатури й автодоповнення використовують його, щоб передбачити наступну літеру або слово.
• Аналіз тональності визначає, чи звучить текст позитивно, негативно або нейтрально, за допомогою методів, що значно виходять за межі простого підрахунку.
• Аналіз читабельності, наприклад за показником Флеша—Кінкейда, оцінює складність читання тексту на основі довжини речень і слів.

Поширені запитання

Що показує аналіз частотності символів?

Він показує, як часто кожен символ з’являється в тексті. Аналіз результату може виявити закономірності, корисні для криптографії, стиснення, виявлення помилок кодування або визначення мови тексту.

Як цей інструмент упорядковує результати?

Він упорядковує символи за алфавітом. Варіанта сортування за кількістю немає. Найпоширеніші та найрідкісніші символи потрібно знаходити за стовпчастою діаграмою або переглядати кількості в скопійованому тексті.

Чи показує інструмент відсотки?

Ні. Він показує абсолютну кількість кожного символу та загальну кількість символів. Відсоток можна обчислити, поділивши кількість символу на загальну кількість і помноживши результат на 100.

Чи може аналіз частотності символів зламати сучасне шифрування?

Ні. Він працює лише з простими підстановними шифрами, у яких один символ завжди відповідає тому самому символу заміни. Сучасне шифрування, наприклад AES, створює результат без такої сталої закономірності, тому підрахунок частотності нічого не розкриває про початкове повідомлення.

Чи підраховує інструмент пробіли та розділові знаки?

Так. Враховується кожен символ у введених даних, зокрема пробіли, табуляції, переноси рядків і розділові знаки. У звичайному тексті пробіли часто є найпоширенішим окремим символом.

Скільки тексту потрібно для надійних закономірностей?

Розумним мінімумом є кілька сотень символів. У дуже короткому тексті частотність може випадково значно відрізнятися від очікуваної закономірності. Довші зразки, що містять тисячу символів або більше, зазвичай точніше відповідають відомим мовним закономірностям.

Джерела

1. MDN Web Docs: Map — документація до структури даних «хеш-мапа», використаної для ефективного підрахунку символів.
2. Шеннон, К. Е. (1951). «Prediction and entropy of printed English». The Bell System Technical Journal, 30(1), 50-64.
3. Гаффман, Д. А. (1952). «A Method for the Construction of Minimum-Redundancy Codes». Proceedings of the IRE, 40(9), 1098-1101.
4. Кодування Гаффмана — Вікіпедія