문자 빈도 분석 및 시각화 도구

문자 빈도 분석이란 무엇인가?

문자 빈도 분석은 텍스트에서 각 문자가 몇 번 나타나는지 세는 과정입니다. 여기에는 문자, 숫자, 공백, 구두점 및 텍스트에 포함된 다른 모든 기호가 포함됩니다. 결과는 문자 하나와 개수 하나로 이루어진 간단한 표 또는 차트입니다.

이 도구는 붙여 넣거나 입력한 모든 텍스트를 자동으로 분석해 각 문자의 개수를 셉니다. 개수를 막대 차트로 표시하므로 가장 자주 나타나는 문자를 한눈에 확인할 수 있습니다. 막대를 가리키거나 탭하면 해당 문자의 정확한 개수가 표시됩니다.

이 기법은 오래전부터 사용되었습니다. 아랍 학자 알킨디는 단순 치환 암호를 해독하는 방법으로 9세기에 이를 설명했습니다. 오늘날에는 데이터 압축, 철자 및 인코딩 검사, 기초적인 언어 식별에도 사용됩니다.

문자 빈도를 계산하는 방법

문자 빈도를 손으로 계산하는 과정은 세 단계로 이루어집니다.

1. 공백과 구두점을 포함해 텍스트를 한 문자씩 확인합니다.
2. 서로 다른 각 문자에 대해 누적 집계를 유지합니다. 새 문자는 1에서 시작하고, 반복되는 문자는 기존 집계에 1을 더합니다.
3. 모든 문자와 최종 집계값을 나열합니다.

이 도구는 해시 맵이라는 자료 구조를 사용해 같은 작업을 자동으로 수행합니다. 해시 맵은 키에 대응하는 값을 저장하는 조회 테이블입니다. 텍스트의 각 문자에 대해 도구는 해당 문자가 맵에 이미 등록되어 있는지 확인합니다. 등록되어 있으면 저장된 개수에 1을 더합니다. 등록되어 있지 않으면 개수가 1인 새 항목을 만듭니다. 이 방법은 각 문자를 정확히 한 번씩 처리하므로, 처리 시간은 텍스트 길이에 정비례해 증가하며 그보다 빠르게 증가하지 않습니다.

계산이 끝나면 도구는 문자 기준의 알파벳순으로 결과를 나열합니다. 현재는 개수순으로 정렬하는 옵션을 제공하지 않습니다.

백분율로 나타낸 문자 빈도

텍스트마다 길이가 다르면 개수만으로 비교하기 어려울 수 있습니다. 따라서 빈도는 전체 문자 수에 대한 백분율로 나타내는 경우가 많습니다.

$f(c) = \frac{n_c}{N} \times 100\%$

여기서 $n_c$는 문자 $c$가 나타나는 횟수이고, $N$은 텍스트의 전체 문자 수입니다. 이 도구는 백분율 열이 아니라 원시 개수와 전체 문자 수를 표시하지만, 어떤 문자든 그 개수를 전체 수로 나눈 뒤 100을 곱하면 백분율을 계산할 수 있습니다.

계산 예시

공백이나 구두점이 없고 문자가 11개인 "mississippi"라는 단어를 예로 들어 보겠습니다.

각 문자를 세면 다음과 같습니다.

표는 알파벳순(i, m, p, s)으로 정렬되어 있으며, 이는 이 도구가 결과를 정렬하는 방식과 같습니다. 개수의 합은 단어의 전체 길이인 11입니다. 백분율 열을 구하려면 각 개수를 11로 나눈 뒤 100을 곱합니다. 예를 들어 4 ÷ 11 × 100 ≈ 36.4%입니다.

이 도구 사용 방법

입력 상자에 텍스트를 입력하거나 붙여 넣습니다. 누를 버튼 없이 도구가 즉시 분석합니다. 텍스트가 바뀌면 문자 목록과 막대 차트도 그에 맞춰 업데이트됩니다.

결과 영역에는 다음이 표시됩니다.

• 문자마다 하나씩 막대가 있는 막대 차트. 막대가 높을수록 해당 문자가 더 자주 나타난다는 뜻입니다.
• 공백과 구두점을 포함한 텍스트의 전체 문자 수
• 막대를 가리키거나 탭했을 때 표시되는 특정 문자의 정확한 개수

"복사" 버튼을 누르면 결과가 일반 텍스트로 서식 지정됩니다. 문자와 개수가 한 줄에 하나씩 표시되어 스프레드시트나 문서에 바로 붙여 넣을 수 있습니다. 이 출력에서는 공백을 "space"로 표시하므로 빈 줄로 오해하지 않게 합니다.

일반적인 영어 텍스트에서는 E, T, A, O, I 같은 문자가 대개 가장 자주 나타나는 문자에 속합니다. Q나 Z처럼 드문 문자가 비정상적으로 많이 나타나는 텍스트는 인코딩되었거나 암호화되었거나 다른 언어로 작성되었을 수 있습니다.

문자 빈도 분석의 활용

치환 암호 해독

치환 암호는 메시지의 각 문자를 다른 문자나 기호로 바꾸며, 전체 메시지에서 같은 치환을 사용합니다. 치환이 일관되므로 원래 언어의 빈도 패턴이 암호문에도 남습니다. 영어에서 E는 대략 12–13%의 비율로 나타납니다. 암호문에서 어떤 기호가 그 정도 비율로 나타난다면, 그 기호는 E를 대신할 가능성이 높습니다. 현대 암호 기술이 퍼즐과 역사 문서 외의 용도에서 이 방법을 사실상 쓸 수 없게 만들기 전까지, 이는 수 세기 동안 치환 암호를 해독하는 주요 방법이었습니다.

데이터 압축

ZIP과 GZIP 같은 압축 형식은 허프먼 부호화라는 방식을 통해 문자 빈도를 사용합니다. 자주 나타나는 문자에는 짧은 이진 부호를, 드문 문자에는 긴 부호를 할당합니다. 자주 나타나는 문자가 나올 때 차지하는 공간이 줄어들기 때문에 정보 손실 없이 전체 파일 크기가 감소합니다.

인코딩 문제 찾기

"é"가 있어야 할 자리에 "é"처럼 이상하고 예상하지 못한 문자가 표시되는 텍스트는 파일을 저장할 때 사용한 문자 인코딩과 파일을 읽을 때 사용한 인코딩이 일치하지 않음을 나타내는 경우가 많습니다. 일반적인 문자 대신 이상한 기호가 비정상적으로 급증하는 빈도 차트는 인코딩 문제를 확인하는 데 도움이 될 수 있습니다.

언어 식별

언어마다 전형적인 문자 분포가 다릅니다. 영어에서는 E, T, A가 많이 나타납니다. 독일어에서는 E와 N이 훨씬 더 자주 나타나며, 영어에는 전혀 없는 ä, ö, ü 같은 문자도 사용합니다. 텍스트의 문자 빈도를 알려진 언어 프로필과 비교하면 해당 언어를 빠르고 대략적으로 추정할 수 있습니다.

문체와 저자 식별

작가는 구두점과 문자 사용에서 일관된 습관을 보이는 경향이 있으므로, 문자 수준의 패턴은 저자를 식별할 때 작은 증거 하나로 활용할 수 있습니다. 문자 빈도만으로는 누가 글을 썼는지 입증하기 어려우며, 단어 선택, 문장 길이 및 다른 문체 지표와 함께 사용할 때 가장 효과적입니다.

다른 텍스트 분석 방법

문자 빈도는 텍스트를 분석하는 유일한 방법이 아닙니다.

• 단어 빈도는 문자 대신 완전한 단어의 개수를 셉니다. 텍스트의 의미에 더 가까운 방법이며 키워드 조사와 주제 분석에서 흔히 사용됩니다.
• N-그램 분석은 문자나 단어의 짧은 연속열을 살펴봅니다. 예를 들어 두 개 또는 세 개의 단위를 묶습니다. 예측 키보드와 자동 완성 기능은 이를 이용해 다음 문자나 단어를 추정합니다.
• 감성 분석은 단순한 개수 세기를 넘어서는 방법을 사용해 텍스트가 긍정적인지, 부정적인지 또는 중립적인지를 판단합니다.
• 플레시-킨케이드 점수와 같은 가독성 분석은 문장과 단어의 길이를 바탕으로 텍스트를 읽기 어려운 정도를 추정합니다.

자주 묻는 질문

문자 빈도 분석은 무엇을 알려 주나요?

텍스트에서 각 문자가 얼마나 자주 나타나는지 보여 줍니다. 결과를 읽으면 암호학, 압축, 인코딩 오류 탐지 또는 텍스트의 언어 추정에 유용한 패턴을 발견할 수 있습니다.

이 도구는 결과를 어떻게 정렬하나요?

문자를 알파벳순으로 정렬합니다. 개수순으로 정렬하는 옵션은 없습니다. 가장 많이 나타나는 문자와 가장 적게 나타나는 문자는 막대 차트를 보거나 복사한 텍스트에서 개수를 확인해 찾아야 합니다.

이 도구는 백분율을 표시하나요?

아니요. 각 문자의 원시 개수와 전체 문자 수를 표시합니다. 문자의 개수를 전체 수로 나눈 뒤 100을 곱하면 백분율을 계산할 수 있습니다.

문자 빈도 분석으로 현대 암호를 해독할 수 있나요?

아니요. 하나의 문자가 항상 같은 대체 문자에 대응하는 단순 치환 암호에만 사용할 수 있습니다. AES와 같은 현대 암호는 이러한 일관된 패턴이 없는 출력을 생성하므로, 빈도 개수만으로는 원래 메시지에 대해 알 수 있는 것이 없습니다.

이 도구는 공백과 구두점을 세나요?

네. 공백, 탭, 줄 바꿈, 구두점 등 입력에 포함된 모든 문자를 셉니다. 일반적인 텍스트에서는 공백이 단일 문자 중 가장 자주 나타나는 경우가 많습니다.

신뢰할 만한 패턴을 얻으려면 텍스트가 얼마나 필요한가요?

수백 문자가 합리적인 최소 분량입니다. 매우 짧은 텍스트는 단순히 우연 때문에 예상 패턴과 크게 다른 빈도를 보일 수 있습니다. 천 자 이상인 긴 표본은 알려진 언어 패턴과 더 비슷한 경향이 있습니다.

참고 문헌

1. MDN Web Docs: Map — 문자를 효율적으로 세는 데 사용되는 해시 맵 자료 구조에 대한 문서입니다.
2. 섀넌, C. E. (1951). "인쇄된 영어의 예측과 엔트로피." The Bell System Technical Journal, 30(1), 50-64.
3. 허프먼, D. A. (1952). "최소 잉여 부호의 구성 방법." Proceedings of the IRE, 40(9), 1098-1101.
4. 허프먼 부호화 — 위키백과