Công Cụ Phân Tích và Trực Quan Hóa Tần Suất Ký Tự

Phân tích tần suất ký tự là gì?

Phân tích tần suất ký tự là quá trình đếm số lần mỗi ký tự xuất hiện trong một đoạn văn bản. Phân tích này bao gồm chữ cái, chữ số, khoảng trắng, dấu câu và mọi ký hiệu khác trong văn bản. Kết quả là một bảng hoặc biểu đồ đơn giản: một ký tự, một số đếm.

Công cụ này nhận mọi văn bản được dán hoặc nhập vào và tự động đếm từng ký tự. Công cụ vẽ biểu đồ cột về số lần xuất hiện, nhờ đó các ký tự phổ biến nhất nổi bật ngay khi nhìn. Di chuột lên hoặc chạm vào một cột sẽ hiển thị số đếm chính xác của ký tự đó.

Kỹ thuật này đã có từ lâu. Học giả người Ả Rập Al-Kindi đã mô tả nó vào thế kỷ thứ 9 như một cách phá các mật mã đơn giản. Ngày nay, kỹ thuật này còn được dùng trong nén dữ liệu, kiểm tra chính tả và mã hóa, cũng như nhận dạng ngôn ngữ ở mức cơ bản.

Cách tính tần suất ký tự

Tính tần suất ký tự bằng tay gồm ba bước:

1. Duyệt qua văn bản từng ký tự một, bao gồm cả khoảng trắng và dấu câu.
2. Theo dõi tổng số đang tăng dần cho từng ký tự khác nhau. Một ký tự mới bắt đầu từ 1; ký tự lặp lại cộng thêm 1 vào tổng hiện có.
3. Liệt kê mọi ký tự cùng tổng cuối cùng của ký tự đó.

Công cụ này thực hiện cùng một việc tự động, bằng cách sử dụng một cấu trúc dữ liệu gọi là bảng băm (một bảng tra cứu lưu một giá trị theo một khóa). Với mỗi ký tự trong văn bản, công cụ kiểm tra xem ký tự đó đã có mục nhập trong bảng hay chưa. Nếu có, công cụ cộng 1 vào số đếm đã lưu. Nếu chưa, công cụ tạo một mục nhập mới với số đếm là 1. Phương pháp này xử lý mỗi ký tự đúng một lần, vì vậy thời gian thực hiện tăng tỷ lệ thuận với độ dài văn bản, mà không tăng nhanh hơn mức đó.

Sau khi đếm, công cụ liệt kê kết quả theo thứ tự bảng chữ cái của ký tự. Hiện công cụ chưa có tùy chọn sắp xếp theo số đếm.

Tần suất ký tự dưới dạng phần trăm

Chỉ nhìn vào số đếm có thể khó so sánh giữa các văn bản có độ dài khác nhau. Vì vậy, tần suất thường được biểu thị dưới dạng phần trăm trên tổng số ký tự:

$f(c) = \frac{n_c}{N} \times 100\%$

Ở đây, $n_c$ là số lần ký tự $c$ xuất hiện, còn $N$ là tổng số ký tự trong văn bản. Công cụ này báo cáo số đếm thô và tổng số ký tự, không có cột phần trăm, nhưng có thể tính phần trăm của bất kỳ ký tự nào bằng cách chia số đếm của ký tự đó cho tổng số rồi nhân với 100.

Ví dụ minh họa

Xét từ "mississippi", từ này có 11 ký tự và không có khoảng trắng hay dấu câu.

Đếm từng chữ cái ta được:

Bảng được sắp xếp theo thứ tự bảng chữ cái (i, m, p, s), phù hợp với cách công cụ sắp xếp kết quả. Các số đếm cộng lại thành 11, là tổng độ dài của từ. Để có cột phần trăm, mỗi số đếm được chia cho 11 rồi nhân với 100, chẳng hạn 4 ÷ 11 × 100 ≈ 36,4%.

Cách sử dụng công cụ này

Nhập hoặc dán văn bản vào ô nhập liệu. Công cụ phân tích ngay lập tức, không cần nhấn nút nào. Khi văn bản thay đổi, danh sách ký tự và biểu đồ cột cũng cập nhật theo.

Phần kết quả hiển thị:

• Biểu đồ cột với một cột cho mỗi ký tự. Cột càng cao thì ký tự đó xuất hiện càng thường xuyên.
• Tổng số ký tự của văn bản, bao gồm cả khoảng trắng và dấu câu.
• Số đếm chính xác của từng ký tự, hiển thị khi di chuột lên hoặc chạm vào cột của ký tự đó.

Nút "Sao chép" định dạng kết quả dưới dạng văn bản thuần túy, mỗi dòng gồm một ký tự và số đếm, sẵn sàng để dán vào bảng tính hoặc tài liệu. Trong kết quả này, khoảng trắng được ghi là "space" để không bị nhầm với các dòng trống.

Trong văn bản tiếng Anh thông thường, các chữ cái như E, T, A, O và I thường thuộc nhóm xuất hiện nhiều nhất. Một văn bản có các chữ cái hiếm như Q hoặc Z xuất hiện với tần suất bất thường có thể đã được mã hóa, được mã hóa bằng mật mã, hoặc được viết bằng ngôn ngữ khác.

Ứng dụng của phân tích tần suất ký tự

Phá mật mã thay thế

Mật mã thay thế thay mỗi chữ cái của một thông điệp bằng một chữ cái hoặc ký hiệu khác, sử dụng cùng một phép thay thế xuyên suốt. Do việc thay thế được thực hiện nhất quán, mô hình tần suất của ngôn ngữ gốc vẫn được giữ lại trong văn bản đã mã hóa. Trong tiếng Anh, chữ E xuất hiện khoảng 12–13% số lần. Nếu một ký hiệu trong bản mã xuất hiện với tỷ lệ xấp xỉ như vậy, đó là ứng viên đáng chú ý cho vị trí thay thế chữ E. Đây là phương pháp chính được dùng để phá mật mã thay thế trong nhiều thế kỷ, trước khi mã hóa hiện đại khiến phương pháp này không còn phù hợp ngoài các câu đố và tài liệu lịch sử.

Nén dữ liệu

Các định dạng nén như ZIP và GZIP sử dụng tần suất ký tự thông qua một phương pháp gọi là mã hóa Huffman. Những ký tự xuất hiện thường xuyên được gán mã nhị phân ngắn, còn ký tự hiếm được gán mã dài hơn. Vì các ký tự phổ biến chiếm ít dung lượng hơn cho mỗi lần xuất hiện, toàn bộ tệp sẽ nhỏ hơn mà không mất thông tin nào.

Phát hiện vấn đề mã hóa

Văn bản hiển thị các ký tự lạ, không mong đợi (chẳng hạn "é" thay vì "é") thường là dấu hiệu cho thấy có sự không khớp giữa bảng mã ký tự dùng để lưu tệp và bảng mã dùng để đọc tệp. Biểu đồ tần suất cho thấy sự tăng vọt bất thường của các ký hiệu lạ, thay vì các chữ cái phổ biến, có thể giúp xác nhận vấn đề mã hóa.

Nhận dạng ngôn ngữ

Mỗi ngôn ngữ có một kiểu phân bố ký tự đặc trưng. Tiếng Anh thường dùng E, T và A. Tiếng Đức có số lần xuất hiện của E và N cao hơn nhiều, cùng các chữ cái như ä, ö và ü vốn hoàn toàn không xuất hiện trong tiếng Anh. So sánh tần suất ký tự của văn bản với các mẫu ngôn ngữ đã biết là một cách nhanh và tương đối sơ bộ để đoán ngôn ngữ của văn bản.

Phong cách viết và tác giả

Vì người viết thường có thói quen nhất quán trong việc dùng dấu câu và chữ cái, các mẫu ở cấp độ ký tự có thể là một phần nhỏ trong các bằng chứng để xác định tác giả. Tần suất ký tự hiếm khi tự nó chứng minh được ai đã viết một văn bản; phương pháp này hiệu quả nhất khi kết hợp với cách chọn từ, độ dài câu và các dấu hiệu phong cách khác.

Các phương pháp phân tích văn bản khác

Tần suất ký tự không phải là cách duy nhất để phân tích văn bản.

• Tần suất từ đếm toàn bộ từ thay vì ký tự. Phương pháp này gần với ý nghĩa của văn bản hơn và thường được dùng trong nghiên cứu từ khóa và phân tích chủ đề.
• Phân tích N-gram xem xét các chuỗi ngắn gồm ký tự hoặc từ, chẳng hạn các cặp hoặc bộ ba. Bàn phím dự đoán và tính năng tự động hoàn thành sử dụng phương pháp này để đoán chữ cái hoặc từ tiếp theo.
• Phân tích cảm xúc đánh giá văn bản có sắc thái tích cực, tiêu cực hay trung tính, bằng các phương pháp vượt xa việc đếm đơn giản.
• Phân tích khả năng đọc, chẳng hạn điểm Flesch-Kincaid, ước tính độ khó khi đọc văn bản dựa trên độ dài câu và từ.

Các câu hỏi thường gặp

Phân tích tần suất ký tự cho bạn biết điều gì?

Phương pháp này cho biết mỗi ký tự xuất hiện bao nhiêu lần trong văn bản. Đọc kết quả có thể cho thấy các mẫu hữu ích trong mật mã học, nén dữ liệu, phát hiện lỗi mã hóa hoặc đoán ngôn ngữ của văn bản.

Công cụ này sắp xếp kết quả như thế nào?

Công cụ sắp xếp các ký tự theo thứ tự bảng chữ cái. Không có tùy chọn sắp xếp theo số đếm. Muốn tìm các ký tự xuất hiện nhiều nhất và ít nhất, cần đọc biểu đồ cột hoặc quét các số đếm trong văn bản đã sao chép.

Công cụ có hiển thị phần trăm không?

Không. Công cụ báo cáo số đếm thô của từng ký tự và tổng số ký tự. Có thể tính phần trăm bằng cách chia số đếm của một ký tự cho tổng số rồi nhân với 100.

Phân tích tần suất ký tự có thể phá mã hóa hiện đại không?

Không. Phương pháp này chỉ hiệu quả với mật mã thay thế đơn giản, trong đó một ký tự luôn đại diện cho cùng một ký tự thay thế. Mã hóa hiện đại, chẳng hạn AES, tạo ra đầu ra không có mẫu nhất quán như vậy, nên số liệu tần suất không tiết lộ gì về thông điệp gốc.

Công cụ có đếm khoảng trắng và dấu câu không?

Có. Mọi ký tự trong dữ liệu nhập đều được đếm, bao gồm khoảng trắng, tab, ngắt dòng và dấu câu. Trong văn bản thông thường, khoảng trắng thường là ký tự xuất hiện nhiều nhất.

Cần bao nhiêu văn bản để có các mẫu đáng tin cậy?

Vài trăm ký tự là mức tối thiểu hợp lý. Văn bản quá ngắn có thể cho thấy tần suất khác xa mẫu dự kiến chỉ do ngẫu nhiên. Các mẫu dài hơn, từ một nghìn ký tự trở lên, thường khớp với các mẫu ngôn ngữ đã biết hơn.

Tài liệu tham khảo

1. MDN Web Docs: Map — tài liệu về cấu trúc dữ liệu bảng băm được dùng để đếm ký tự hiệu quả.
2. Shannon, C. E. (1951). "Prediction and entropy of printed English." The Bell System Technical Journal, 30(1), 50-64.
3. Huffman, D. A. (1952). "A Method for the Construction of Minimum-Redundancy Codes." Proceedings of the IRE, 40(9), 1098-1101.
4. Mã hóa Huffman — Wikipedia