Pengira Entropi - Kira Entropi Shannon Dalam Talian Secara Percuma

Apakah kalkulator entropi?

Kalkulator entropi mencari entropi Shannon bagi set nombor. Entropi Shannon ialah cara untuk mengukur sejauh mana sesuatu set data tidak dapat diramalkan. Set data yang setiap nilainya sama mempunyai entropi sifar kerana tiada perkara yang tidak pasti tentangnya. Set data yang setiap nilainya mempunyai kebarangkalian kemunculan yang sama mempunyai entropi tertinggi yang mungkin bagi saiznya.

Idea ini berasal daripada teori maklumat, suatu bidang yang dimulakan oleh ahli matematik Amerika, Claude Shannon, pada tahun 1948. Shannon mahu mengukur jumlah maklumat yang dibawa oleh sesuatu mesej. Beliau mentakrifkan entropi sebagai purata jumlah "kejutan" dalam suatu jujukan simbol. Formula yang sama kini digunakan dalam sains data, kriptografi, biologi dan pembelajaran mesin, iaitu di mana-mana seseorang perlu mengukur kerawakan dalam suatu set hasil.

Formula entropi Shannon

Bagi set data dengan nilai unik x₁ hingga xₙ, setiap satunya muncul dengan kebarangkalian p(xᵢ), entropi Shannon H ialah:

$H(X) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i)$

Dalam perkataan: bagi setiap nilai unik, darabkan kebarangkaliannya dengan logaritma berasas-2 bagi kebarangkalian itu, jumlahkan semua hasil darab tersebut, kemudian songsangkan tandanya. Hasilnya sentiasa sifar atau positif.

Kalkulator ini sentiasa menggunakan logaritma berasas-2, jadi hasilnya diukur dalam bit. Asas lain digunakan untuk tujuan lain: logaritma asli memberikan unit yang dipanggil nat, manakala asas 10 memberikan unit yang dipanggil hartley. Bit ialah unit piawai dalam pengkomputeran dan teori maklumat, sebab itulah kalkulator ini menggunakan asas 2.

Mengapakah hasilnya tidak boleh negatif

Setiap kebarangkalian p(xᵢ) adalah antara 0 dengan 1, jadi logaritmanya ialah sifar atau negatif. Mendarabkan kebarangkalian dengan logaritma negatif atau sifar menghasilkan nombor negatif atau sifar. Menjumlahkan nombor tersebut dan kemudian menukarkan tandanya sentiasa menghasilkan nilai sifar atau lebih.

Entropi maksimum yang mungkin

Bagi set data dengan n nilai unik, entropi adalah paling tinggi apabila setiap nilai muncul dengan kekerapan yang sama. Nilai maksimum itu ialah log₂(n) bit. Set data dengan 4 nilai unik yang sama kekerapan boleh mencapai paling banyak 2 bit entropi kerana log₂(4) = 2. Sebarang taburan tidak sekata bagi nilai 4 yang sama menghasilkan entropi yang lebih rendah.

Cara mengira entropi: langkah demi langkah

1. Senaraikan nilai unik dalam set data dan kira berapa kali setiap satunya muncul.
2. Bahagikan setiap kiraan dengan jumlah bilangan nilai untuk mendapatkan kebarangkalian bagi setiap nilai unik.
3. Ambil logaritma berasas-2 bagi setiap kebarangkalian, kemudian darabkan dengan kebarangkalian yang sama.
4. Jumlahkan semua hasil darab tersebut, kemudian darabkan jumlahnya dengan −1.

Kalkulator ini melakukan empat langkah yang sama secara automatik. Taip nombor ke dalam kotak input, dipisahkan dengan ruang atau koma, pilih format yang sepadan, kemudian entropi, jadual kebarangkalian dan carta bar akan dipaparkan serta-merta. Jadual di bawah hasil menunjukkan nilai, kiraan, kebarangkalian dan p(x) × log₂(p(x)) bagi setiap nombor unik, supaya pengiraan dapat dilihat, bukan sekadar jawapan akhir.

Peraturan input

• Hanya nilai berangka diterima: nombor bulat, perpuluhan dan nombor negatif semuanya boleh digunakan.
• Nilai dipisahkan dengan ruang (contoh: 1 2 3 4) atau koma (contoh: 1,2,3,4), bergantung pada format yang dipilih.
• Set data boleh mengandungi sehingga 100,000 nilai. Jika dimasukkan lebih daripada jumlah itu, mesej ralat akan meminta set data yang lebih kecil.
• Tatatanda saintifik diterima, jadi 1e3 dibaca sebagai 1000.
• Teks, simbol atau entri kosong antara pemisah ditolak dengan ralat, bukannya diabaikan secara senyap.
• Nombor yang terlalu besar untuk disimpan oleh komputer, seperti 1e400, juga ditolak. Nilai terbesar yang boleh disimpan oleh kalkulator ialah kira-kira 1.8 x 10^308.

Contoh pengiraan

Ambil set data 1 2 3 1 2 1, yang mempunyai enam nombor.

Mula-mula, kira setiap nilai unik:

Seterusnya, gunakan formula pada setiap baris dan jumlahkan hasilnya:

$H = -(0.5 \log_2 0.5 + 0.3333 \log_2 0.3333 + 0.1667 \log_2 0.1667)$ $H = -(0.5 \times -1 + 0.3333 \times -1.585 + 0.1667 \times -2.585)$ $H \approx 1.4591 \text{ bit}$

Set data itu mempunyai 3 nilai unik, jadi entropi maksimum yang mungkin ialah log₂(3) ≈ 1.585 bit. Hasil sebenar, 1.4591 bit, lebih rendah daripada maksimum itu kerana nilai 1 muncul lebih kerap berbanding nilai lain, menjadikan set data itu sedikit kurang rawak daripada pembahagian yang sama rata sepenuhnya.

Set data tanpa ketidakpastian

Set data 5 5 5 5 5 hanya mempunyai satu nilai unik, jadi kebarangkaliannya ialah 1. Oleh sebab log₂(1) = 0, setiap sebutan dalam jumlah itu ialah sifar dan entropinya tepat 0 bit. Tiada perkara yang tidak pasti tentang set data yang setiap nilainya sama.

Mentafsir hasil

• Entropi menghampiri 0 bermaksud data itu berulang dan boleh diramalkan. Satu atau beberapa nilai mendominasi.
• Entropi menghampiri log₂(n), dengan n ialah bilangan nilai unik, bermaksud data itu hampir tersebar sama rata merentasi semua nilai uniknya.
• Entropi tepat 0 bermaksud setiap nilai dalam set data adalah sama.

Entropi sahaja tidak menyatakan sama ada sesuatu set data itu "baik" atau "buruk". Penjana kata laluan memerlukan entropi tinggi kerana keadaan itu menyebabkan kata laluan sukar diteka. Sensor yang sepatutnya membaca suhu tetap memerlukan entropi rendah kerana keadaan itu bermaksud bacaan adalah stabil.

Kegunaan entropi Shannon

• Pembelajaran mesin: algoritma pepohon keputusan menggunakan entropi untuk menentukan ciri yang paling sesuai bagi membahagikan set data kepada kumpulan yang boleh diramalkan.
• Pemampatan data: entropi menetapkan had teori tentang sekecil mana fail boleh dimampatkan tanpa kehilangan maklumat.
• Kriptografi: entropi mengukur sejauh mana kata laluan atau kunci kriptografi tidak dapat diramalkan.
• Genetik: entropi boleh menyerlahkan rantau yang luar biasa atau sangat berubah-ubah dalam jujukan DNA.
• Analisis teks: dengan menganggap huruf atau perkataan sebagai "nilai", entropi boleh mengukur sejauh mana sesuatu teks boleh diramalkan.

Soalan lazim

Apakah entropi dalam teori maklumat? Entropi ialah nombor yang mengukur sejauh mana sesuatu set data tidak pasti atau tidak dapat diramalkan. Entropi dikira daripada kebarangkalian setiap nilai unik dalam data, bukan daripada nilai itu sendiri.

Bagaimanakah entropi Shannon dikira secara manual? Kira kekerapan setiap nilai unik muncul, bahagikan setiap kiraan dengan jumlah keseluruhan untuk mendapatkan kebarangkalian, darabkan setiap kebarangkalian dengan logaritma berasas-2nya, jumlahkan hasil tersebut, kemudian darabkan dengan −1.

Bolehkah entropi menjadi negatif? Tidak. Nilai paling rendah yang mungkin ialah 0 bit, yang berlaku apabila setiap nilai dalam set data adalah sama.

Apakah entropi maksimum bagi sesuatu set data? Nilai maksimum ialah log₂(n) bit, dengan n ialah bilangan nilai unik, dan keadaan ini hanya berlaku apabila setiap nilai unik muncul dengan kekerapan yang sama.

Adakah terdapat had pada saiz set data? Ya. Kalkulator ini menerima sehingga 100,000 nilai dalam satu set data. Input yang lebih besar akan menghasilkan ralat.

Apakah perbezaan entropi dengan varians? Varians mengukur sejauh mana nilai berangka tersebar di sekitar puratanya. Entropi mengukur sejauh mana corak hasil tidak dapat diramalkan, berdasarkan kebarangkalian sahaja tanpa mengira saiz sebenar nombor tersebut.

Rujukan

1. Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379–423.
2. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (ed. ke-2). Wiley-Interscience.
3. MacKay, D. J. C. (2003). Information Theory, Inference, and Learning Algorithms. Cambridge University Press.