இலவச ஆன்லைன் எண்ட்ரோபி கணக்கீட்டாளர் - தரவுப் பகுப்பாய்விற்கான ஷானன் எண்ட்ரோபியை கணக்கிடுங்கள்

எண்ட்ரோபி கணக்கீட்டாளர் என்ன?

ஒரு எண்ட்ரோபி கணக்கீட்டாளர் என்பது உங்கள் தரவுத்தொகுப்புகளில் தகவல் உள்ளடக்கம் மற்றும் அசாதாரணத்தை அளவிடும் சக்திவாய்ந்த தரவுப் பகுப்பாய்வு கருவியாகும், இது ஷானனின் எண்ட்ரோபி சூத்திரத்தை பயன்படுத்துகிறது. எங்கள் இலவச ஆன்லைன் எண்ட்ரோபி கணக்கீட்டாளர் தரவியல் விஞ்ஞானிகள், ஆராய்ச்சியாளர்கள் மற்றும் மாணவர்களுக்கு எண்ட்ரோபி மதிப்புகளை விரைவாக கணக்கிட உதவுகிறது, இது தரவின் சீரற்ற தன்மை மற்றும் தகவல் அடர்த்தியை சில விநாடிகளில் புரிந்துகொள்ள உதவுகிறது.

எண்ட்ரோபி என்பது தகவல் கோட்பாட்டில் அடிப்படையான கருத்து, இது ஒரு அமைப்பு அல்லது தரவுத்தொகுப்பில் உள்ள அசாதாரணம் அல்லது சீரற்ற தன்மையின் அளவைக் குறிக்கிறது. 1948-ல் கிளோட் ஷானன் உருவாக்கிய இந்த எண்ட்ரோபி, தரவியல் அறிவியல், இயந்திரக் கற்றல், குறியாக்கம் மற்றும் தொடர்புகள் போன்ற பல துறைகளில் முக்கியமான அளவீடாக மாறியுள்ளது. இந்த எண்ட்ரோபி கணக்கீட்டாளர் விரைவான முடிவுகளை வழங்குகிறது, மேலும் விரிவான படி-படி கணக்கீடுகள் மற்றும் காட்சிப்படுத்தல் வரைபடங்களுடன்.

தகவல் கோட்பாட்டில், எண்ட்ரோபி ஒரு செய்தி அல்லது தரவுத்தொகுப்பில் எவ்வளவு தகவல் உள்ளதென அளவிடுகிறது. உயர்ந்த எண்ட்ரோபி அதிக அசாதாரணம் மற்றும் அதிக தகவல் உள்ளடக்கத்தை குறிக்கிறது, அதேவேளை குறைந்த எண்ட்ரோபி அதிக முன்னறிவிப்பு மற்றும் குறைந்த தகவலைக் குறிக்கிறது. எண்ட்ரோபி கணக்கீட்டாளர் உங்கள் தரவுத்தொகுப்பின் மதிப்புகளை எளிதாக உள்ளீடு செய்து இந்த முக்கியமான அளவீட்டை விரைவாக கணக்கிட அனுமதிக்கிறது.

ஷானன் எண்ட்ரோபி சூத்திரம் விளக்கப்பட்டது

ஷானன் எண்ட்ரோபி சூத்திரம் தகவல் கோட்பாட்டின் அடித்தளமாகும் மற்றும் ஒரு தனித்துவமான சீரற்ற மாறிலியின் எண்ட்ரோபியை கணக்கிட பயன்படுத்தப்படுகிறது. {x₁, x₂, ..., xₙ} என்ற சாத்தியமான மதிப்புகள் மற்றும் {p(x₁), p(x₂), ..., p(xₙ} என்ற தொடர்புடைய வாய்ப்புகள் கொண்ட சீரற்ற மாறிலியான X க்கான எண்ட்ரோபி H(X) இவ்வாறு வரையறுக்கப்படுகிறது:

$H(X) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i)$

எங்கு:

• H(X) என்பது சீரற்ற மாறிலியான X இன் எண்ட்ரோபி, பிட்டுகளில் அளவிடப்படுகிறது (log அடிப்படையாக 2 பயன்படுத்தும் போது)
• p(xᵢ) என்பது மதிப்பு xᵢ நிகழ்வதற்கான வாய்ப்பு
• log₂ என்பது அடிப்படையாக 2 உடைய லாகரிதம்
• X இன் அனைத்து சாத்தியமான மதிப்புகளின் மீது கூட்டல் எடுக்கப்படுகிறது

எண்ட்ரோபி மதிப்பு எப்போதும் எதிர்மறை அல்ல, H(X) = 0 என்பது அசாதாரணம் இல்லாத போது (அதாவது, ஒரு முடிவு 1 வாய்ப்புடன் உள்ளது, மற்ற அனைத்தும் 0 வாய்ப்புடன் உள்ளது) மட்டுமே நிகழ்கிறது.

எண்ட்ரோபியின் அலகுகள்

எண்ட்ரோபியின் அலகு கணக்கீட்டில் பயன்படுத்தப்படும் லாகரிதத்தின் அடிப்படையைப் பொறுத்தது:

• log அடிப்படையாக 2 பயன்படுத்தும் போது, எண்ட்ரோபி பிட்டுகளில் அளவிடப்படுகிறது (தகவல் கோட்பாட்டில் மிகவும் பொதுவானது)
• இயற்கை லாகரிதம் (அடிப்படை e) பயன்படுத்தும் போது, எண்ட்ரோபி நாட்களில் அளவிடப்படுகிறது
• log அடிப்படையாக 10 பயன்படுத்தும் போது, எண்ட்ரோபி ஹார்ட்லீஸ் அல்லது டிட்ஸ் ஆக அளவிடப்படுகிறது

எங்கள் கணக்கீட்டாளர் இயல்பாக log அடிப்படையாக 2 ஐப் பயன்படுத்துகிறது, எனவே எண்ட்ரோபி பிட்டுகளில் வெளிப்படுத்தப்படுகிறது.

எண்ட்ரோபியின் பண்புகள்

1. எதிர்மறை இல்லாமை: எண்ட்ரோபி எப்போதும் பூஜ்யம் அல்லது அதற்கு மேல் இருக்கும். $H(X) \geq 0$

2. அதிகतम மதிப்பு: n சாத்தியமான மதிப்புகள் கொண்ட ஒரு தனித்துவமான சீரற்ற மாறிலிக்கான எண்ட்ரோபி அனைத்து முடிவுகள் சம அளவிலான போது (சீரான விநியோகம்) அதிகரிக்கிறது. $H(X)_{max} = \log_2(n)$

3. சேர்க்கை: சுதந்திரமான சீரற்ற மாறிலிகள் X மற்றும் Y க்கான இணைந்த எண்ட்ரோபி தனித்துவமான எண்ட்ரோபிகளின் கூட்டத்திற்கு சமமாகும். $H(X,Y) = H(X) + H(Y)$

4. நிபந்தனை எண்ட்ரோபியை குறைக்கிறது: Y க்கான X இன் நிபந்தனை எண்ட்ரோபி X இன் எண்ட்ரோபிக்கு சமமாக அல்லது குறைவாக இருக்கும். $H(X|Y) \leq H(X)$

எண்ட்ரோபி கணக்கீட்டாளரை எப்படி பயன்படுத்துவது - படி-படி வழிகாட்டி

எங்கள் எண்ட்ரோபி கணக்கீட்டாளர் எளிமையான மற்றும் பயனர் நட்பு வடிவமைக்கப்பட்டுள்ளது. உங்கள் தரவுத்தொகுப்பின் எண்ட்ரோபியை உடனடியாக கணக்கிட இந்த எளிய படிகளை பின்பற்றவும்:

1. உங்கள் தரவுகளை உள்ளீடு செய்யவும்: உரை பகுதியில் உங்கள் எண்ணியல் மதிப்புகளை உள்ளீடு செய்யவும். நீங்கள் உங்கள் தேர்ந்த வடிவத்தைப் பொறுத்து மதிப்புகளை இடைவெளிகள் அல்லது கமா மூலம் பிரிக்கலாம்.

2. தரவுப் வடிவத்தை தேர்ந்தெடுக்கவும்: உங்கள் தரவு இடைவெளி பிரிக்கப்பட்டது அல்லது கமா பிரிக்கப்பட்டது என்பதை ரேடியோ பொத்தான்களைப் பயன்படுத்தி தேர்ந்தெடுக்கவும்.

3. முடிவுகளைப் பார்வையிடவும்: கணக்கீட்டாளர் உங்கள் உள்ளீட்டை தானாகவே செயலாக்கி, எண்ட்ரோபி மதிப்பை பிட்டுகளில் காட்டுகிறது.

4. கணக்கீட்டு படிகளை ஆய்வு செய்யவும்: எண்ட்ரோபி எப்படி கணக்கிடப்பட்டது என்பதை காட்டும் விரிவான கணக்கீட்டு படிகளைப் பார்வையிடவும், அதில் அடிக்கடி விநியோகம் மற்றும் வாய்ப்பு கணக்கீடுகள் உள்ளன.

5. தரவுப் விநியோகத்தை காட்சிப்படுத்தவும்: உங்கள் தரவுப் மதிப்புகளின் விநியோகத்தை மேலும் புரிந்துகொள்ள அடிக்கடி விநியோகம் வரைபடத்தை கவனிக்கவும்.

6. முடிவுகளை நகலெடுக்கவும்: அறிக்கைகள் அல்லது மேலதிக பகுப்பாய்விற்காக எளிதாக எண்ட்ரோபி மதிப்பை நகலெடுக்க நகல் பொத்தானைப் பயன்படுத்தவும்.

உள்ளீட்டு தேவைகள்

• கணக்கீட்டாளர் எண்ணியல் மதிப்புகளை மட்டுமே ஏற்கிறது
• மதிப்புகள் முழு எண்கள் அல்லது புள்ளி எண்கள் ஆக இருக்கலாம்
• எதிர்மறை எண்கள் ஆதரிக்கப்படுகின்றன
• உள்ளீடு இடைவெளி பிரிக்கப்பட்ட (எ.கா., "1 2 3 4") அல்லது கமா பிரிக்கப்பட்ட (எ.கா., "1,2,3,4") ஆக இருக்கலாம்
• மதிப்புகளின் எண்ணிக்கைக்கு கடுமையான வரம்பு இல்லை, ஆனால் மிகவும் பெரிய தரவுத்தொகுப்புகள் செயல்திறனை பாதிக்கலாம்

முடிவுகளைப் புரிந்துகொள்வது

எண்ட்ரோபி மதிப்பு உங்கள் தரவின் சீரற்ற தன்மை அல்லது தகவல் உள்ளடக்கத்தைப் பற்றிய தகவல்களை வழங்குகிறது:

• உயர்ந்த எண்ட்ரோபி (log₂(n) க்கு அருகில், n என்பது தனித்துவமான மதிப்புகளின் எண்ணிக்கை): தரவில் அதிக சீரற்ற தன்மை அல்லது அசாதாரணத்தை குறிக்கிறது. விநியோகம் சீரானதாக உள்ளது.
• குறைந்த எண்ட்ரோபி (0 க்கு அருகில்): குறைந்த சீரற்ற தன்மை அல்லது அதிக முன்னறிவிப்பு. விநியோகம் குறிப்பிட்ட மதிப்புகளுக்கு மிகவும் சாய்ந்துள்ளது.
• பூஜ்ய எண்ட்ரோபி: தரவுத்தொகுப்பில் உள்ள அனைத்து மதிப்புகளும் ஒரே மாதிரியான போது நிகழ்கிறது, இது எந்த அசாதாரணமும் இல்லை என்பதை குறிக்கிறது.

எண்ட்ரோபி கணக்கீட்டாளர் எடுத்துக்காட்டுகள் படி-படி தீர்வுகளுடன்

எண்ட்ரோபி எப்படி கணக்கிடப்படுகிறது மற்றும் முடிவுகள் என்ன என்பதை விளக்க சில எடுத்துக்காட்டுகளைப் பார்ப்போம்:

எடுத்துக்காட்டு 1: சீரான விநியோகம்

நான்கு சம அளவிலான மதிப்புகளைக் கொண்ட தரவுத்தொகுப்பை எடுத்துக்கொள்ளுங்கள்: [1, 2, 3, 4]

ஒவ்வொரு மதிப்பும் ஒருமுறை மட்டுமே தோன்றுகிறது, எனவே ஒவ்வொரு மதிப்பின் வாய்ப்பு 0.25 ஆகும்.

எண்ட்ரோபி கணக்கீடு: $H(X) = -\sum p(x_i) \log_2 p(x_i)$ $H(X) = -(4 \times 0.25 \times \log_2(0.25))$ $H(X) = -(4 \times 0.25 \times (-2))$ $H(X) = 2 \text{ பிட்டுகள்}$

இது 4 தனித்துவமான மதிப்புகளுடன் உள்ள விநியோகத்திற்கு அதிகபட்சமாகக் கிடைக்கக்கூடிய எண்ட்ரோபி ஆகும், இது சீரான விநியோகம் எண்ட்ரோபியை அதிகரிக்கிறது என்பதை உறுதிப்படுத்துகிறது.

எடுத்துக்காட்டு 2: சாய்ந்த விநியோகம்

ஒரு தரவுத்தொகுப்பை எடுத்துக்கொள்ளுங்கள்: [1, 1, 1, 2, 3]

அடிக்கடி விநியோகம்:

• மதிப்பு 1: 3 நிகழ்வுகள் (வாய்ப்பு = 3/5 = 0.6)
• மதிப்பு 2: 1 நிகழ்வு (வாய்ப்பு = 1/5 = 0.2)
• மதிப்பு 3: 1 நிகழ்வு (வாய்ப்பு = 1/5 = 0.2)

எண்ட்ரோபி கணக்கீடு: $H(X) = -\sum p(x_i) \log_2 p(x_i)$ $H(X) = -(0.6 \times \log_2(0.6) + 0.2 \times \log_2(0.2) + 0.2 \times \log_2(0.2))$ $H(X) = -(0.6 \times (-0.737) + 0.2 \times (-2.322) + 0.2 \times (-2.322))$ $H(X) = -((-0.442) + (-0.464) + (-0.464))$ $H(X) = 1.371 \text{ பிட்டுகள்}$

இந்த எண்ட்ரோபி 3 தனித்துவமான மதிப்புகளுக்கான அதிகபட்ச எண்ட்ரோபியைவிட குறைவாக உள்ளது (log₂(3) ≈ 1.585 பிட்டுகள்), விநியோகத்தில் உள்ள சாய்வை பிரதிபலிக்கிறது.

எடுத்துக்காட்டு 3: அசாதாரணம் இல்லை

அனைத்து மதிப்புகள் ஒரே மாதிரியான தரவுத்தொகுப்பை எடுத்துக்கொள்ளுங்கள்: [5, 5, 5, 5, 5]

ஒரே தனித்துவமான மதிப்பு 1 வாய்ப்புடன் உள்ளது.

எண்ட்ரோபி கணக்கீடு: $H(X) = -\sum p(x_i) \log_2 p(x_i)$ $H(X) = -(1 \times \log_2(1))$ $H(X) = -(1 \times 0)$ $H(X) = 0 \text{ பிட்டுகள்}$

எண்ட்ரோபி பூஜ்யமாக உள்ளது, இது தரவில் எந்த அசாதாரணமும் அல்லது சீரற்ற தன்மையும் இல்லை என்பதை குறிக்கிறது.

எண்ட்ரோபி கணக்கீட்டுக்கான குறியீட்டு எடுத்துக்காட்டுகள்

எண்ட்ரோபி கணக்கீட்டை பல நிரலாக்க மொழிகளில் செயல்படுத்துவதற்கான எடுத்துக்காட்டுகள் இங்கே உள்ளன:

#include <iostream>
#include <vector>
#include <unordered_map>
#include <cmath>

double calculateEntropy(const std::vector<double>& data) {
    if (data.empty()) return 0.0;
    
    // Count occurrences of each value
    std::unordered_map<double, int> counts;
    for (