ਮੁਫਤ ਆਨਲਾਈਨ ਐਂਟ੍ਰੋਪੀ ਕੈਲਕੁਲੇਟਰ - ਡੇਟਾ ਵਿਸ਼ਲੇਸ਼ਣ ਲਈ ਸ਼ੈਨਨ ਐਂਟ੍ਰੋਪੀ ਦੀ ਗਣਨਾ ਕਰੋ

ਐਂਟ੍ਰੋਪੀ ਕੈਲਕੁਲੇਟਰ ਕੀ ਹੈ?

ਇੱਕ ਐਂਟ੍ਰੋਪੀ ਕੈਲਕੁਲੇਟਰ ਇੱਕ ਸ਼ਕਤੀਸ਼ਾਲੀ ਡੇਟਾ ਵਿਸ਼ਲੇਸ਼ਣ ਟੂਲ ਹੈ ਜੋ ਤੁਹਾਡੇ ਡੇਟਾਸੈਟ ਵਿੱਚ ਜਾਣਕਾਰੀ ਦੀ ਸਮੱਗਰੀ ਅਤੇ ਅਣਿਸ਼ਚਿਤਤਾ ਨੂੰ ਸ਼ੈਨਨ ਦੀ ਐਂਟ੍ਰੋਪੀ ਫਾਰਮੂਲੇ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਮਾਪਦਾ ਹੈ। ਸਾਡਾ ਮੁਫਤ ਆਨਲਾਈਨ ਐਂਟ੍ਰੋਪੀ ਕੈਲਕੁਲੇਟਰ ਡੇਟਾ ਵਿਗਿਆਨੀਆਂ, ਖੋਜਕਰਤਿਆਂ ਅਤੇ ਵਿਦਿਆਰਥੀਆਂ ਨੂੰ ਸਹੀ ਸਮੇਂ ਵਿੱਚ ਐਂਟ੍ਰੋਪੀ ਮੁੱਲਾਂ ਦੀ ਗਣਨਾ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ ਤਾਂ ਜੋ ਉਹ ਡੇਟਾ ਦੀ ਬੇਤਰਤੀਬੀ ਅਤੇ ਜਾਣਕਾਰੀ ਦੀ ਘਣਤਾ ਨੂੰ ਸਮਝ ਸਕਣ।

ਐਂਟ੍ਰੋਪੀ ਜਾਣਕਾਰੀ ਸਿਧਾਂਤ ਵਿੱਚ ਇੱਕ ਮੂਲ ਧਾਰਨਾ ਹੈ ਜੋ ਕਿਸੇ ਪ੍ਰਣਾਲੀ ਜਾਂ ਡੇਟਾਸੈਟ ਵਿੱਚ ਅਣਿਸ਼ਚਿਤਤਾ ਜਾਂ ਬੇਤਰਤੀਬੀ ਦੀ ਮਾਤਰਾ ਨੂੰ ਮਾਪਦੀ ਹੈ। ਇਸਨੂੰ 1948 ਵਿੱਚ ਕਲੌਡ ਸ਼ੈਨਨ ਦੁਆਰਾ ਵਿਕਸਿਤ ਕੀਤਾ ਗਿਆ ਸੀ, ਐਂਟ੍ਰੋਪੀ ਡੇਟਾ ਵਿਗਿਆਨ, ਮਸ਼ੀਨ ਲਰਨਿੰਗ, ਕ੍ਰਿਪਟੋਗ੍ਰਾਫੀ ਅਤੇ ਸੰਚਾਰ ਸਮੇਤ ਵੱਖ-ਵੱਖ ਖੇਤਰਾਂ ਵਿੱਚ ਇੱਕ ਅਹੰਕਾਰਕ ਮੈਟਰਿਕ ਬਣ ਗਿਆ ਹੈ। ਇਹ ਐਂਟ੍ਰੋਪੀ ਕੈਲਕੁਲੇਟਰ ਤੁਰੰਤ ਨਤੀਜੇ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ ਜਿਸ ਵਿੱਚ ਵਿਸਥਾਰਿਤ ਕਦਮ-ਦਰ-ਕਦਮ ਗਣਨਾਵਾਂ ਅਤੇ ਵਿਜ਼ੂਅਲਾਈਜ਼ੇਸ਼ਨ ਚਾਰਟ ਸ਼ਾਮਲ ਹਨ।

ਜਾਣਕਾਰੀ ਸਿਧਾਂਤ ਵਿੱਚ, ਐਂਟ੍ਰੋਪੀ ਮਾਪਦੀ ਹੈ ਕਿ ਕਿਸੇ ਸੁਨੇਹੇ ਜਾਂ ਡੇਟਾਸੈਟ ਵਿੱਚ ਕਿੰਨੀ ਜਾਣਕਾਰੀ ਸ਼ਾਮਲ ਹੈ। ਉੱਚ ਐਂਟ੍ਰੋਪੀ ਵੱਡੀ ਅਣਿਸ਼ਚਿਤਤਾ ਅਤੇ ਹੋਰ ਜਾਣਕਾਰੀ ਦੀ ਸਮੱਗਰੀ ਨੂੰ ਦਰਸਾਉਂਦੀ ਹੈ, ਜਦਕਿ ਨਿਊਂਤਮ ਐਂਟ੍ਰੋਪੀ ਵੱਧ ਪੇਸ਼ਗੋਈ ਅਤੇ ਘੱਟ ਜਾਣਕਾਰੀ ਨੂੰ ਦਰਸਾਉਂਦੀ ਹੈ। ਐਂਟ੍ਰੋਪੀ ਕੈਲਕੁਲੇਟਰ ਤੁਹਾਨੂੰ ਸਿਰਫ ਆਪਣੇ ਡੇਟਾ ਮੁੱਲ ਦਰਜ ਕਰਕੇ ਇਸ ਮਹੱਤਵਪੂਰਨ ਮੈਟਰਿਕ ਦੀ ਗਣਨਾ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ।

ਸ਼ੈਨਨ ਐਂਟ੍ਰੋਪੀ ਫਾਰਮੂਲਾ ਸਮਝਾਇਆ ਗਿਆ

ਸ਼ੈਨਨ ਐਂਟ੍ਰੋਪੀ ਫਾਰਮੂਲਾ ਜਾਣਕਾਰੀ ਸਿਧਾਂਤ ਦਾ ਆਧਾਰ ਹੈ ਅਤੇ ਇਹ ਇੱਕ ਵਿਸ਼ਮ ਰੈਂਡਮ ਚਲਕ ਦੀ ਐਂਟ੍ਰੋਪੀ ਦੀ ਗਣਨਾ ਕਰਨ ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ। ਇੱਕ ਰੈਂਡਮ ਚਲਕ X ਲਈ ਜਿਸਦੇ ਸੰਭਾਵਿਤ ਮੁੱਲ {x₁, x₂, ..., xₙ} ਅਤੇ ਸੰਬੰਧਿਤ ਸੰਭਾਵਨਾਵਾਂ {p(x₁), p(x₂), ..., p(xₙ)} ਹਨ, ਐਂਟ੍ਰੋਪੀ H(X) ਨੂੰ ਇਸ ਤਰ੍ਹਾਂ ਪਰਿਭਾਸ਼ਿਤ ਕੀਤਾ ਗਿਆ ਹੈ:

$H(X) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i)$

ਜਿੱਥੇ:

• H(X) ਰੈਂਡਮ ਚਲਕ X ਦੀ ਐਂਟ੍ਰੋਪੀ ਹੈ, ਜੋ ਕਿ ਬਿੱਟਾਂ ਵਿੱਚ ਮਾਪੀ ਜਾਂਦੀ ਹੈ (ਜਦੋਂ ਲੌਗ ਬੇਸ 2 ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਜਾਂਦੀ ਹੈ)
• p(xᵢ) ਮੁੱਲ xᵢ ਦੇ ਹੋਣ ਦੀ ਸੰਭਾਵਨਾ ਹੈ
• log₂ ਬੇਸ 2 ਨਾਲ ਲੌਗਾਰਿਦਮ ਹੈ
• ਜੋੜ X ਦੇ ਸਾਰੇ ਸੰਭਾਵਿਤ ਮੁੱਲਾਂ 'ਤੇ ਲਿਆ ਜਾਂਦਾ ਹੈ

ਐਂਟ੍ਰੋਪੀ ਦਾ ਮੁੱਲ ਹਮੇਸ਼ਾ ਗੈਰ-ਨਕਾਰਾਤਮਕ ਹੁੰਦਾ ਹੈ, H(X) = 0 ਸਿਰਫ ਉਸ ਵੇਲੇ ਹੁੰਦਾ ਹੈ ਜਦੋਂ ਕੋਈ ਅਣਿਸ਼ਚਿਤਤਾ ਨਹੀਂ ਹੁੰਦੀ (ਜਾਂ, ਇੱਕ ਨਤੀਜੇ ਦੀ ਸੰਭਾਵਨਾ 1 ਹੈ, ਅਤੇ ਸਾਰੇ ਹੋਰ 0 ਦੀ ਸੰਭਾਵਨਾ ਹੈ)।

ਐਂਟ੍ਰੋਪੀ ਦੇ ਇਕਾਈਆਂ

ਐਂਟ੍ਰੋਪੀ ਦੀ ਇਕਾਈ ਗਣਨਾ ਵਿੱਚ ਵਰਤੇ ਗਏ ਲੌਗਾਰਿਦਮ ਦੇ ਬੇਸ 'ਤੇ ਨਿਰਭਰ ਕਰਦੀ ਹੈ:

• ਜਦੋਂ ਲੌਗ ਬੇਸ 2 ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਐਂਟ੍ਰੋਪੀ ਨੂੰ ਬਿੱਟਾਂ ਵਿੱਚ ਮਾਪਿਆ ਜਾਂਦਾ ਹੈ (ਜੋ ਜਾਣਕਾਰੀ ਸਿਧਾਂਤ ਵਿੱਚ ਸਭ ਤੋਂ ਆਮ ਹੈ)
• ਜਦੋਂ ਕੁਦਰਤੀ ਲੌਗਾਰਿਦਮ (ਬੇਸ e) ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਐਂਟ੍ਰੋਪੀ ਨੂੰ ਨੈਟਸ ਵਿੱਚ ਮਾਪਿਆ ਜਾਂਦਾ ਹੈ
• ਜਦੋਂ ਲੌਗ ਬੇਸ 10 ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਐਂਟ੍ਰੋਪੀ ਨੂੰ ਹਾਰਟਲੀਜ਼ ਜਾਂ ਡਿਟਸ ਵਿੱਚ ਮਾਪਿਆ ਜਾਂਦਾ ਹੈ

ਸਾਡਾ ਕੈਲਕੁਲੇਟਰ ਡਿਫਾਲਟ ਵਜੋਂ ਲੌਗ ਬੇਸ 2 ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ, ਇਸ ਲਈ ਐਂਟ੍ਰੋਪੀ ਬਿੱਟਾਂ ਵਿੱਚ ਪ੍ਰਗਟ ਕੀਤੀ ਜਾਂਦੀ ਹੈ।

ਐਂਟ੍ਰੋਪੀ ਦੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ

1. ਗੈਰ-ਨਕਾਰਾਤਮਕਤਾ: ਐਂਟ੍ਰੋਪੀ ਹਮੇਸ਼ਾ ਜ਼ੀਰੋ ਜਾਂ ਉਸ ਤੋਂ ਵੱਧ ਹੁੰਦੀ ਹੈ। $H(X) \geq 0$

2. ਅਧਿਕਤਮ ਮੁੱਲ: ਇੱਕ ਵਿਸ਼ਮ ਰੈਂਡਮ ਚਲਕ ਲਈ ਜਿਸਦੇ n ਸੰਭਾਵਿਤ ਮੁੱਲ ਹਨ, ਐਂਟ੍ਰੋਪੀ ਉਸ ਵੇਲੇ ਵੱਧ ਹੁੰਦੀ ਹੈ ਜਦੋਂ ਸਾਰੇ ਨਤੀਜੇ ਬਰਾਬਰ ਸੰਭਾਵਨਾ ਵਾਲੇ ਹੁੰਦੇ ਹਨ (ਯੂਨੀਫਾਰਮ ਵੰਡ)। $H(X)_{max} = \log_2(n)$

3. ਜੋੜਨਯੋਗਤਾ: ਸੁਤੰਤਰ ਰੈਂਡਮ ਚਲਕ X ਅਤੇ Y ਲਈ, ਸਾਂਝੀ ਐਂਟ੍ਰੋਪੀ ਵਿਅਕਤੀਗਤ ਐਂਟ੍ਰੋਪੀ ਦਾ ਜੋੜ ਹੁੰਦੀ ਹੈ। $H(X,Y) = H(X) + H(Y)$

4. ਸ਼ਰਤਾਂ ਦੇ ਨਾਲ ਐਂਟ੍ਰੋਪੀ ਘਟਦੀ ਹੈ: Y ਦੇ ਦਿੱਤੇ X ਦੀ ਸ਼ਰਤੀ ਐਂਟ੍ਰੋਪੀ X ਦੀ ਐਂਟ੍ਰੋਪੀ ਤੋਂ ਘੱਟ ਜਾਂ ਬਰਾਬਰ ਹੁੰਦੀ ਹੈ। $H(X|Y) \leq H(X)$

ਐਂਟ੍ਰੋਪੀ ਕੈਲਕੁਲੇਟਰ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦਾ ਤਰੀਕਾ - ਕਦਮ-ਦਰ-ਕਦਮ ਗਾਈਡ

ਸਾਡਾ ਐਂਟ੍ਰੋਪੀ ਕੈਲਕੁਲੇਟਰ ਸਧਾਰਨ ਅਤੇ ਉਪਭੋਗਤਾ-ਮਿੱਤਰ ਬਣਾਉਣ ਲਈ ਡਿਜ਼ਾਈਨ ਕੀਤਾ ਗਿਆ ਹੈ। ਆਪਣੇ ਡੇਟਾਸੈਟ ਦੀ ਐਂਟ੍ਰੋਪੀ ਤੁਰੰਤ ਗਣਨਾ ਕਰਨ ਲਈ ਇਹ ਸਧਾਰਨ ਕਦਮਾਂ ਦੀ ਪਾਲਣਾ ਕਰੋ:

1. ਆਪਣਾ ਡੇਟਾ ਦਰਜ ਕਰੋ: ਆਪਣੇ ਨੰਬਰਾਂ ਦੇ ਮੁੱਲ ਨੂੰ ਟੈਕਸਟ ਖੇਤਰ ਵਿੱਚ ਦਰਜ ਕਰੋ। ਤੁਸੀਂ ਆਪਣੇ ਮੁੱਲਾਂ ਨੂੰ ਖਾਲੀ ਥਾਵਾਂ ਜਾਂ ਕਾਮਿਆਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਵੱਖ ਕਰ ਸਕਦੇ ਹੋ, ਜੋ ਤੁਹਾਡੇ ਚੁਣੇ ਹੋਏ ਫਾਰਮੈਟ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ।

2. ਡੇਟਾ ਫਾਰਮੈਟ ਚੁਣੋ: ਰੇਡੀਓ ਬਟਨਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਚੁਣੋ ਕਿ ਤੁਹਾਡਾ ਡੇਟਾ ਖਾਲੀ ਥਾਵਾਂ ਨਾਲ ਵੱਖਰਾ ਹੈ ਜਾਂ ਕਾਮਿਆਂ ਨਾਲ।

3. ਨਤੀਜੇ ਵੇਖੋ: ਕੈਲਕੁਲੇਟਰ ਆਪਣੇ ਇਨਪੁਟ ਨੂੰ ਆਪਣੇ ਆਪ ਪ੍ਰਕਿਰਿਆ ਕਰਦਾ ਹੈ ਅਤੇ ਬਿੱਟਾਂ ਵਿੱਚ ਐਂਟ੍ਰੋਪੀ ਮੁੱਲ ਦਿਖਾਉਂਦਾ ਹੈ।

4. ਗਣਨਾ ਦੇ ਕਦਮਾਂ ਦੀ ਜਾਂਚ ਕਰੋ: ਵਿਸਥਾਰਿਤ ਗਣਨਾ ਦੇ ਕਦਮਾਂ ਦੀ ਸਮੀਖਿਆ ਕਰੋ ਜੋ ਦਿਖਾਉਂਦੇ ਹਨ ਕਿ ਐਂਟ੍ਰੋਪੀ ਕਿਵੇਂ ਗਣਨਾ ਕੀਤੀ ਗਈ, ਜਿਸ ਵਿੱਚ ਫ੍ਰੀਕਵੈਂਸੀ ਵੰਡ ਅਤੇ ਸੰਭਾਵਨਾ ਦੀਆਂ ਗਣਨਾਵਾਂ ਸ਼ਾਮਲ ਹਨ।

5. ਡੇਟਾ ਵੰਡ ਦੀ ਵਿਜ਼ੂਅਲਾਈਜ਼ ਕਰੋ: ਆਪਣੇ ਡੇਟਾ ਮੁੱਲਾਂ ਦੀ ਵੰਡ ਨੂੰ ਬਿਹਤਰ ਸਮਝਣ ਲਈ ਫ੍ਰੀਕਵੈਂਸੀ ਵੰਡ ਚਾਰਟ ਨੂੰ ਦੇਖੋ।

6. ਨਤੀਜੇ ਕਾਪੀ ਕਰੋ: ਰਿਪੋਰਟਾਂ ਜਾਂ ਹੋਰ ਵਿਸ਼ਲੇਸ਼ਣ ਲਈ ਐਂਟ੍ਰੋਪੀ ਮੁੱਲ ਨੂੰ ਆਸਾਨੀ ਨਾਲ ਕਾਪੀ ਕਰਨ ਲਈ ਕਾਪੀ ਬਟਨ ਦੀ ਵਰਤੋਂ ਕਰੋ।

ਇਨਪੁਟ ਦੀਆਂ ਲੋੜਾਂ

• ਕੈਲਕੁਲੇਟਰ ਸਿਰਫ ਨੰਬਰਾਂ ਦੇ ਮੁੱਲਾਂ ਨੂੰ ਸਵੀਕਾਰ ਕਰਦਾ ਹੈ
• ਮੁੱਲ ਪੂਰਨ ਅੰਕ ਜਾਂ ਦਸ਼ਮਲਵ ਨੰਬਰ ਹੋ ਸਕਦੇ ਹਨ
• ਨਕਾਰਾਤਮਕ ਨੰਬਰਾਂ ਦੀ ਸਹਾਇਤਾ ਕੀਤੀ ਜਾਂਦੀ ਹੈ
• ਇਨਪੁਟ ਖਾਲੀ ਥਾਵਾਂ ਨਾਲ ਵੱਖਰਾ ਹੋ ਸਕਦਾ ਹੈ (ਜਿਵੇਂ "1 2 3 4") ਜਾਂ ਕਾਮਿਆਂ ਨਾਲ ਵੱਖਰਾ ਹੋ ਸਕਦਾ ਹੈ (ਜਿਵੇਂ "1,2,3,4")
• ਮੁੱਲਾਂ ਦੀ ਗਿਣਤੀ 'ਤੇ ਕੋਈ ਸਖਤ ਸੀਮਾ ਨਹੀਂ ਹੈ, ਪਰ ਬਹੁਤ ਵੱਡੇ ਡੇਟਾਸੈਟ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰ ਸਕਦੇ ਹਨ

ਨਤੀਜਿਆਂ ਦੀ ਵਿਆਖਿਆ

ਐਂਟ੍ਰੋਪੀ ਦਾ ਮੁੱਲ ਤੁਹਾਡੇ ਡੇਟਾ ਦੀ ਬੇਤਰਤੀਬੀ ਜਾਂ ਜਾਣਕਾਰੀ ਦੀ ਸਮੱਗਰੀ ਬਾਰੇ ਜਾਣਕਾਰੀ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ:

• ਉੱਚ ਐਂਟ੍ਰੋਪੀ (log₂(n) ਦੇ ਨੇੜੇ ਜਿੱਥੇ n ਵਿਲੱਖਣ ਮੁੱਲਾਂ ਦੀ ਗਿਣਤੀ ਹੈ): ਡੇਟਾ ਵਿੱਚ ਉੱਚ ਬੇਤਰਤੀਬੀ ਜਾਂ ਅਣਿਸ਼ਚਿਤਤਾ ਨੂੰ ਦਰਸਾਉਂਦੀ ਹੈ। ਵੰਡ ਯੂਨੀਫਾਰਮ ਦੇ ਨੇੜੇ ਹੈ।
• ਨਿਊਂਤਮ ਐਂਟ੍ਰੋਪੀ (0 ਦੇ ਨੇੜੇ): ਘੱਟ ਬੇਤਰਤੀਬੀ ਜਾਂ ਉੱਚ ਪੇਸ਼ਗੋਈ ਨੂੰ ਦਰਸਾਉਂਦੀ ਹੈ। ਵੰਡ ਕੁਝ ਮੁੱਲਾਂ ਵੱਲ ਬਹੁਤ ਵੱਧ ਝੁਕਦੀ ਹੈ।
• ਜ਼ੀਰੋ ਐਂਟ੍ਰੋਪੀ: ਉਸ ਵੇਲੇ ਹੁੰਦੀ ਹੈ ਜਦੋਂ ਡੇਟਾਸੈਟ ਵਿੱਚ ਸਾਰੇ ਮੁੱਲ ਇੱਕੋ ਜਿਹੇ ਹੁੰਦੇ ਹਨ, ਜਿਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਕੋਈ ਅਣਿਸ਼ਚਿਤਤਾ ਨਹੀਂ ਹੈ।

ਐਂਟ੍ਰੋਪੀ ਕੈਲਕੁਲੇਟਰ ਦੇ ਉਦਾਹਰਣ ਕਦਮ-ਦਰ-ਕਦਮ ਹੱਲਾਂ ਨਾਲ

ਆਓ ਕੁਝ ਉਦਾਹਰਣਾਂ ਦੇ ਰਾਹੀਂ ਚੱਲੀਏ ਤਾਂ ਜੋ ਦਿਖਾਈਏ ਕਿ ਐਂਟ੍ਰੋਪੀ ਕਿਵੇਂ ਗਣਨਾ ਕੀਤੀ ਜਾਂਦੀ ਹੈ ਅਤੇ ਨਤੀਜੇ ਦਾ ਕੀ ਮਤਲਬ ਹੈ:

ਉਦਾਹਰਣ 1: ਯੂਨੀਫਾਰਮ ਵੰਡ

ਇੱਕ ਡੇਟਾਸੈਟ ਨੂੰ ਚਾਰ ਬਰਾਬਰ ਸੰਭਾਵਨਾ ਵਾਲੇ ਮੁੱਲਾਂ ਨਾਲ ਵਿਚਾਰ ਕਰੋ: [1, 2, 3, 4]

ਹਰ ਮੁੱਲ ਇੱਕ ਵਾਰੀ ਹੀ ਆਉਂਦਾ ਹੈ, ਇਸ ਲਈ ਹਰ ਮੁੱਲ ਦੀ ਸੰਭਾਵਨਾ 0.25 ਹੈ।

ਐਂਟ੍ਰੋਪੀ ਦੀ ਗਣਨਾ: $H(X) = -\sum p(x_i) \log_2 p(x_i)$ $H(X) = -(4 \times 0.25 \times \log_2(0.25))$ $H(X) = -(4 \times 0.25 \times (-2))$ $H(X) = 2 \text{ ਬਿੱਟ}$

ਇਹ 4 ਵਿਲੱਖਣ ਮੁੱਲਾਂ ਵਾਲੀ ਵੰਡ ਲਈ ਸੰਭਵਤਮ ਐਂਟ੍ਰੋਪੀ ਹੈ, ਜੋ ਇਹ ਪੁਸ਼ਟੀ ਕਰਦੀ ਹੈ ਕਿ ਯੂਨੀਫਾਰਮ ਵੰਡ ਐਂਟ੍ਰੋਪੀ ਨੂੰ ਵੱਧ ਕਰਦੀ ਹੈ।

ਉਦਾਹਰਣ 2: ਝੁਕਿਆ ਹੋਇਆ ਵੰਡ

ਇੱਕ ਡੇਟਾਸੈਟ ਨੂੰ ਵਿਚਾਰ ਕਰੋ: [1, 1, 1, 2, 3]

ਫ੍ਰੀਕਵੈਂਸੀ ਵੰਡ:

• ਮੁੱਲ 1: 3 ਵਾਰੀ (ਸੰਭਾਵਨਾ = 3/5 = 0.6)
• ਮੁੱਲ 2: 1 ਵਾਰੀ (ਸੰਭਾਵਨਾ = 1/5 = 0.2)
• ਮੁੱਲ 3: 1 ਵਾਰੀ (ਸੰਭਾਵਨਾ = 1/5 = 0.2)

ਐਂਟ੍ਰੋਪੀ ਦੀ ਗਣਨਾ: $H(X) = -\sum p(x_i) \log_2 p(x_i)$ $H(X) = -(0.6 \times \log_2(0.6) + 0.2 \times \log_2(0.2) + 0.2 \times \log_2(0.2))$ $H(X) = -(0.6 \times (-0.737) + 0.2 \times (-2.322) + 0.2 \times (-2.322))$ $H(X) = -((-0.442) + (-0.464) + (-0.464))$ $H(X) = 1.371 \text{ ਬਿੱਟ}$

ਇਹ ਐਂਟ੍ਰੋਪੀ 3 ਵਿਲੱਖਣ ਮੁੱਲਾਂ ਲਈ ਸੰਭਵਤਮ ਐਂਟ੍ਰੋਪੀ (log₂(3) ≈ 1.585 ਬਿੱਟ) ਤੋਂ ਘੱਟ ਹੈ, ਜੋ ਵੰਡ ਵਿੱਚ ਝੁਕਾਅ ਨੂੰ ਦਰਸਾਉਂਦੀ ਹੈ।

ਉਦਾਹਰਣ 3: ਕੋਈ ਅਣਿਸ਼ਚਿਤਤਾ ਨਹੀਂ

ਇੱਕ ਡੇਟਾਸੈਟ ਨੂੰ ਵਿਚਾਰ ਕਰੋ ਜਿੱਥੇ ਸਾਰੇ ਮੁੱਲ ਇੱਕੋ ਜਿਹੇ ਹਨ: [5, 5, 5, 5, 5]

ਇੱਕ ਹੀ ਵਿਲੱਖਣ ਮੁੱਲ ਹੈ ਜਿਸਦੀ ਸੰਭਾਵਨਾ 1 ਹੈ।

ਐਂਟ੍ਰੋਪੀ ਦੀ ਗਣਨਾ: $H(X) = -\sum p(x_i) \log_2 p(x_i)$ $H(X) = -(1 \times \log_2(1))$ $H(X) = -(1 \times 0)$ $H(X) = 0 \text{ ਬਿੱਟ}$

ਐਂਟ੍ਰੋਪੀ ਜ਼ੀਰੋ ਹੈ, ਜੋ ਡੇਟਾ ਵਿੱਚ ਕੋਈ ਅਣਿਸ਼ਚਿਤਤਾ ਜਾਂ ਬੇਤਰਤੀਬੀ ਨਹੀਂ ਦਰਸਾਉਂਦੀ ਹੈ।

ਐਂਟ੍ਰੋਪੀ ਦੀ ਗਣਨਾ ਲਈ ਕੋਡ ਉਦਾਹਰਣ

ਇੱਥੇ ਵੱਖ-ਵੱਖ ਪ੍ਰੋਗ੍ਰਾਮਿੰਗ ਭਾਸ਼ਾਵਾਂ ਵਿੱਚ ਐਂਟ੍ਰੋਪੀ ਦੀ ਗਣਨਾ ਦੇ ਕਾਰਜਾਂ ਦੀਆਂ ਉਦਾਹਰਣਾਂ ਹਨ:

function calculateEntropy(data) {
  if (!data || data.length === 0) return 0;
  
  // ਹਰ ਮੁੱਲ ਦੀ ਵਾਰਤਾ ਦੀ ਗਿਣਤੀ ਕਰੋ
  const counts = {};
  data.forEach(value => {
    counts[value] = (counts[value] || 0) + 1;
  });
  
  // ਸੰਭਾਵਨਾਵਾਂ ਅਤੇ ਐਂਟ੍ਰੋਪੀ ਦੀ ਗਣਨਾ ਕਰੋ
  const totalCount = data.length;
  let entropy = 0;
  
  Object.values(counts).forEach(count => {
    const probability = count / totalCount;
    entropy -= probability * Math.log2(probability);
  });
  
  return entropy;
}

// ਉਦਾਹਰਣ ਦੀ ਵਰਤੋਂ
const