A/B ਟੈਸਟ ਕਲਕੂਲੇਟਰ

ਪਰਿਚਯ

A/B ਟੈਸਟਿੰਗ ਡਿਜੀਟਲ ਮਾਰਕੀਟਿੰਗ, ਉਤਪਾਦ ਵਿਕਾਸ ਅਤੇ ਉਪਭੋਗਤਾ ਅਨੁਭਵ ਦੇ ਅਧਿਕਾਰਕਰਨ ਵਿੱਚ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਤਰੀਕਾ ਹੈ। ਇਸ ਵਿੱਚ ਇੱਕ ਵੈਬਪੇਜ ਜਾਂ ਐਪ ਦੇ ਦੋ ਸੰਸਕਰਣਾਂ ਦੀ ਤੁਲਨਾ ਕਰਨਾ ਸ਼ਾਮਲ ਹੈ ਤਾਂ ਜੋ ਇਹ ਪਤਾ ਲਗਾਇਆ ਜਾ ਸਕੇ ਕਿ ਕਿਹੜਾ ਵਧੀਆ ਕੰਮ ਕਰਦਾ ਹੈ। ਸਾਡਾ A/B ਟੈਸਟ ਕਲਕੂਲੇਟਰ ਤੁਹਾਨੂੰ ਤੁਹਾਡੇ ਟੈਸਟ ਦੇ ਨਤੀਜਿਆਂ ਦੀ ਅੰਕੜਾ ਸੰਕੇਤਕਤਾ ਨੂੰ ਨਿਰਧਾਰਿਤ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ, ਇਹ ਯਕੀਨੀ ਬਣਾਉਂਦਾ ਹੈ ਕਿ ਤੁਸੀਂ ਡੇਟਾ-ਅਧਾਰਿਤ ਫੈਸਲੇ ਲੈਂਦੇ ਹੋ।

ਫਾਰਮੂਲਾ

A/B ਟੈਸਟ ਕਲਕੂਲੇਟਰ ਅੰਕੜਾ ਵਿਧੀਆਂ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ ਤਾਂ ਜੋ ਇਹ ਪਤਾ ਲਗਾਇਆ ਜਾ ਸਕੇ ਕਿ ਦੋ ਗਰੁੱਪਾਂ (ਕੰਟਰੋਲ ਅਤੇ ਵੈਰੀਏਸ਼ਨ) ਵਿਚਕਾਰ ਦਾ ਅੰਤਰ ਮਹੱਤਵਪੂਰਨ ਹੈ ਜਾਂ ਨਹੀਂ। ਇਸ ਗਣਨਾ ਦਾ ਮੁੱਖ ਹਿੱਸਾ z-ਸਕੋਰ ਅਤੇ ਇਸਦੇ ਸੰਬੰਧਿਤ p-ਮੂਲ ਨੂੰ ਗਣਨਾ ਕਰਨਾ ਹੈ।

1. ਹਰ ਗਰੁੱਪ ਲਈ ਰੂਪਾਂਤਰਣ ਦਰਾਂ ਦੀ ਗਣਨਾ ਕਰੋ:

   $p_1 = \frac{x_1}{n_1}$ ਅਤੇ $p_2 = \frac{x_2}{n_2}$

   ਜਿੱਥੇ:

   • $p_1$ ਅਤੇ $p_2$ ਕੰਟਰੋਲ ਅਤੇ ਵੈਰੀਏਸ਼ਨ ਗਰੁੱਪਾਂ ਲਈ ਰੂਪਾਂਤਰਣ ਦਰਾਂ ਹਨ
   • $x_1$ ਅਤੇ $x_2$ ਰੂਪਾਂਤਰਣਾਂ ਦੀ ਗਿਣਤੀ ਹਨ
   • $n_1$ ਅਤੇ $n_2$ ਕੁੱਲ ਦੌਰੇ ਦੀ ਗਿਣਤੀ ਹੈ

2. ਪੂਲ ਕੀਤੀ ਗਈ ਅਨੁਪਾਤ ਦੀ ਗਣਨਾ ਕਰੋ:

   $p = \frac{x_1 + x_2}{n_1 + n_2}$

3. ਮਿਆਰੀ ਗਲਤੀ ਦੀ ਗਣਨਾ ਕਰੋ:

   $SE = \sqrt{p(1-p)(\frac{1}{n_1} + \frac{1}{n_2})}$

4. z-ਸਕੋਰ ਦੀ ਗਣਨਾ ਕਰੋ:

   $z = \frac{p_2 - p_1}{SE}$

5. p-ਮੂਲ ਦੀ ਗਣਨਾ ਕਰੋ:

   p-ਮੂਲ ਨੂੰ ਸਧਾਰਣ ਨਾਰਮਲ ਵੰਡ ਦੇ ਸਮੂਹਿਕ ਵੰਡ ਫੰਕਸ਼ਨ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਗਣਨਾ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਬਹੁਤ ਸਾਰੇ ਪ੍ਰੋਗ੍ਰਾਮਿੰਗ ਭਾਸ਼ਾਵਾਂ ਵਿੱਚ, ਇਹ ਬਿਲਟ-ਇਨ ਫੰਕਸ਼ਨਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਕੀਤਾ ਜਾਂਦਾ ਹੈ।

6. ਅੰਕੜਾ ਸੰਕੇਤਕਤਾ ਨੂੰ ਨਿਰਧਾਰਿਤ ਕਰੋ:

   ਜੇ p-ਮੂਲ ਚੁਣੀ ਗਈ ਸੰਕੇਤਕਤਾ ਪੱਧਰ (ਆਮ ਤੌਰ 'ਤੇ 0.05) ਤੋਂ ਘੱਟ ਹੈ, ਤਾਂ ਨਤੀਜਾ ਅੰਕੜਾ ਸੰਕੇਤਕ ਹੈ।

ਇਹ ਮਹੱਤਵਪੂਰਨ ਹੈ ਕਿ ਇਹ ਵਿਧੀ ਇੱਕ ਨਾਰਮਲ ਵੰਡ ਦੀ ਧਾਰਨਾ ਕਰਦੀ ਹੈ, ਜੋ ਆਮ ਤੌਰ 'ਤੇ ਵੱਡੇ ਨਮੂਨਾ ਆਕਾਰਾਂ ਲਈ ਸਹੀ ਹੁੰਦੀ ਹੈ। ਬਹੁਤ ਛੋਟੇ ਨਮੂਨਾ ਆਕਾਰਾਂ ਜਾਂ ਅਤਿ ਰੂਪਾਂਤਰਣ ਦਰਾਂ ਲਈ, ਹੋਰ ਉੱਚਤ ਅੰਕੜਾ ਵਿਧੀਆਂ ਦੀ ਲੋੜ ਹੋ ਸਕਦੀ ਹੈ।

ਵਰਤੋਂ ਦੇ ਕੇਸ

A/B ਟੈਸਟਿੰਗ ਦੇ ਬਹੁਤ ਸਾਰੇ ਉਦਾਹਰਣ ਹਨ ਜੋ ਵੱਖ-ਵੱਖ ਉਦਯੋਗਾਂ ਵਿੱਚ ਵਰਤੋਂ ਕੀਤੀ ਜਾਂਦੀ ਹੈ:

1. ਈ-ਕਾਮਰਸ: ਵਿਕਰੀ ਵਧਾਉਣ ਲਈ ਵੱਖ-ਵੱਖ ਉਤਪਾਦ ਵੇਰਵੇ, ਚਿੱਤਰ ਜਾਂ ਕੀਮਤ ਦੀ ਰਣਨੀਤੀਆਂ ਦੀ ਜਾਂਚ ਕਰਨਾ।
2. ਡਿਜੀਟਲ ਮਾਰਕੀਟਿੰਗ: ਕਲਿੱਕ-ਥਰੂ ਦਰਾਂ ਨੂੰ ਸੁਧਾਰਣ ਲਈ ਈਮੇਲ ਵਿਸ਼ੇ ਰੇਖਾਵਾਂ, ਵਿਗਿਆਪਨ ਦੀ ਨਕਲ ਜਾਂ ਲੈਂਡਿੰਗ ਪੇਜ ਡਿਜ਼ਾਈਨਾਂ ਦੀ ਤੁਲਨਾ ਕਰਨਾ।
3. ਸਾਫਟਵੇਅਰ ਵਿਕਾਸ: ਉਪਭੋਗਤਾ ਦੇ ਅਨੁਭਵ ਨੂੰ ਵਧਾਉਣ ਲਈ ਵੱਖ-ਵੱਖ ਯੂਜ਼ਰ ਇੰਟਰਫੇਸ ਡਿਜ਼ਾਈਨਾਂ ਜਾਂ ਫੀਚਰਾਂ ਦੀ ਜਾਂਚ ਕਰਨਾ।
4. ਸਮੱਗਰੀ ਬਣਾਉਣ: ਪੜ੍ਹਨ ਜਾਂ ਸਾਂਝਾ ਕਰਨ ਲਈ ਵੱਖ-ਵੱਖ ਸਿਰਲੇਖਾਂ ਜਾਂ ਸਮੱਗਰੀ ਦੇ ਫਾਰਮੈਟਾਂ ਦੀ ਮੁਲਾਂਕਣ ਕਰਨਾ।
5. ਸਿਹਤ ਸੇਵਾ: ਵੱਖ-ਵੱਖ ਇਲਾਜ ਪ੍ਰੋਟੋਕੋਲ ਜਾਂ ਮਰੀਜ਼ ਸੰਚਾਰ ਦੇ ਤਰੀਕਿਆਂ ਦੀ ਪ੍ਰਭਾਵਸ਼ੀਲਤਾ ਦੀ ਤੁਲਨਾ ਕਰਨਾ।

ਵਿਕਲਪ

ਜਦੋਂ ਕਿ A/B ਟੈਸਟਿੰਗ ਬਹੁਤ ਹੀ ਵਰਤੋਂ ਵਿੱਚ ਹੈ, ਪਰ ਤੁਲਨਾ ਟੈਸਟਿੰਗ ਲਈ ਹੋਰ ਵਿਕਲਪ ਹਨ:

1. ਮਲਟੀਵੈਰੀਏਟ ਟੈਸਟਿੰਗ: ਇੱਕ ਸਮੇਂ ਵਿੱਚ ਕਈ ਚਰਾਂ ਦੀ ਜਾਂਚ ਕਰਦੀ ਹੈ, ਜੋ ਹੋਰ ਜਟਿਲ ਤੁਲਨਾਵਾਂ ਦੀ ਆਗਿਆ ਦਿੰਦੀ ਹੈ ਪਰ ਵੱਡੇ ਨਮੂਨਾ ਆਕਾਰਾਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।
2. ਬੈਂਡੀਟ ਅਲਗੋਰਿਦਮ: ਵਧੀਆ ਕੰਮ ਕਰਨ ਵਾਲੀਆਂ ਵੈਰੀਏਸ਼ਨਾਂ ਨੂੰ ਟ੍ਰੈਫਿਕ ਨੂੰ ਗਤੀਸ਼ੀਲ ਤੌਰ 'ਤੇ ਵੰਡਦੇ ਹਨ, ਨਤੀਜਿਆਂ ਨੂੰ ਰੀਅਲ-ਟਾਈਮ ਵਿੱਚ ਸੁਧਾਰਦੇ ਹਨ।
3. ਬੇਜ਼ੀਅਨ A/B ਟੈਸਟਿੰਗ: ਡੇਟਾ ਇਕੱਠਾ ਹੋਣ ਦੇ ਨਾਲ ਸੰਭਾਵਨਾਵਾਂ ਨੂੰ ਲਗਾਤਾਰ ਅਪਡੇਟ ਕਰਨ ਲਈ ਬੇਜ਼ੀਅਨ ਅਨੁਮਾਨ ਦੀ ਵਰਤੋਂ ਕਰਦੀ ਹੈ, ਜੋ ਹੋਰ ਨਜਾਇਜ਼ ਨਤੀਜੇ ਪ੍ਰਦਾਨ ਕਰਦੀ ਹੈ।
4. ਕੋਹੋਰਟ ਵਿਸ਼ਲੇਸ਼ਣ: ਵੱਖ-ਵੱਖ ਉਪਭੋਗਤਾ ਸਮੂਹਾਂ ਦੇ ਵਿਹਾਰ ਦੀ ਤੁਲਨਾ ਕਰਦੀ ਹੈ, ਜੋ ਲੰਬੇ ਸਮੇਂ ਦੇ ਪ੍ਰਭਾਵਾਂ ਨੂੰ ਸਮਝਣ ਲਈ ਲਾਭਦਾਇਕ ਹੈ।

ਇਤਿਹਾਸ

A/B ਟੈਸਟਿੰਗ ਦਾ ਵਿਚਾਰ 20ਵੀਂ ਸਦੀ ਦੇ ਸ਼ੁਰੂ ਵਿੱਚ ਖੇਤੀਬਾੜੀ ਅਤੇ ਚਿਕਿਤਸਾ ਖੋਜ ਵਿੱਚ ਆਪਣੀ ਜ roots ਤਾਂ ਹੈ। ਸਿਰ ਰੋਨਾਲਡ ਫਿਸ਼ਰ, ਇੱਕ ਬ੍ਰਿਟਿਸ਼ ਅੰਕੜਾ ਵਿਗਿਆਨੀ, 1920 ਦੇ ਦਹਾਕੇ ਵਿੱਚ ਯਾਦਗਾਰੀ ਨਿਯੰਤਰਿਤ ਟ੍ਰਾਇਲਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨ ਵਿੱਚ ਪਹਿਲੀ ਵਾਰੀ ਲਈ ਕਾਮਯਾਬ ਹੋਏ, ਜਿਸ ਨੇ ਆਧੁਨਿਕ A/B ਟੈਸਟਿੰਗ ਲਈ ਮੂਲ ਭੂਮਿਕਾ ਨਿਰਧਾਰਿਤ ਕੀਤੀ।

ਡਿਜੀਟਲ ਖੇਤਰ ਵਿੱਚ, A/B ਟੈਸਟਿੰਗ 1990 ਦੇ ਦਹਾਕੇ ਦੇ ਅੰਤ ਅਤੇ 2000 ਦੇ ਸ਼ੁਰੂ ਵਿੱਚ ਈ-ਕਾਮਰਸ ਅਤੇ ਡਿਜੀਟਲ ਮਾਰਕੀਟਿੰਗ ਦੇ ਉੱਪਰ ਆਈ। ਗੂਗਲ ਦੀ A/B ਟੈਸਟਿੰਗ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਖੋਜ ਨਤੀਜਿਆਂ ਦੀ ਵਧੀਆ ਗਿਣਤੀ ਨੂੰ ਨਿਰਧਾਰਿਤ ਕਰਨ (2000) ਅਤੇ ਐਮਾਜ਼ਾਨ ਦੀ ਵਿਆਪਕ ਵਰਤੋਂ ਦੇ ਤਰੀਕੇ ਨੂੰ ਆਮ ਤੌਰ 'ਤੇ ਡਿਜੀਟਲ A/B ਟੈਸਟਿੰਗ ਦੇ ਪ੍ਰਸਿੱਧ ਪਲਾਂ ਵਿੱਚ ਗਿਣਿਆ ਜਾਂਦਾ ਹੈ।

A/B ਟੈਸਟਿੰਗ ਵਿੱਚ ਵਰਤੀ ਜਾਣ ਵਾਲੀਆਂ ਅੰਕੜਾ ਵਿਧੀਆਂ ਸਮੇਂ ਦੇ ਨਾਲ ਵਿਕਸਿਤ ਹੋਈਆਂ ਹਨ, ਜਿੱਥੇ ਪਹਿਲੇ ਟੈਸਟ ਸਧਾਰਣ ਰੂਪਾਂਤਰਣ ਦਰਾਂ ਦੀ ਤੁਲਨਾ 'ਤੇ ਆਧਾਰਿਤ ਸਨ। z-ਸਕੋਰ ਅਤੇ p-ਮੂਲ ਵਰਗੀਆਂ ਹੋਰ ਉੱਚਤ ਅੰਕੜਾ ਤਕਨੀਕਾਂ ਦੀ ਪੇਸ਼ਕਸ਼ ਨੇ A/B ਟੈਸਟ ਦੇ ਨਤੀਜਿਆਂ ਦੀ ਸਹੀਤਾ ਅਤੇ ਭਰੋਸੇਯੋਗਤਾ ਨੂੰ ਸੁਧਾਰਿਆ ਹੈ।

ਅੱਜ, A/B ਟੈਸਟਿੰਗ ਬਹੁਤ ਸਾਰੇ ਉਦਯੋਗਾਂ ਵਿੱਚ ਡੇਟਾ-ਅਧਾਰਿਤ ਫੈਸਲੇ ਲੈਣ ਦਾ ਇੱਕ ਅਹੰਕਾਰ ਹੈ, ਜਿਸ ਨਾਲ ਇਸ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਆਸਾਨ ਬਣਾਉਣ ਲਈ ਬਹੁਤ ਸਾਰੇ ਸਾਫਟਵੇਅਰ ਟੂਲ ਅਤੇ ਪਲੇਟਫਾਰਮ ਉਪਲਬਧ ਹਨ।

ਇਸ ਕਲਕੂਲੇਟਰ ਨੂੰ ਕਿਵੇਂ ਵਰਤਣਾ ਹੈ

1. ਆਪਣੇ ਕੰਟਰੋਲ ਗਰੁੱਪ ਲਈ ਦੌਰਾਂ ਦੀ ਗਿਣਤੀ (ਆਕਾਰ) ਦਾਖਲ ਕਰੋ।
2. ਆਪਣੇ ਕੰਟਰੋਲ ਗਰੁੱਪ ਲਈ ਰੂਪਾਂਤਰਣਾਂ ਦੀ ਗਿਣਤੀ ਦਾਖਲ ਕਰੋ।
3. ਆਪਣੇ ਵੈਰੀਏਸ਼ਨ ਗਰੁੱਪ ਲਈ ਦੌਰਾਂ ਦੀ ਗਿਣਤੀ (ਆਕਾਰ) ਦਾਖਲ ਕਰੋ।
4. ਆਪਣੇ ਵੈਰੀਏਸ਼ਨ ਗਰੁੱਪ ਲਈ ਰੂਪਾਂਤਰਣਾਂ ਦੀ ਗਿਣਤੀ ਦਾਖਲ ਕਰੋ।
5. ਕਲਕੂਲੇਟਰ ਆਪਣੇ ਆਪ ਨਤੀਜੇ ਦੀ ਗਣਨਾ ਕਰੇਗਾ।

ਨਤੀਜੇ ਦਾ ਕੀ ਅਰਥ ਹੈ

• p-ਮੂਲ: ਇਹ ਉਹ ਸੰਭਾਵਨਾ ਹੈ ਕਿ ਤੁਹਾਡੇ ਕੰਟਰੋਲ ਅਤੇ ਵੈਰੀਏਸ਼ਨ ਗਰੁੱਪਾਂ ਵਿਚਕਾਰ ਰੂਪਾਂਤਰਣ ਦਰਾਂ ਵਿੱਚ ਅੰਤਰ ਬੇਕਾਰ ਹੋਇਆ। ਘੱਟ p-ਮੂਲ ਮੂਲ ਹਿਪੋਥਿਸਿਸ (ਇਹ ਕਿ ਗਰੁੱਪਾਂ ਵਿਚ ਕੋਈ ਵਾਸਤਵਿਕ ਅੰਤਰ ਨਹੀਂ ਹੈ) ਦੇ ਖਿਲਾਫ ਮਜ਼ਬੂਤ ਸਬੂਤ ਦਿੰਦਾ ਹੈ।
• ਰੂਪਾਂਤਰਣ ਦਰ ਦਾ ਅੰਤਰ: ਇਹ ਦਰਸਾਉਂਦਾ ਹੈ ਕਿ ਤੁਹਾਡਾ ਵੈਰੀਏਸ਼ਨ ਤੁਹਾਡੇ ਕੰਟਰੋਲ ਨਾਲ ਤੁਲਨਾ ਕਰਨ 'ਤੇ ਕਿੰਨਾ ਵਧੀਆ (ਜਾਂ ਬੁਰਾ) ਕੰਮ ਕਰ ਰਿਹਾ ਹੈ, ਪ੍ਰਤੀਸ਼ਤ ਬਿੰਦੂਆਂ ਵਿੱਚ।
• ਅੰਕੜਾ ਸੰਕੇਤਕਤਾ: ਆਮ ਤੌਰ 'ਤੇ, ਜੇਕਰ p-ਮੂਲ 0.05 (5%) ਤੋਂ ਘੱਟ ਹੈ, ਤਾਂ ਨਤੀਜਾ ਅੰਕੜਾ ਸੰਕੇਤਕ ਮੰਨਿਆ ਜਾਂਦਾ ਹੈ। ਇਹ ਕਲਕੂਲੇਟਰ ਇਸ ਥਰਸ਼ਹੋਲਡ ਨੂੰ ਸੰਕੇਤਕਤਾ ਨਿਰਧਾਰਿਤ ਕਰਨ ਲਈ ਵਰਤਦਾ ਹੈ।

ਨਤੀਜਿਆਂ ਦੀ ਵਿਆਖਿਆ

• ਜੇ ਨਤੀਜਾ "ਅੰਕੜਾ ਸੰਕੇਤਕ" ਹੈ, ਤਾਂ ਇਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਤੁਸੀਂ ਯਕੀਨੀ ਹੋ ਸਕਦੇ ਹੋ (95% ਯਕੀਨੀਤਾ ਨਾਲ) ਕਿ ਤੁਹਾਡੇ ਕੰਟਰੋਲ ਅਤੇ ਵੈਰੀਏਸ਼ਨ ਗਰੁੱਪਾਂ ਵਿਚਕਾਰ ਦੇਖੇ ਗਏ ਅੰਤਰ ਵਾਸਤਵ ਵਿੱਚ ਹੈ ਅਤੇ ਬੇਕਾਰ ਨਹੀਂ ਹੈ।
• ਜੇ ਨਤੀਜਾ "ਅੰਕੜਾ ਸੰਕੇਤਕ ਨਹੀਂ" ਹੈ, ਤਾਂ ਇਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਗਰੁੱਪਾਂ ਵਿਚਕਾਰ ਵਾਸਤਵਿਕ ਅੰਤਰ ਹੋਣ ਦਾ ਕੋਈ ਸਬੂਤ ਨਹੀਂ ਹੈ। ਤੁਹਾਨੂੰ ਸ਼ਾਇਦ ਟੈਸਟ ਨੂੰ ਹੋਰ ਸਮੇਂ ਲਈ ਚਲਾਉਣ ਜਾਂ ਹੋਰ ਭਾਗੀਦਾਰਾਂ ਨਾਲ ਚਲਾਉਣ ਦੀ ਲੋੜ ਹੋ ਸਕਦੀ ਹੈ।

ਸੀਮਾਵਾਂ ਅਤੇ ਵਿਚਾਰ

• ਇਹ ਕਲਕੂਲੇਟਰ ਇੱਕ ਨਾਰਮਲ ਵੰਡ ਦੀ ਧਾਰਨਾ ਕਰਦਾ ਹੈ ਅਤੇ ਗਣਨਾ ਲਈ ਦੋ-ਪਾਸਾ z-ਟੈਸਟ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ।
• ਇਹ ਬਹੁਤ ਸਾਰੇ ਟੈਸਟਿੰਗ, ਲਗਾਤਾਰ ਟੈਸਟਿੰਗ ਜਾਂ ਸੇਗਮੈਂਟ ਵਿਸ਼ਲੇਸ਼ਣ ਵਰਗੇ ਕਾਰਕਾਂ ਨੂੰ ਧਿਆਨ ਵਿੱਚ ਨਹੀਂ ਰੱਖਦਾ।
• ਹਮੇਸ਼ਾ ਅੰਕੜਾ ਸੰਕੇਤਕਤਾ ਦੇ ਨਾਲ ਪ੍ਰਯੋਗਿਕ ਸੰਕੇਤਕਤਾ ਨੂੰ ਵੀ ਧਿਆਨ ਵਿੱਚ ਰੱਖੋ। ਇੱਕ ਅੰਕੜਾ ਸੰਕੇਤਕ ਨਤੀਜਾ ਹਮੇਸ਼ਾ ਤੁਹਾਡੇ ਕਾਰੋਬਾਰ ਲਈ ਪ੍ਰਯੋਗਿਕ ਮਹੱਤਵ ਨਹੀਂ ਰੱਖਦਾ।
• ਬਹੁਤ ਛੋਟੇ ਨਮੂਨਾ ਆਕਾਰਾਂ (ਆਮ ਤੌਰ 'ਤੇ 30 ਤੋਂ ਘੱਟ ਪ੍ਰਤੀ ਗਰੁੱਪ) ਲਈ, ਨਾਰਮਲ ਵੰਡ ਦੀ ਧਾਰਨਾ ਸ਼ਾਇਦ ਸਹੀ ਨਹੀਂ ਰਹਿੰਦੀ, ਅਤੇ ਹੋਰ ਅੰਕੜਾ ਵਿਧੀਆਂ ਜ਼ਿਆਦਾ ਉਚਿਤ ਹੋ ਸਕਦੀਆਂ ਹਨ।
• ਜੇਕਰ ਰੂਪਾਂਤਰਣ ਦਰਾਂ 0% ਜਾਂ 100% ਦੇ ਬਹੁਤ ਨੇੜੇ ਹਨ, ਤਾਂ ਨਾਰਮਲ ਅਨੁਮਾਨ ਟੁੱਟ ਸਕਦਾ ਹੈ, ਅਤੇ ਸਹੀ ਵਿਧੀਆਂ ਦੀ ਲੋੜ ਹੋ ਸਕਦੀ ਹੈ।

A/B ਟੈਸਟਿੰਗ ਲਈ ਸਭ ਤੋਂ ਵਧੀਆ ਅਭਿਆਸ

1. ਇੱਕ ਸਾਫ਼ ਹਿਪੋਥਿਸਿਸ ਰੱਖੋ: ਟੈਸਟ ਚਲਾਉਣ ਤੋਂ ਪਹਿਲਾਂ, ਇਹ ਸਾਫ਼ ਤੌਰ 'ਤੇ ਨਿਰਧਾਰਿਤ ਕਰੋ ਕਿ ਤੁਸੀਂ ਕੀ ਟੈਸਟ ਕਰ ਰਹੇ ਹੋ ਅਤੇ ਕਿਉਂ।
2. ਉਚਿਤ ਅਵਧੀ ਲਈ ਟੈਸਟ ਚਲਾਓ: ਟੈਸਟ ਨੂੰ ਬਹੁਤ ਜਲਦੀ ਨਾ ਰੋਕੋ ਜਾਂ ਬਹੁਤ ਲੰਬੇ ਸਮੇਂ ਲਈ ਚਲਾਉਣ ਨਾ ਦਿਓ।
3. ਇੱਕ ਸਮੇਂ ਵਿੱਚ ਇੱਕ ਚਰ ਨੂੰ ਟੈਸਟ ਕਰੋ: ਇਹ ਹਰ ਬਦਲਾਅ ਦੇ ਪ੍ਰਭਾਵ ਨੂੰ ਇਕੱਲਾ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ।
4. ਇੱਕ ਵੱਡੇ ਨਮੂਨਾ ਆਕਾਰ ਦੀ ਵਰਤੋਂ ਕਰੋ: ਵੱਡੇ ਨਮੂਨਾ ਆਕਾਰ ਜ਼ਿਆਦਾ ਭਰੋਸੇਯੋਗ ਨਤੀਜੇ ਪ੍ਰਦਾਨ ਕਰਦੇ ਹਨ।
5. ਬਾਹਰੀ ਕਾਰਕਾਂ ਤੋਂ ਸਾਵਧਾਨ ਰਹੋ: ਮੌਸਮੀ ਬਦਲਾਅ, ਮਾਰਕੀਟਿੰਗ ਮੁਹਿੰਮਾਂ, ਆਦਿ ਤੁਹਾਡੇ ਨਤੀਜਿਆਂ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰ ਸਕਦੇ ਹਨ।

ਉਦਾਹਰਣ

1. ਕੰਟਰੋਲ ਗਰੁੱਪ: 1000 ਦੌਰੇ, 100 ਰੂਪਾਂਤਰਣ ਵੈਰੀਏਸ਼ਨ ਗਰੁੱਪ: 1000 ਦੌਰੇ, 150 ਰੂਪਾਂਤਰਣ ਨਤੀਜਾ: ਅੰਕੜਾ ਸੰਕੇਤਕ ਸੁਧਾਰ

2. ਕੰਟਰੋਲ ਗਰੁੱਪ: 500 ਦੌਰੇ, 50 ਰੂਪਾਂਤਰਣ ਵੈਰੀਏਸ਼ਨ ਗਰੁੱਪ: 500 ਦੌਰੇ, 55 ਰੂਪਾਂਤਰਣ ਨਤੀਜਾ: ਅੰਕੜਾ ਸੰਕੇਤਕ ਨਹੀਂ

3. ਕਿਨਾਰੇ ਦਾ ਮਾਮਲਾ - ਛੋਟਾ ਨਮੂਨਾ ਆਕਾਰ: ਕੰਟਰੋਲ ਗਰੁੱਪ: 20 ਦੌਰੇ, 2 ਰੂਪਾਂਤਰਣ ਵੈਰੀਏਸ਼ਨ ਗਰੁੱਪ: 20 ਦੌਰੇ, 6 ਰੂਪਾਂਤਰਣ ਨਤੀਜਾ: ਅੰਕੜਾ ਸੰਕੇਤਕ ਨਹੀਂ (ਵੱਡੇ ਪ੍ਰਤੀਸ਼ਤ ਅੰਤਰ ਦੇ ਬਾਵਜੂਦ)

4. ਕਿਨਾਰੇ ਦਾ ਮਾਮਲਾ - ਵੱਡਾ ਨਮੂਨਾ ਆਕਾਰ: ਕੰਟਰੋਲ ਗਰੁੱਪ: 1,000,000 ਦੌਰੇ, 200,000 ਰੂਪਾਂਤਰਣ ਵੈਰੀਏਸ਼ਨ ਗਰੁੱਪ: 1,000,000 ਦੌਰੇ, 201,000 ਰੂਪਾਂਤਰਣ ਨਤੀਜਾ: ਅੰਕੜਾ ਸੰਕੇਤਕ (ਵੱਡੇ ਪ੍ਰਤੀਸ਼ਤ ਅੰਤਰ ਦੇ ਬਾਵਜੂਦ)

5. ਕਿਨਾਰੇ ਦਾ ਮਾਮਲਾ - ਅਤਿ ਰੂਪਾਂਤਰਣ ਦਰਾਂ: ਕੰਟਰੋਲ ਗਰੁੱਪ: 10,000 ਦੌਰੇ, 9,950 ਰੂਪਾਂਤਰਣ ਵੈਰੀਏਸ਼ਨ ਗਰੁੱਪ: 10,000 ਦੌਰੇ, 9,980 ਰੂਪਾਂਤਰਣ ਨਤੀਜਾ: ਅੰਕੜਾ ਸੰਕੇਤਕ, ਪਰ ਨਾਰਮਲ ਅਨੁਮਾਨ ਸ਼ਾਇਦ ਭਰੋਸੇਯੋਗ ਨਾ ਹੋਵੇ

ਯਾਦ ਰੱਖੋ, A/B ਟੈਸਟਿੰਗ ਇੱਕ ਚੱਲਦਾ ਪ੍ਰਕਿਰਿਆ ਹੈ। ਹਰ ਟੈਸਟ ਤੋਂ ਪ੍ਰਾਪਤ ਕੀਤੇ ਗਏ ਅੰਕੜਿਆਂ ਨੂੰ ਆਪਣੇ ਭਵਿੱਖ ਦੇ ਪ੍ਰਯੋਗਾਂ ਨੂੰ ਜਾਣਕਾਰੀ ਦੇਣ ਲਈ ਵਰਤੋਂ ਅਤੇ ਆਪਣੇ ਡਿਜੀਟਲ ਉਤਪਾਦਾਂ ਅਤੇ ਮਾਰਕੀਟਿੰਗ ਯਤਨਾਂ ਵਿੱਚ ਲਗਾਤਾਰ ਸੁਧਾਰ ਕਰੋ।

ਕੋਡ ਸਨਿੱਪੇਟਸ

ਇਹਾਂ ਵੱਖ-ਵੱਖ ਪ੍ਰੋਗ੍ਰਾਮਿੰਗ ਭਾਸ਼ਾਵਾਂ ਵਿੱਚ A/B ਟੈਸਟ ਗਣਨਾ ਦੇ ਨਿਰਮਾਣ ਹਨ:

1=NORM.S.DIST((B2/A2-D2/C2)/SQRT((B2+D2)/(A2+C2)*(1-(B2+D2)/(A2+C2))*(1/A2+1/C2)),TRUE)*2
2

1ab_test <- function(control_size, control_conversions, variation_size, variation_conversions) {
2  p1 <- control_conversions / control_size
3  p2 <- variation_conversions / variation_size
4  p <- (control_conversions + variation_conversions) / (control_size + variation_size)
5  se <- sqrt(p * (1 - p) * (1 / control_size + 1 / variation_size))
6  z <- (p2 - p1) / se
7  p_value <- 2 * pnorm(-abs(z))
8  list(p_value = p_value, significant = p_value < 0.05)
9}
10

1import scipy.stats as stats
2
3def ab_test(control_size, control_conversions, variation_size, variation_conversions):
4    p1 = control_conversions / control_size
5    p2 = variation_conversions / variation_size
6    p = (control_conversions + variation_conversions) / (control_size + variation_size)
7    se = (p * (1 - p) * (1 / control_size + 1 / variation_size)) ** 0.5
8    z = (p2 - p1) / se
9    p_value = 2 * (1 - stats.norm.cdf(abs(z)))
10    return {"p_value": p_value, "significant": p_value < 0.05}
11

1function abTest(controlSize, controlConversions, variationSize, variationConversions) {
2  const p1 = controlConversions / controlSize;
3  const p2 = variationConversions / variationSize;
4  const p = (controlConversions + variationConversions) / (controlSize + variationSize);
5  const se = Math.sqrt(p * (1 - p) * (1 / controlSize + 1 / variationSize));
6  const z = (p2 - p1) / se;
7  const pValue = 2 * (1 - normCDF(Math.abs(z)));
8  return { pValue, significant: pValue < 0.05 };
9}
10
11function normCDF(x) {
12  const t = 1 / (1 + 0.2316419 * Math.abs(x));
13  const d = 0.3989423 * Math.exp(-x * x / 2);
14  let prob = d * t * (0.3193815 + t * (-0.3565638 + t * (1.781478 + t * (-1.821256 + t * 1.330274))));
15  if (x > 0) prob = 1 - prob;
16  return prob;
17}
18

ਵਿਜ਼ੁਅਲਾਈਜ਼ੇਸ਼ਨ

ਇਹਾਂ ਇੱਕ SVG ਡਾਇਗ੍ਰਾਮ ਹੈ ਜੋ A/B ਟੈਸਟਿੰਗ ਵਿੱਚ ਅੰਕੜਾ ਸੰਕੇਤਕਤਾ ਦੇ ਵਿਚਾਰ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ:

ਇਹ ਡਾਇਗ੍ਰਾਮ ਇੱਕ ਨਾਰਮਲ ਵੰਡ ਦੀ ਲਹਿਰ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ, ਜੋ ਸਾਡੇ A/B ਟੈਸਟ ਗਣਨਾਵਾਂ ਦਾ ਆਧਾਰ ਹੈ। ਮੀਨ ਤੋਂ -1.96 ਅਤੇ +1.96 ਮਿਆਰੀ ਵਿਖਰਾਵਾਂ ਦੇ ਵਿਚਕਾਰ ਦਾ ਖੇਤਰ 95% ਭਰੋਸੇ ਦੇ ਅੰਤਰਾਲ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ। ਜੇ ਤੁਹਾਡੇ ਕੰਟਰੋਲ ਅਤੇ ਵੈਰੀਏਸ਼ਨ ਗਰੁੱਪਾਂ ਵਿਚਕਾਰ ਦਾ ਅੰਤਰ ਇਸ ਅੰਤਰਾਲ ਦੇ ਬਾਹਰ ਪੈਂਦਾ ਹੈ, ਤਾਂ ਇਸਨੂੰ 0.05 ਪੱਧਰ 'ਤੇ ਅੰਕੜਾ ਸੰਕੇਤਕ ਮੰਨਿਆ ਜਾਂਦਾ ਹੈ।

ਹਵਾਲੇ

1. Kohavi, R., & Longbotham, R. (2017). Online Controlled Experiments and A/B Testing. Encyclopedia of Machine Learning and Data Mining, 922-929.
2. Stucchio, C. (2015). Bayesian A/B Testing at VWO. Visual Website Optimizer.
3. Siroker, D., & Koomen, P. (2013). A/B Testing: The Most Powerful Way to Turn Clicks Into Customers. John Wiley & Sons.
4. [Georgiev, G. Z. (2021). A/B Testing Statistical Significance Calculator. Calculator.net](https://www.calculator.net/ab-testing-calculator.html)
5. Kim, E. (2013). A/B Testing Guide. Harvard Business Review.

ਇਹ ਅੱਪਡੇਟ A/B ਟੈਸਟਿੰਗ ਦੀ ਇੱਕ ਵਧੀਆ ਅਤੇ ਵਿਸਥਾਰਿਤ ਵਿਆਖਿਆ ਪ੍ਰਦਾਨ ਕਰਦੇ ਹਨ, ਜਿਸ ਵਿੱਚ ਗਣਿਤ ਫਾਰਮੂਲੇ, ਕੋਡ ਨਿਰਮਾਣ, ਇਤਿਹਾਸਕ ਸੰਦਰਭ ਅਤੇ ਵਿਜ਼ੂਅਲ ਪ੍ਰਤੀਨਿਧੀ ਸ਼ਾਮਲ ਹਨ। ਸਮੱਗਰੀ ਹੁਣ ਵੱਖ-ਵੱਖ ਕਿਨਾਰੇ ਦੇ ਮਾਮਲਿਆਂ ਨੂੰ ਸੰਬੋਧਨ ਕਰਦੀ ਹੈ ਅਤੇ ਵਿਸ਼ੇ ਦੇ ਮਾਮਲੇ ਦੀ ਹੋਰ ਵਿਸਥਾਰਿਤ ਸਲਾਹ ਦਿੰਦੀ ਹੈ।