Kalkulator Ujian A/B

Pengenalan

Ujian A/B adalah kaedah penting dalam pemasaran digital, pembangunan produk, dan pengoptimuman pengalaman pengguna. Ia melibatkan perbandingan dua versi halaman web atau aplikasi antara satu sama lain untuk menentukan yang mana yang berprestasi lebih baik. Kalkulator Ujian A/B kami membantu anda menentukan kepentingan statistik hasil ujian anda, memastikan bahawa anda membuat keputusan berdasarkan data.

Formula

Kalkulator ujian A/B menggunakan kaedah statistik untuk menentukan jika perbezaan antara dua kumpulan (kawalan dan variasi) adalah signifikan. Inti dari pengiraan ini melibatkan pengiraan skor z dan nilai p yang sepadan.

1. Kira kadar penukaran untuk setiap kumpulan:

   $p_1 = \frac{x_1}{n_1}$ dan $p_2 = \frac{x_2}{n_2}$

   Di mana:

   • $p_1$ dan $p_2$ adalah kadar penukaran untuk kumpulan kawalan dan variasi
   • $x_1$ dan $x_2$ adalah jumlah penukaran
   • $n_1$ dan $n_2$ adalah jumlah pelawat

2. Kira proporasi terkumpul:

   $p = \frac{x_1 + x_2}{n_1 + n_2}$

3. Kira ralat piawai:

   $SE = \sqrt{p(1-p)(\frac{1}{n_1} + \frac{1}{n_2})}$

4. Kira skor z:

   $z = \frac{p_2 - p_1}{SE}$

5. Kira nilai p:

   Nilai p dikira menggunakan fungsi pengedaran kumulatif bagi pengedaran normal standard. Dalam kebanyakan bahasa pengaturcaraan, ini dilakukan menggunakan fungsi terbina dalam.

6. Tentukan kepentingan statistik:

   Jika nilai p kurang daripada tahap kepentingan yang dipilih (biasanya 0.05), keputusan dianggap signifikan secara statistik.

Penting untuk diperhatikan bahawa kaedah ini menganggap pengedaran normal, yang biasanya sah untuk saiz sampel yang besar. Untuk saiz sampel yang sangat kecil atau kadar penukaran yang ekstrem, kaedah statistik yang lebih maju mungkin diperlukan.

Kes Penggunaan

Ujian A/B mempunyai pelbagai aplikasi di pelbagai industri:

1. E-dagang: Menguji pelbagai penerangan produk, gambar, atau strategi harga untuk meningkatkan jualan.
2. Pemasaran Digital: Membandingkan subjek emel, salinan iklan, atau reka bentuk halaman pendaratan untuk meningkatkan kadar klik.
3. Pembangunan Perisian: Menguji pelbagai reka bentuk antara muka pengguna atau pelaksanaan ciri untuk meningkatkan penglibatan pengguna.
4. Penciptaan Kandungan: Menilai pelbagai tajuk atau format kandungan untuk meningkatkan bacaan atau perkongsian.
5. Penjagaan Kesihatan: Membandingkan keberkesanan pelbagai protokol rawatan atau kaedah komunikasi pesakit.

Alternatif

Walaupun ujian A/B banyak digunakan, terdapat kaedah alternatif untuk ujian perbandingan:

1. Ujian Multivariat: Menguji pelbagai pembolehubah secara serentak, membolehkan perbandingan yang lebih kompleks tetapi memerlukan saiz sampel yang lebih besar.
2. Algoritma Bandit: Mengagihkan trafik secara dinamik kepada variasi yang lebih berprestasi, mengoptimumkan hasil dalam masa nyata.
3. Ujian A/B Bayesian: Menggunakan inferens Bayesian untuk mengemas kini kebarangkalian secara berterusan semasa data dikumpulkan, memberikan hasil yang lebih nuansa.
4. Analisis Kohort: Membandingkan tingkah laku kumpulan pengguna yang berbeza dari semasa ke semasa, berguna untuk memahami kesan jangka panjang.

Sejarah

Konsep ujian A/B mempunyai akar dalam penyelidikan pertanian dan perubatan dari awal abad ke-20. Sir Ronald Fisher, seorang ahli statistik British, mempelopori penggunaan ujian terkawal rawak pada tahun 1920-an, meletakkan asas untuk ujian A/B moden.

Dalam alam digital, ujian A/B mendapat perhatian pada akhir 1990-an dan awal 2000-an dengan kebangkitan e-dagang dan pemasaran digital. Penggunaan ujian A/B oleh Google untuk menentukan jumlah hasil carian yang optimum untuk dipaparkan (2000) dan penggunaan meluas Amazon terhadap kaedah ini untuk pengoptimuman laman web sering disebut sebagai momen penting dalam popularisasi ujian A/B digital.

Kaedah statistik yang digunakan dalam ujian A/B telah berkembang dari masa ke masa, dengan ujian awal bergantung pada perbandingan kadar penukaran yang sederhana. Pengenalan teknik statistik yang lebih canggih, seperti penggunaan skor z dan nilai p, telah meningkatkan ketepatan dan kebolehpercayaan hasil ujian A/B.

Hari ini, ujian A/B adalah bahagian penting dalam pengambilan keputusan berdasarkan data di banyak industri, dengan banyak alat dan platform perisian yang tersedia untuk memudahkan proses tersebut.

Cara Menggunakan Kalkulator Ini

1. Masukkan jumlah pelawat (saiz) untuk kumpulan kawalan anda.
2. Masukkan jumlah penukaran untuk kumpulan kawalan anda.
3. Masukkan jumlah pelawat (saiz) untuk kumpulan variasi anda.
4. Masukkan jumlah penukaran untuk kumpulan variasi anda.
5. Kalkulator akan secara automatik mengira hasilnya.

Apa Maksud Hasilnya

• Nilai p: Ini adalah kebarangkalian bahawa perbezaan dalam kadar penukaran antara kumpulan kawalan dan variasi anda berlaku secara kebetulan. Nilai p yang lebih rendah menunjukkan bukti yang lebih kuat menentang hipotesis nol (bahawa tiada perbezaan sebenar antara kumpulan).
• Perbezaan Kadar Penukaran: Ini menunjukkan seberapa baik (atau buruk) variasi anda berbanding dengan kawalan, dalam mata peratusan.
• Kepentingan Statistik: Secara amnya, keputusan dianggap signifikan secara statistik jika nilai p kurang daripada 0.05 (5%). Kalkulator ini menggunakan ambang ini untuk menentukan kepentingan.

Menafsirkan Hasil

• Jika keputusan adalah "Signifikan Secara Statistik", ia bermakna anda boleh yakin (dengan 95% kepastian) bahawa perbezaan yang diperhatikan antara kumpulan kawalan dan variasi anda adalah nyata dan bukan disebabkan oleh kebetulan rawak.
• Jika keputusan adalah "Tidak Signifikan Secara Statistik", ia bermakna tiada cukup bukti untuk menyimpulkan bahawa terdapat perbezaan nyata antara kumpulan. Anda mungkin perlu menjalankan ujian lebih lama atau dengan lebih banyak peserta.

Had dan Pertimbangan

• Kalkulator ini menganggap pengedaran normal dan menggunakan ujian z dua hala untuk pengiraan.
• Ia tidak mengambil kira faktor seperti ujian berganda, ujian berturut-turut, atau analisis segmen.
• Sentiasa pertimbangkan kepentingan praktikal di samping kepentingan statistik. Keputusan yang signifikan secara statistik mungkin tidak selalu penting secara praktikal untuk perniagaan anda.
• Untuk saiz sampel yang sangat kecil (biasanya kurang daripada 30 setiap kumpulan), anggapan pengedaran normal mungkin tidak sah, dan kaedah statistik lain mungkin lebih sesuai.
• Untuk kadar penukaran yang sangat dekat dengan 0% atau 100%, anggapan normal mungkin tidak berfungsi, dan kaedah tepat mungkin diperlukan.

Amalan Terbaik untuk Ujian A/B

1. Ada Hipotesis yang Jelas: Sebelum menjalankan ujian, dengan jelas tentukan apa yang anda uji dan mengapa.
2. Jalankan Ujian untuk Tempoh yang Sesuai: Jangan berhenti ujian terlalu awal atau biarkan ia berjalan terlalu lama.
3. Uji Satu Pembolehubah pada Satu Masa: Ini membantu mengasingkan kesan setiap perubahan.
4. Gunakan Saiz Sampel yang Cukup Besar: Saiz sampel yang lebih besar memberikan hasil yang lebih boleh dipercayai.
5. Sedar tentang Faktor Luaran: Perubahan musiman, kempen pemasaran, dll., boleh mempengaruhi hasil anda.

Contoh

1. Kumpulan Kawalan: 1000 pelawat, 100 penukaran Kumpulan Variasi: 1000 pelawat, 150 penukaran Hasil: Peningkatan signifikan secara statistik

2. Kumpulan Kawalan: 500 pelawat, 50 penukaran Kumpulan Variasi: 500 pelawat, 55 penukaran Hasil: Tidak signifikan secara statistik

3. Kes Tepi - Saiz Sampel Kecil: Kumpulan Kawalan: 20 pelawat, 2 penukaran Kumpulan Variasi: 20 pelawat, 6 penukaran Hasil: Tidak signifikan secara statistik (walaupun terdapat perbezaan peratusan yang besar)

4. Kes Tepi - Saiz Sampel Besar: Kumpulan Kawalan: 1,000,000 pelawat, 200,000 penukaran Kumpulan Variasi: 1,000,000 pelawat, 201,000 penukaran Hasil: Signifikan secara statistik (walaupun terdapat perbezaan peratusan yang kecil)

5. Kes Tepi - Kadar Penukaran Ekstrem: Kumpulan Kawalan: 10,000 pelawat, 9,950 penukaran Kumpulan Variasi: 10,000 pelawat, 9,980 penukaran Hasil: Signifikan secara statistik, tetapi anggapan normal mungkin tidak boleh dipercayai

Ingat, ujian A/B adalah proses berterusan. Gunakan wawasan yang diperoleh dari setiap ujian untuk memaklumkan eksperimen masa depan anda dan terus meningkatkan produk digital dan usaha pemasaran anda.

Potongan Kod

Berikut adalah pelaksanaan pengiraan ujian A/B dalam pelbagai bahasa pengaturcaraan:

1=NORM.S.DIST((B2/A2-D2/C2)/SQRT((B2+D2)/(A2+C2)*(1-(B2+D2)/(A2+C2))*(1/A2+1/C2)),TRUE)*2
2

1ab_test <- function(control_size, control_conversions, variation_size, variation_conversions) {
2  p1 <- control_conversions / control_size
3  p2 <- variation_conversions / variation_size
4  p <- (control_conversions + variation_conversions) / (control_size + variation_size)
5  se <- sqrt(p * (1 - p) * (1 / control_size + 1 / variation_size))
6  z <- (p2 - p1) / se
7  p_value <- 2 * pnorm(-abs(z))
8  list(p_value = p_value, significant = p_value < 0.05)
9}
10

1import scipy.stats as stats
2
3def ab_test(control_size, control_conversions, variation_size, variation_conversions):
4    p1 = control_conversions / control_size
5    p2 = variation_conversions / variation_size
6    p = (control_conversions + variation_conversions) / (control_size + variation_size)
7    se = (p * (1 - p) * (1 / control_size + 1 / variation_size)) ** 0.5
8    z = (p2 - p1) / se
9    p_value = 2 * (1 - stats.norm.cdf(abs(z)))
10    return {"p_value": p_value, "significant": p_value < 0.05}
11

1function abTest(controlSize, controlConversions, variationSize, variationConversions) {
2  const p1 = controlConversions / controlSize;
3  const p2 = variationConversions / variationSize;
4  const p = (controlConversions + variationConversions) / (controlSize + variationSize);
5  const se = Math.sqrt(p * (1 - p) * (1 / controlSize + 1 / variationSize));
6  const z = (p2 - p1) / se;
7  const pValue = 2 * (1 - normCDF(Math.abs(z)));
8  return { pValue, significant: pValue < 0.05 };
9}
10
11function normCDF(x) {
12  const t = 1 / (1 + 0.2316419 * Math.abs(x));
13  const d = 0.3989423 * Math.exp(-x * x / 2);
14  let prob = d * t * (0.3193815 + t * (-0.3565638 + t * (1.781478 + t * (-1.821256 + t * 1.330274))));
15  if (x > 0) prob = 1 - prob;
16  return prob;
17}
18

Visualisasi

Berikut adalah diagram SVG yang menggambarkan konsep kepentingan statistik dalam ujian A/B:

Diagram ini menunjukkan lengkung pengedaran normal, yang menjadi asas bagi pengiraan ujian A/B kami. Kawasan antara -1.96 dan +1.96 sisihan piawai dari purata mewakili julat keyakinan 95%. Jika perbezaan antara kumpulan kawalan dan variasi anda jatuh di luar julat ini, ia dianggap signifikan secara statistik pada tahap 0.05.

Rujukan

1. Kohavi, R., & Longbotham, R. (2017). Ujian Terkawal Dalam Talian dan Ujian A/B. Ensiklopedia Pembelajaran Mesin dan Perlombongan Data, 922-929.
2. Stucchio, C. (2015). Ujian A/B Bayesian di VWO. Visual Website Optimizer.
3. Siroker, D., & Koomen, P. (2013). Ujian A/B: Cara Paling Berkuasa untuk Menukar Klik kepada Pelanggan. John Wiley & Sons.
4. [Georgiev, G. Z. (2021). Kalkulator Kepentingan Statistik Ujian A/B. Calculator.net](https://www.calculator.net/ab-testing-calculator.html)
5. Kim, E. (2013). Panduan Ujian A/B. Harvard Business Review.

Kemaskini ini memberikan penjelasan yang lebih komprehensif dan terperinci mengenai ujian A/B, termasuk formula matematik, pelaksanaan kod, konteks sejarah, dan representasi visual. Kandungan kini menangani pelbagai kes tepi dan memberikan rawatan yang lebih menyeluruh terhadap subjek ini.