Máy Tính A/B Test

Giới thiệu

A/B testing là một phương pháp quan trọng trong marketing kỹ thuật số, phát triển sản phẩm và tối ưu hóa trải nghiệm người dùng. Nó liên quan đến việc so sánh hai phiên bản của một trang web hoặc ứng dụng với nhau để xác định phiên bản nào hoạt động tốt hơn. Máy tính A/B Test của chúng tôi giúp bạn xác định ý nghĩa thống kê của kết quả thử nghiệm, đảm bảo rằng bạn đưa ra quyết định dựa trên dữ liệu.

Công thức

Máy tính A/B test sử dụng các phương pháp thống kê để xác định xem sự khác biệt giữa hai nhóm (nhóm kiểm soát và nhóm biến thể) có ý nghĩa hay không. Cốt lõi của phép tính này liên quan đến việc tính toán z-score và giá trị p tương ứng.

1. Tính toán tỷ lệ chuyển đổi cho mỗi nhóm:

   $p_1 = \frac{x_1}{n_1}$ và $p_2 = \frac{x_2}{n_2}$

   Trong đó:

   • $p_1$ và $p_2$ là tỷ lệ chuyển đổi cho nhóm kiểm soát và nhóm biến thể
   • $x_1$ và $x_2$ là số lần chuyển đổi
   • $n_1$ và $n_2$ là tổng số khách truy cập

2. Tính toán tỷ lệ gộp:

   $p = \frac{x_1 + x_2}{n_1 + n_2}$

3. Tính toán sai số chuẩn:

   $SE = \sqrt{p(1-p)(\frac{1}{n_1} + \frac{1}{n_2})}$

4. Tính toán z-score:

   $z = \frac{p_2 - p_1}{SE}$

5. Tính toán giá trị p:

   Giá trị p được tính toán bằng cách sử dụng hàm phân phối tích lũy của phân phối chuẩn. Trong hầu hết các ngôn ngữ lập trình, điều này được thực hiện bằng cách sử dụng các hàm tích hợp.

6. Xác định ý nghĩa thống kê:

   Nếu giá trị p nhỏ hơn mức ý nghĩa đã chọn (thường là 0.05), kết quả được coi là có ý nghĩa thống kê.

Điều quan trọng cần lưu ý là phương pháp này giả định một phân phối chuẩn, điều này thường hợp lệ cho các kích thước mẫu lớn. Đối với các kích thước mẫu rất nhỏ hoặc tỷ lệ chuyển đổi cực đoan, các phương pháp thống kê tiên tiến hơn có thể cần thiết.

Các trường hợp sử dụng

A/B testing có một loạt ứng dụng trong nhiều ngành công nghiệp khác nhau:

1. Thương mại điện tử: Thử nghiệm các mô tả sản phẩm khác nhau, hình ảnh hoặc chiến lược định giá để tăng doanh số bán hàng.
2. Marketing kỹ thuật số: So sánh tiêu đề email, nội dung quảng cáo hoặc thiết kế trang đích để cải thiện tỷ lệ nhấp chuột.
3. Phát triển phần mềm: Thử nghiệm các thiết kế giao diện người dùng khác nhau hoặc triển khai tính năng để nâng cao sự tham gia của người dùng.
4. Tạo nội dung: Đánh giá các tiêu đề hoặc định dạng nội dung khác nhau để tăng lượng đọc hoặc chia sẻ.
5. Chăm sóc sức khỏe: So sánh hiệu quả của các giao thức điều trị khác nhau hoặc phương pháp giao tiếp với bệnh nhân.

Các phương pháp thay thế

Mặc dù A/B testing được sử dụng rộng rãi, vẫn có các phương pháp thay thế cho thử nghiệm so sánh:

1. Thử nghiệm đa biến: Thử nghiệm nhiều biến số đồng thời, cho phép so sánh phức tạp hơn nhưng yêu cầu kích thước mẫu lớn hơn.
2. Thuật toán băng nhóm: Phân bổ lưu lượng truy cập một cách động cho các biến thể hoạt động tốt hơn, tối ưu hóa kết quả trong thời gian thực.
3. Thử nghiệm A/B Bayesian: Sử dụng suy diễn Bayesian để cập nhật liên tục xác suất khi dữ liệu được thu thập, cung cấp kết quả tinh vi hơn.
4. Phân tích nhóm: So sánh hành vi của các nhóm người dùng khác nhau theo thời gian, hữu ích để hiểu các hiệu ứng lâu dài.

Lịch sử

Khái niệm A/B testing có nguồn gốc từ nghiên cứu nông nghiệp và y tế từ đầu thế kỷ 20. Sir Ronald Fisher, một nhà thống kê người Anh, đã tiên phong trong việc sử dụng thử nghiệm kiểm soát ngẫu nhiên vào những năm 1920, đặt nền tảng cho A/B testing hiện đại.

Trong lĩnh vực kỹ thuật số, A/B testing đã trở nên nổi bật vào cuối những năm 1990 và đầu những năm 2000 với sự phát triển của thương mại điện tử và marketing kỹ thuật số. Việc Google sử dụng A/B testing để xác định số lượng kết quả tìm kiếm tối ưu để hiển thị (năm 2000) và việc Amazon sử dụng rộng rãi phương pháp này để tối ưu hóa trang web thường được trích dẫn là những thời điểm quan trọng trong việc phổ biến A/B testing kỹ thuật số.

Các phương pháp thống kê được sử dụng trong A/B testing đã phát triển theo thời gian, với các thử nghiệm ban đầu dựa vào việc so sánh tỷ lệ chuyển đổi đơn giản. Việc giới thiệu các kỹ thuật thống kê tinh vi hơn, chẳng hạn như việc sử dụng z-scores và giá trị p, đã cải thiện độ chính xác và độ tin cậy của kết quả thử nghiệm A/B.

Ngày nay, A/B testing là một phần không thể thiếu trong việc ra quyết định dựa trên dữ liệu trong nhiều ngành công nghiệp, với nhiều công cụ và nền tảng phần mềm có sẵn để tạo điều kiện cho quá trình này.

Cách sử dụng máy tính này

1. Nhập số lượng khách truy cập (kích thước) cho nhóm kiểm soát của bạn.
2. Nhập số lần chuyển đổi cho nhóm kiểm soát của bạn.
3. Nhập số lượng khách truy cập (kích thước) cho nhóm biến thể của bạn.
4. Nhập số lần chuyển đổi cho nhóm biến thể của bạn.
5. Máy tính sẽ tự động tính toán kết quả.

Ý nghĩa của kết quả

• Giá trị p: Đây là xác suất mà sự khác biệt trong tỷ lệ chuyển đổi giữa các nhóm kiểm soát và biến thể của bạn xảy ra do ngẫu nhiên. Giá trị p thấp hơn cho thấy có chứng cứ mạnh hơn chống lại giả thuyết không (rằng không có sự khác biệt thực sự giữa các nhóm).
• Sự khác biệt tỷ lệ chuyển đổi: Điều này cho thấy biến thể của bạn hoạt động tốt hơn (hoặc kém hơn) so với nhóm kiểm soát, tính theo điểm phần trăm.
• Ý nghĩa thống kê: Nói chung, một kết quả được coi là có ý nghĩa thống kê nếu giá trị p nhỏ hơn 0.05 (5%). Máy tính này sử dụng ngưỡng này để xác định ý nghĩa.

Giải thích kết quả

• Nếu kết quả là "Có ý nghĩa thống kê", điều đó có nghĩa là bạn có thể tự tin (với độ tin cậy 95%) rằng sự khác biệt quan sát giữa các nhóm kiểm soát và biến thể của bạn là thực và không phải do ngẫu nhiên.
• Nếu kết quả là "Không có ý nghĩa thống kê", điều đó có nghĩa là không có đủ chứng cứ để kết luận rằng có sự khác biệt thực sự giữa các nhóm. Bạn có thể cần chạy thử nghiệm lâu hơn hoặc với nhiều người tham gia hơn.

Giới hạn và xem xét

• Máy tính này giả định một phân phối chuẩn và sử dụng kiểm định z hai phía cho phép tính.
• Nó không tính đến các yếu tố như kiểm tra nhiều lần, kiểm tra liên tiếp hoặc phân tích phân đoạn.
• Luôn xem xét ý nghĩa thực tiễn bên cạnh ý nghĩa thống kê. Một kết quả có ý nghĩa thống kê có thể không luôn quan trọng về mặt thực tiễn cho doanh nghiệp của bạn.
• Đối với các kích thước mẫu rất nhỏ (thường nhỏ hơn 30 mỗi nhóm), giả định phân phối chuẩn có thể không đúng, và các phương pháp thống kê khác có thể phù hợp hơn.
• Đối với các tỷ lệ chuyển đổi rất gần với 0% hoặc 100%, sự xấp xỉ chuẩn có thể không chính xác, và các phương pháp chính xác có thể cần thiết.

Các thực tiễn tốt nhất cho A/B testing

1. Có một giả thuyết rõ ràng: Trước khi chạy một thử nghiệm, hãy xác định rõ những gì bạn đang thử nghiệm và tại sao.
2. Chạy thử nghiệm trong khoảng thời gian thích hợp: Đừng dừng thử nghiệm quá sớm hoặc để chúng chạy quá lâu.
3. Thử nghiệm một biến số tại một thời điểm: Điều này giúp cô lập tác động của mỗi thay đổi.
4. Sử dụng kích thước mẫu đủ lớn: Kích thước mẫu lớn hơn cung cấp kết quả đáng tin cậy hơn.
5. Nhận thức về các yếu tố bên ngoài: Những thay đổi theo mùa, chiến dịch marketing, v.v., có thể ảnh hưởng đến kết quả của bạn.

Ví dụ

1. Nhóm kiểm soát: 1000 khách truy cập, 100 chuyển đổi Nhóm biến thể: 1000 khách truy cập, 150 chuyển đổi Kết quả: Cải thiện có ý nghĩa thống kê

2. Nhóm kiểm soát: 500 khách truy cập, 50 chuyển đổi Nhóm biến thể: 500 khách truy cập, 55 chuyển đổi Kết quả: Không có ý nghĩa thống kê

3. Trường hợp biên - Kích thước mẫu nhỏ: Nhóm kiểm soát: 20 khách truy cập, 2 chuyển đổi Nhóm biến thể: 20 khách truy cập, 6 chuyển đổi Kết quả: Không có ý nghĩa thống kê (dù có sự khác biệt phần trăm lớn)

4. Trường hợp biên - Kích thước mẫu lớn: Nhóm kiểm soát: 1.000.000 khách truy cập, 200.000 chuyển đổi Nhóm biến thể: 1.000.000 khách truy cập, 201.000 chuyển đổi Kết quả: Có ý nghĩa thống kê (dù có sự khác biệt phần trăm nhỏ)

5. Trường hợp biên - Tỷ lệ chuyển đổi cực đoan: Nhóm kiểm soát: 10.000 khách truy cập, 9.950 chuyển đổi Nhóm biến thể: 10.000 khách truy cập, 9.980 chuyển đổi Kết quả: Có ý nghĩa thống kê, nhưng sự xấp xỉ chuẩn có thể không đáng tin cậy

Hãy nhớ rằng A/B testing là một quá trình liên tục. Sử dụng những hiểu biết thu được từ mỗi thử nghiệm để thông báo cho các thí nghiệm trong tương lai của bạn và liên tục cải thiện các sản phẩm kỹ thuật số và nỗ lực marketing của bạn.

Đoạn mã

Dưới đây là các triển khai của phép tính A/B test trong các ngôn ngữ lập trình khác nhau:

1=NORM.S.DIST((B2/A2-D2/C2)/SQRT((B2+D2)/(A2+C2)*(1-(B2+D2)/(A2+C2))*(1/A2+1/C2)),TRUE)*2
2

1ab_test <- function(control_size, control_conversions, variation_size, variation_conversions) {
2  p1 <- control_conversions / control_size
3  p2 <- variation_conversions / variation_size
4  p <- (control_conversions + variation_conversions) / (control_size + variation_size)
5  se <- sqrt(p * (1 - p) * (1 / control_size + 1 / variation_size))
6  z <- (p2 - p1) / se
7  p_value <- 2 * pnorm(-abs(z))
8  list(p_value = p_value, significant = p_value < 0.05)
9}
10

1import scipy.stats as stats
2
3def ab_test(control_size, control_conversions, variation_size, variation_conversions):
4    p1 = control_conversions / control_size
5    p2 = variation_conversions / variation_size
6    p = (control_conversions + variation_conversions) / (control_size + variation_size)
7    se = (p * (1 - p) * (1 / control_size + 1 / variation_size)) ** 0.5
8    z = (p2 - p1) / se
9    p_value = 2 * (1 - stats.norm.cdf(abs(z)))
10    return {"p_value": p_value, "significant": p_value < 0.05}
11

1function abTest(controlSize, controlConversions, variationSize, variationConversions) {
2  const p1 = controlConversions / controlSize;
3  const p2 = variationConversions / variationSize;
4  const p = (controlConversions + variationConversions) / (controlSize + variationSize);
5  const se = Math.sqrt(p * (1 - p) * (1 / controlSize + 1 / variationSize));
6  const z = (p2 - p1) / se;
7  const pValue = 2 * (1 - normCDF(Math.abs(z)));
8  return { pValue, significant: pValue < 0.05 };
9}
10
11function normCDF(x) {
12  const t = 1 / (1 + 0.2316419 * Math.abs(x));
13  const d = 0.3989423 * Math.exp(-x * x / 2);
14  let prob = d * t * (0.3193815 + t * (-0.3565638 + t * (1.781478 + t * (-1.821256 + t * 1.330274))));
15  if (x > 0) prob = 1 - prob;
16  return prob;
17}
18

Hình ảnh

Dưới đây là một sơ đồ SVG minh họa khái niệm về ý nghĩa thống kê trong A/B testing:

Sơ đồ này cho thấy một đường cong phân phối chuẩn, là cơ sở cho các phép tính A/B test của chúng tôi. Khu vực giữa -1.96 và +1.96 độ lệch chuẩn từ trung bình đại diện cho khoảng tin cậy 95%. Nếu sự khác biệt giữa các nhóm kiểm soát và biến thể của bạn nằm ngoài khoảng này, nó được coi là có ý nghĩa thống kê ở mức 0.05.

Tài liệu tham khảo

1. Kohavi, R., & Longbotham, R. (2017). Online Controlled Experiments and A/B Testing. Encyclopedia of Machine Learning and Data Mining, 922-929.
2. Stucchio, C. (2015). Bayesian A/B Testing at VWO. Visual Website Optimizer.
3. Siroker, D., & Koomen, P. (2013). A/B Testing: The Most Powerful Way to Turn Clicks Into Customers. John Wiley & Sons.
4. [Georgiev, G. Z. (2021). A/B Testing Statistical Significance Calculator. Calculator.net](https://www.calculator.net/ab-testing-calculator.html)
5. Kim, E. (2013). A/B Testing Guide. Harvard Business Review.