Mở đầu — vì sao bài này quan trọng
Hãy tưởng tượng bạn vừa chạy xong một thí nghiệm A/B trên trang chủ. Sếp hỏi bạn: "Kết quả thế nào rồi?". Nếu bạn theo trường phái Frequentist, bạn sẽ trả lời: "p-value bằng 0.03, có ý nghĩa thống kê, nhưng em chưa biết chắc biến thể B thực sự tốt hơn bao nhiêu phần trăm". Nếu bạn theo trường phái Bayesian, bạn sẽ trả lời: "Có 94% khả năng biến thể B tốt hơn biến thể A, và mức tăng kỳ vọng khoảng 5%".
Cảm nhận sự khác biệt chứ? Cùng một bộ dữ liệu, nhưng hai cách diễn giải cho ra hai câu trả lời khác nhau về bản chất. Câu trả lời của Bayesian nghe tự nhiên hơn, dễ giải thích cho sếp hơn — nhưng đằng sau nó là cả một triết lý thống kê khác hẳn.
Đây là một trong những chủ đề khiến nhiều Growth PM bối rối nhất. Phần lớn chúng ta học A/B testing theo kiểu Frequentist (p-value, confidence interval, sample size cố định) vì đó là cách "kinh điển". Nhưng càng ngày càng nhiều nền tảng hiện đại — VWO, Google Optimize trước đây, và nhiều công cụ in-house tại các công ty công nghệ lớn — lại dùng Bayesian. Nếu bạn không hiểu sự khác biệt, bạn sẽ đọc sai kết quả, ra quyết định sai, và mất uy tín khi trình bày.
Bài này không bắt bạn trở thành nhà thống kê. Mục tiêu là giúp bạn hiểu rõ hai trường phái khác nhau ở điểm cốt lõi nào, mỗi cái mạnh yếu ở đâu, và quan trọng nhất: với tư cách Growth PM, khi nào nên chọn cái nào và làm sao đọc đúng con số mà công cụ đưa ra.
Khái niệm cốt lõi
Sự khác biệt giữa Frequentist và Bayesian không nằm ở công thức, mà nằm ở cách hai trường phái định nghĩa "xác suất". Hiểu điều này là hiểu được 80% vấn đề.
Frequentist nghĩ về xác suất như thế nào
Với người theo trường phái Frequentist (tần suất), xác suất là tần suất xảy ra trong dài hạn nếu lặp lại thí nghiệm vô số lần. Họ giả định có một "sự thật" cố định ngoài kia (ví dụ: conversion rate thật của biến thể B là 5.2%), và dữ liệu của bạn chỉ là một mẫu ngẫu nhiên rút ra từ thực tại đó.
Vì sự thật là cố định và dữ liệu là ngẫu nhiên, người Frequentist không bao giờ nói "xác suất biến thể B tốt hơn là 94%". Họ không được phép nói vậy, vì với họ B hoặc tốt hơn hoặc không — không có "xác suất" cho một sự thật cố định. Thay vào đó, họ hỏi: "Nếu thực ra B không khác gì A (giả thuyết H0), thì khả năng tôi quan sát được chênh lệch lớn như thế này (hoặc lớn hơn) là bao nhiêu?". Con số đó chính là p-value.
Đây là lý do p-value rất dễ bị hiểu sai. p-value KHÔNG phải là "xác suất H0 đúng". Nó là xác suất quan sát được dữ liệu (hoặc cực đoan hơn) GIẢ SỬ H0 đúng. Một câu điều kiện ngược chiều với trực giác.
Bộ công cụ của Frequentist gồm:
- p-value: ngưỡng thường dùng là 0.05.
- Confidence interval (khoảng tin cậy): ví dụ "95% CI". Lưu ý cách diễn giải đúng cũng phản trực giác — nó nghĩa là "nếu lặp thí nghiệm 100 lần, khoảng 95 lần khoảng tính ra sẽ chứa giá trị thật", chứ không phải "có 95% khả năng giá trị thật nằm trong khoảng này".
- Sample size cố định: bạn phải tính trước cần bao nhiêu mẫu, và chỉ được kết luận sau khi đủ mẫu. Nhìn dữ liệu giữa chừng rồi dừng sớm (peeking — sẽ học kỹ ở Bài 14) làm hỏng toàn bộ tính hợp lệ.
Bayesian nghĩ về xác suất như thế nào
Với người theo trường phái Bayesian, xác suất là mức độ tin tưởng (degree of belief) vào một mệnh đề, và niềm tin này được cập nhật khi có thêm dữ liệu. Họ hoàn toàn thoải mái nói "xác suất B tốt hơn A là 94%", vì với họ xác suất chính là thước đo niềm tin.
Quy trình Bayesian gồm ba thành phần:
- Prior (niềm tin ban đầu): trước khi chạy thí nghiệm, bạn đã có niềm tin nào đó về conversion rate. Ví dụ "tôi nghĩ conversion rate quanh khoảng 4–6%". Prior có thể dựa trên dữ liệu lịch sử, hoặc trung lập (uninformative prior) nếu bạn không muốn áp đặt giả định.
- Likelihood (dữ liệu quan sát): dữ liệu thực tế từ thí nghiệm.
- Posterior (niềm tin sau khi cập nhật): kết hợp prior với dữ liệu, theo định lý Bayes, cho ra phân phối niềm tin mới. Đây là đầu ra chính.
- Probability to be best: xác suất B tốt hơn A (ví dụ 94%).
- Expected loss / expected uplift: nếu chọn sai thì thiệt hại kỳ vọng bao nhiêu, hoặc lợi ích kỳ vọng nếu chọn đúng.
- Credible interval (khoảng khả tín): khác với confidence interval, khoảng này được diễn giải đúng như trực giác — "có 95% khả năng giá trị thật nằm trong khoảng này".
Bảng so sánh nhanh để ghi nhớ
| Tiêu chí | Frequentist | Bayesian |
|---|---|---|
| Xác suất là gì | Tần suất dài hạn | Mức độ tin tưởng |
| Đầu ra chính | p-value, confidence interval | Posterior, probability to be best |
| Cần prior không | Không | Có (đây là điểm gây tranh cãi) |
| Sample size | Phải cố định trước | Linh hoạt hơn, peeking ít nguy hiểm hơn |
| Dễ diễn giải cho sếp | Khó (dễ hiểu sai p-value) | Dễ ("94% khả năng B thắng") |
| Tính toán | Nhẹ, công thức đóng | Nặng hơn, thường cần mô phỏng |
Tình huống thực tế
Ví dụ 1 — Sàn TMĐT Việt Nam và cái bẫy "p-value = sự thật"
Một sàn thương mại điện tử ở TP.HCM (gọi là sàn M) chạy thí nghiệm thay nút "Mua ngay" từ màu cam sang màu đỏ. Đội growth dùng công cụ Frequentist. Sau hai tuần, p-value = 0.04, và họ kết luận "biến thể đỏ thắng có ý nghĩa thống kê".
Giám đốc sản phẩm hỏi: "Vậy chắc chắn đỏ tốt hơn bao nhiêu phần trăm?". PM trả lời nhầm: "Có 96% khả năng đỏ tốt hơn". Đây là lỗi diễn giải kinh điển — p-value 0.04 KHÔNG có nghĩa "96% khả năng đỏ thắng". Khi đội phân tích chuyển sang tính theo Bayesian trên cùng dữ liệu, "probability to be best" của biến thể đỏ thực ra chỉ là 88%, và credible interval của uplift chạy từ -0.5% đến +6%. Nghĩa là vẫn còn khả năng đỏ thực ra không tốt hơn chút nào.
Bài học: p-value dưới 0.05 không đồng nghĩa với "gần như chắc chắn thắng". Cùng một dữ liệu, góc nhìn Bayesian cho thấy mức độ bất định thật sự rõ ràng hơn. Nếu sàn M tin vào cách diễn giải sai và roll-out toàn bộ, họ có thể đang tung ra một thay đổi gần như vô tác dụng.
Ví dụ 2 — Startup SaaS và lợi thế của Bayesian khi traffic thấp
Một startup SaaS ở Singapore phục vụ thị trường Đông Nam Á có lượng truy cập khá thấp — chỉ khoảng 300 lượt đăng ký dùng thử mỗi tuần. Họ muốn test lại trang pricing. Theo cách Frequentist, để phát hiện được mức cải thiện 10% với độ tin cậy chuẩn, họ cần khoảng 6–8 tuần mới đủ sample size. Sếp không thể chờ lâu vậy.
Họ chuyển sang công cụ Bayesian (GrowthBook). Thay vì chờ đủ mẫu cố định rồi mới được nhìn, Bayesian cho phép họ theo dõi posterior cập nhật liên tục và áp dụng quy tắc dừng dựa trên expected loss: "dừng khi thiệt hại kỳ vọng của việc chọn biến thể thắng nhỏ hơn 0.1%". Sau 4 tuần, posterior cho thấy biến thể mới có 92% khả năng tốt hơn và expected loss rất nhỏ. Họ quyết định triển khai.
Bài học: Bayesian đặc biệt hữu ích khi traffic thấp và bạn cần ra quyết định linh hoạt hơn. Nó không "biến ít dữ liệu thành nhiều", nhưng cho phép bạn ra quyết định dựa trên rủi ro kinh doanh chấp nhận được, thay vì bị khóa cứng vào một con số sample size. Lưu ý: điều này không có nghĩa được phép peeking bừa bãi — quy tắc dừng vẫn phải được định nghĩa trước.
Ví dụ 3 — Khi prior cứu vãn một thí nghiệm
Một đội growth tại một ngân hàng số (digital bank) Việt Nam test một luồng onboarding mới. Họ đã chạy hàng chục thí nghiệm onboarding trước đó và biết rõ: conversion rate hoàn tất onboarding luôn quanh khoảng 30–40%, rất hiếm khi nhảy vọt lên 60%.
Trong thí nghiệm mới, do một đợt traffic bất thường (một chiến dịch quảng cáo trúng nhóm khách rất nóng), biến thể B trong ba ngày đầu cho ra conversion rate tới 58%. Công cụ Frequentist lập tức báo "có ý nghĩa thống kê, B thắng đậm". Nhưng đội dùng Bayesian với một prior thông tin (informative prior) dựa trên lịch sử 30–40%. Posterior bị "kéo" về phía thực tế hợp lý hơn, cho ra ước lượng quanh 42% và cảnh báo rằng dữ liệu còn quá ít, độ bất định còn cao. Đội quyết định chạy tiếp. Đúng như prior gợi ý, khi traffic trở lại bình thường, conversion rate của B hạ xuống còn 41%.
Bài học: Prior tốt giúp Bayesian chống lại các kết quả "ảo" do nhiễu ngắn hạn. Nhưng đây cũng là con dao hai lưỡi: nếu prior của bạn sai lệch (ví dụ bạn quá bảo thủ), nó có thể che mất một cải tiến thật sự lớn. Chọn prior là một quyết định cần cân nhắc, không phải bấm bừa.
Hướng dẫn từng bước
Đây là quy trình thực dụng để một Growth PM xử lý câu hỏi "dùng Frequentist hay Bayesian" cho từng thí nghiệm.
Bước 1 — Xác định công cụ của bạn đang dùng trường phái nào. Đừng giả định. Đọc tài liệu của công cụ. Optimizely dùng Frequentist với Sequential Testing; VWO mặc định Bayesian; GrowthBook Bayesian; nhiều hệ thống in-house dùng Frequentist với CUPED. Nếu công cụ báo "p-value", đó là Frequentist. Nếu báo "probability to beat baseline" hoặc "chance to win", đó là Bayesian.
Bước 2 — Đọc đúng con số tương ứng. Với Frequentist: nhìn p-value (so với 0.05) và confidence interval. Đừng diễn giải p-value thành xác suất thắng. Với Bayesian: nhìn probability to be best và expected loss/credible interval, và hãy tự nhắc mình rằng con số này phụ thuộc vào prior.
Bước 3 — Quyết định tiêu chí dừng TRƯỚC khi chạy. Với Frequentist, tính sample size cố định và cam kết chờ đủ. Với Bayesian, định nghĩa quy tắc dừng dựa trên expected loss hoặc thời gian tối thiểu. Dù trường phái nào, viết tiêu chí ra giấy trước khi bắt đầu để tránh tự lừa mình.
Bước 4 — Với Bayesian, chọn prior có chủ đích. Nếu có dữ liệu lịch sử đáng tin, dùng informative prior. Nếu không hoặc muốn trung lập, dùng uninformative prior và thừa nhận điều đó. Ghi lại lựa chọn prior để sau này còn audit.
Bước 5 — Diễn giải kết quả cho người không chuyên. Bayesian giúp việc này dễ hơn: "có X% khả năng biến thể này tốt hơn, và nếu chọn nó thì rủi ro thiệt hại kỳ vọng là Y%". Frequentist cần cẩn thận hơn: thay vì nói "chắc chắn thắng", hãy nói "chúng ta đủ bằng chứng để bác bỏ giả thuyết không có khác biệt, với mức tin cậy 95%".
Bước 6 — Đừng để trường phái che mất tư duy kinh doanh. Dù con số nói gì, luôn hỏi: mức uplift này có đủ lớn để đáng triển khai không? Chi phí kỹ thuật và rủi ro vận hành là bao nhiêu? Thống kê là đầu vào cho quyết định, không phải bản thân quyết định.
Lỗi thường gặp & mẹo
Lỗi 1 — Diễn giải p-value thành xác suất thắng. Đây là lỗi phổ biến nhất và nguy hiểm nhất. "p = 0.03" không phải "97% khả năng B thắng". Nếu bạn muốn nói câu đó, bạn cần một công cụ Bayesian thật sự, không phải gán nghĩa Bayesian cho con số Frequentist.
Lỗi 2 — Tưởng Bayesian cho phép peeking thoải mái. Bayesian linh hoạt hơn với việc nhìn dữ liệu liên tục, nhưng nếu bạn cứ dừng ngay khi "chance to win" vừa chạm 95% mà không có quy tắc về expected loss hay thời gian tối thiểu, bạn vẫn sẽ ra rất nhiều quyết định sai. Linh hoạt không có nghĩa là tùy tiện.
Lỗi 3 — Chọn prior tệ rồi đổ lỗi cho phương pháp. Một prior quá mạnh và sai lệch sẽ bóp méo posterior. Khi không chắc, dùng prior trung lập (weakly informative). Với traffic lớn, dữ liệu sẽ áp đảo prior nên ảnh hưởng của prior giảm dần.
Lỗi 4 — So sánh hai thí nghiệm chạy bằng hai trường phái khác nhau như thể chúng tương đương. "Thí nghiệm A có p=0.02, thí nghiệm B có chance-to-win 96%" — hai con số này không cùng đơn vị, đừng xếp hạng trực tiếp.
Mẹo 1 — Khi trình bày cho ban lãnh đạo, ngôn ngữ Bayesian thường thuyết phục hơn vì nó khớp với cách con người tư duy về rủi ro. Ngay cả khi backend là Frequentist, bạn vẫn có thể trình bày confidence interval một cách trung thực và dễ hiểu.
Mẹo 2 — Với phần lớn quyết định growth hàng ngày, sự khác biệt thực tế giữa hai trường phái không lớn khi traffic dồi dào và bạn tuân thủ kỷ luật. Khác biệt trở nên quan trọng khi traffic thấp, khi cần ra quyết định nhanh, hoặc khi cần truyền đạt rủi ro rõ ràng.
Mẹo 3 — Hỏi đội data của bạn một câu duy nhất: "Công cụ của mình dùng Frequentist hay Bayesian, và tiêu chí dừng mặc định là gì?". Câu trả lời đó định hình toàn bộ cách bạn đọc dashboard.
Bài tập thực hành
- Audit công cụ của bạn. Mở công cụ A/B testing đội bạn đang dùng. Tìm trong tài liệu xem nó là Frequentist hay Bayesian. Viết ra ba con số chính mà nó báo cáo và ý nghĩa đúng của từng con số.
- Sửa câu diễn giải sai. Lấy câu sau và viết lại cho đúng theo cả hai trường phái: "Thí nghiệm có p-value 0.05 nên có 95% khả năng biến thể mới tốt hơn." Hãy viết một phiên bản Frequentist đúng và một phiên bản Bayesian đúng.
- Tình huống traffic thấp. Sản phẩm của bạn chỉ có 200 conversion mỗi tuần. Bạn cần test một thay đổi và sếp muốn quyết định trong 3 tuần. Viết một đoạn ngắn (5–6 câu) lập luận nên dùng trường phái nào và định nghĩa tiêu chí dừng cụ thể.
- Thiết kế prior. Bạn có dữ liệu lịch sử cho thấy conversion rate luôn nằm trong khoảng 8–12%. Bạn sẽ chọn informative prior hay uninformative prior cho thí nghiệm mới? Giải thích lợi ích và rủi ro của lựa chọn đó trong một đoạn ngắn.
Tóm tắt
Frequentist và Bayesian không phải chuyện đúng/sai, mà là hai cách nhìn khác nhau về xác suất. Frequentist coi xác suất là tần suất dài hạn, cho ra p-value và confidence interval, yêu cầu sample size cố định, tính toán nhẹ nhưng cực kỳ dễ bị diễn giải sai. Bayesian coi xác suất là mức độ tin tưởng được cập nhật bằng prior và dữ liệu, cho ra những con số dễ hiểu như "94% khả năng thắng" và expected loss, linh hoạt hơn với traffic thấp và quyết định liên tục, nhưng đòi hỏi bạn chọn prior một cách có trách nhiệm.
Với tư cách Growth PM, ba điều cần khắc cốt ghi tâm: thứ nhất, luôn biết công cụ của mình thuộc trường phái nào và đọc đúng con số tương ứng; thứ hai, đừng bao giờ gán nghĩa Bayesian cho p-value Frequentist; thứ ba, dù dùng trường phái nào, kỷ luật về tiêu chí dừng và tư duy kinh doanh mới là thứ quyết định chất lượng thí nghiệm của bạn. Thống kê chỉ là công cụ — quyết định tốt vẫn nằm ở cái đầu của người dùng nó.