Mở đầu — vì sao bài này quan trọng
Bạn vừa đi qua 59 bài học. Bạn đã biết viết hypothesis theo IF/THEN/BECAUSE, tính sample size, tránh peeking, đọc case study của Booking.com và Airbnb, hiểu CUPED và holdout group. Nhưng có một sự thật phũ phàng mà mọi mentor đều phải nói thẳng với học viên ở bài cuối cùng: một khóa học không bao giờ biến bạn thành chuyên gia thực nghiệm — nó chỉ mở cửa cho bạn.
Lĩnh vực experimentation thay đổi rất nhanh. Phương pháp Bayesian từng bị xem là "học thuật" giờ đã vào sản phẩm thương mại. CUPED — một kỹ thuật từ paper của Microsoft năm 2013 — giờ là tính năng mặc định của nhiều nền tảng. Những gì bạn học hôm nay sẽ cần được cập nhật trong 2-3 năm tới. Vì vậy, kỹ năng quan trọng nhất không phải là "biết hết" mà là biết tìm nguồn gì, khi nào, và làm sao để học liên tục mà không bị ngợp.
Bài này là tấm bản đồ tài nguyên của bạn. Tôi sẽ không liệt kê 50 cuốn sách rồi để bạn tự bơi. Thay vào đó, tôi sẽ chỉ cho bạn một lộ trình đọc có chủ đích: cuốn nào đọc trước, blog nào theo dõi hằng tuần, cộng đồng nào tham gia, và cách biến việc đọc thành kỹ năng thực chiến. Một Growth PM giỏi không phải người đọc nhiều nhất, mà là người biết chắt lọc đúng nguồn vào đúng thời điểm.
Khái niệm cốt lõi
Phân tầng tài nguyên: nền tảng, ứng dụng, và cập nhật
Hãy hình dung kho tài nguyên về experimentation theo ba tầng, giống như ba lớp của một kim tự tháp.
Tầng nền tảng (foundational) là sách và tài liệu kinh điển — những thứ thay đổi rất chậm vì chúng nói về nguyên lý thống kê và tư duy thực nghiệm. Bạn đọc một lần thật kỹ, ghi chú, rồi quay lại tham khảo nhiều năm. Đây là tầng bạn đầu tư thời gian sâu.
Tầng ứng dụng (applied) là blog kỹ thuật của các công ty, case study, và sách về growth nói chung. Chúng cho bạn thấy lý thuyết được áp dụng vào sản phẩm thật như thế nào, với những đánh đổi thật.
Tầng cập nhật (current) là newsletter, podcast, hội nghị, và cộng đồng online. Đây là nơi bạn bắt kịp những gì đang thay đổi — công cụ mới, phương pháp mới, sai lầm mới mà ngành vừa học được.
Sai lầm phổ biến của người mới là sống hoàn toàn ở tầng ba — đọc tweet, lướt newsletter, nghe podcast — mà không bao giờ ngồi xuống đọc hết một cuốn sách nền tảng. Kết quả là họ có rất nhiều "ý kiến" nhưng không có nền móng để phán đoán đúng sai. Ngược lại, người chỉ đọc sách kinh điển mà không theo dõi tầng cập nhật thì lại bị lạc hậu về công cụ và thực hành hiện đại.
Tầng nền tảng — những cuốn sách bắt buộc
"Trustworthy Online Controlled Experiments" (Ron Kohavi, Diane Tang, Ya Xu, 2020). Đây là cuốn sách quan trọng nhất trong toàn bộ danh sách, được giới trong nghề gọi thân mật là "cuốn KDD" hay "the Kohavi book". Ba tác giả từng dẫn dắt thực nghiệm tại Microsoft, Google, Airbnb và LinkedIn — họ viết từ kinh nghiệm chạy hàng trăm nghìn thí nghiệm thật. Cuốn này dạy bạn về trustworthiness (làm sao biết kết quả đáng tin), về các bẫy như SRM (Sample Ratio Mismatch), Twyman's Law (kết quả nào quá đẹp thường là sai), và OEC (Overall Evaluation Criterion). Nếu bạn chỉ đọc một cuốn duy nhất, đọc cuốn này.
"Lean Analytics" (Alistair Croll & Benjamin Yoskovitz). Cuốn này không nói riêng về A/B testing mà về tư duy đo lường cho startup: chọn đúng "One Metric That Matters", phân biệt vanity metric với actionable metric. Nó là cầu nối giữa experimentation và bối cảnh kinh doanh — vì một thí nghiệm chỉ có giá trị khi nó đo đúng thứ quan trọng với business.
"Experimentation Works" (Stefan Thomke, 2020). Tác giả là giáo sư Harvard Business School, viết cho góc nhìn quản lý và văn hóa. Đây là cuốn bạn nên đọc khi muốn thuyết phục lãnh đạo đầu tư vào experimentation, hoặc khi cần xây văn hóa thực nghiệm cho tổ chức.
"Trustworthy" về thống kê nhẹ nhàng hơn: nếu bạn thấy phần thống kê đáng sợ, cuốn "Statistics Done Wrong" (Alex Reinhart) là một cuốn mỏng, dễ đọc, chỉ ra những lỗi thống kê phổ biến nhất — rất hợp với người không học chuyên ngành thống kê.
Tầng ứng dụng — blog kỹ thuật và sách growth
Về growth nói chung, hai cái tên không thể bỏ qua là Reforge (các bài viết và chương trình của Brian Balfour, Andrew Chen) và blog của Andrew Chen ("The Cold Start Problem" cũng là một cuốn sách hay về network effects). Về sản phẩm, "Inspired" và "Empowered" của Marty Cagan giúp bạn hiểu vai trò PM rộng hơn.
Về blog kỹ thuật, hãy theo dõi engineering blog của các công ty mạnh về thực nghiệm: Airbnb, Netflix, Booking.com, Microsoft Experimentation Platform (ExP), Spotify, DoorDash, Uber. Đây là nơi các kỹ thuật như CUPED, sequential testing, hay heterogeneous treatment effects được giải thích bằng ngôn ngữ thực hành.
Tầng cập nhật — newsletter, podcast, cộng đồng
Newsletter đáng đăng ký: Lenny's Newsletter (Lenny Rachitsky — về product và growth nói chung, có rất nhiều bài về experimentation), và các newsletter của các nền tảng như Statsig, Eppo, GrowthBook — họ thường viết rất sâu về phương pháp.
Cộng đồng: Experiment Nation, các nhóm trên LinkedIn, và Reforge community. Với học viên Việt Nam, các cộng đồng như Vietnam Product Management, Growth Vietnam trên Facebook/Slack là nơi tốt để hỏi đáp bằng tiếng Việt và kết nối với người làm thật.
Tình huống thực tế
Tình huống 1: Growth PM tại một ví điện tử Việt Nam tự xây nền móng
Minh, 28 tuổi, được thăng từ vị trí Product Analyst lên Growth PM tại một ví điện tử lớn ở TP.HCM (tạm gọi là VPay). Công ty chạy A/B test khá nhiều nhưng theo kiểu "ai cũng làm theo cảm tính". Minh thường xuyên thấy các kết quả mâu thuẫn: cùng một thay đổi nút thanh toán, tuần này test ra +5%, tháng sau test lại ra -2%.
Minh quyết định dành 6 tuần đọc kỹ "Trustworthy Online Controlled Experiments". Đến chương về SRM, anh "à" lên một tiếng — anh nhận ra hệ thống chia traffic của VPay bị lệch tỉ lệ khi có người dùng quay lại nhiều lần trong ngày, khiến nhóm control và treatment không thực sự tương đương. Anh áp dụng SRM check như một bước bắt buộc trước khi đọc bất kỳ kết quả nào.
Bài học rút ra: Đọc một cuốn sách nền tảng không phải để "biết thêm" — nó cho bạn ngôn ngữ và checklist để chẩn đoán những vấn đề mà trước đây bạn không biết gọi tên. Sau khi triển khai SRM check, tỉ lệ thí nghiệm bị nghi ngờ "không đáng tin" của đội Minh giảm rõ rệt, và các tranh cãi nội bộ về số liệu cũng bớt hẳn.
Tình huống 2: Đội growth của một sàn TMĐT Đông Nam Á theo newsletter để bắt kịp công cụ
Một đội Growth tại một sàn thương mại điện tử khu vực (giả định, quy mô cỡ trung) đang dùng một công cụ A/B testing tự xây từ 4 năm trước. Họ hài lòng vì "vẫn chạy được", nhưng phân tích kết quả rất chậm — mỗi thí nghiệm mất 2-3 ngày để có báo cáo vì phải viết SQL thủ công.
Trưởng nhóm đăng ký đọc newsletter của Eppo và Statsig. Qua vài bài viết về "warehouse-native experimentation" và CUPED tích hợp sẵn, anh nhận ra ngành đã đi xa hơn nhiều so với công cụ nội bộ của họ. Anh tổ chức một buổi đánh giá build-vs-buy (đúng như Bài 26 đã dạy), và cuối cùng chuyển sang một nền tảng warehouse-native. Thời gian ra báo cáo giảm từ 2-3 ngày xuống còn vài giờ, và họ áp dụng được variance reduction mà trước đây không đủ nguồn lực để tự code.
Bài học rút ra: Tầng cập nhật (newsletter, blog nền tảng) không phải để "đọc cho vui". Nó giúp bạn biết khi nào thực hành nội bộ của mình đã lạc hậu. Nếu nhóm này chỉ đọc sách kinh điển mà không theo dõi tin tức ngành, họ sẽ không bao giờ biết warehouse-native là một lựa chọn.
Tình huống 3: Một PM mới biến việc đọc thành câu lạc bộ sách của đội
Hà là Growth PM tại một startup edtech ở Hà Nội. Cô nhận ra cả đội (gồm cô, 2 designer và 3 engineer) đều có "khoảng cách kiến thức" về thực nghiệm — mỗi người hiểu một kiểu. Thay vì tự đọc một mình, Hà lập một reading club hai tuần một lần: mỗi buổi cả đội đọc trước một chương của Kohavi book, rồi thảo luận cách áp dụng vào sản phẩm của họ.
Sau 3 tháng, kết quả không chỉ là kiến thức. Cả đội giờ có chung một ngôn ngữ: khi ai đó nói "kết quả này có mùi Twyman's Law", mọi người hiểu ngay. Khi engineer đề xuất một thay đổi, họ tự động hỏi "OEC của thí nghiệm này là gì?". Văn hóa thực nghiệm được nâng lên không phải bằng quy trình áp đặt từ trên xuống, mà bằng việc cùng học chung một nền tảng.
Bài học rút ra: Tài nguyên học tập có giá trị gấp nhiều lần khi được học theo nhóm. Một cuốn sách đọc một mình là kiến thức cá nhân; cùng đọc cả đội là văn hóa tổ chức.
Hướng dẫn từng bước
Đây là lộ trình tôi khuyên bạn theo trong 6 tháng tới, sau khi kết thúc khóa học.
Bước 1 — Chọn một cuốn nền tảng và đọc hết (tuần 1-8). Bắt đầu với "Trustworthy Online Controlled Experiments". Đừng cố đọc nhanh. Mỗi chương, hãy tự hỏi: "Vấn đề này có xuất hiện trong sản phẩm của mình không?". Ghi chú vào một tài liệu riêng theo định dạng: khái niệm — nghĩa là gì — áp dụng vào đâu.
Bước 2 — Thiết lập dòng tin cập nhật (tuần 1, làm song song). Đăng ký 3-4 newsletter: Lenny's Newsletter, một nền tảng (Eppo hoặc Statsig), và một blog kỹ thuật bạn thích. Đặt lịch 30 phút mỗi tuần để đọc — đừng để inbox dồn lại rồi bỏ qua.
Bước 3 — Theo dõi 2-3 engineering blog (tuần 4 trở đi). Chọn blog của công ty có bối cảnh gần với bạn. Làm TMĐT thì đọc Booking.com, DoorDash; làm streaming/content thì đọc Netflix, Spotify.
Bước 4 — Áp dụng ngay một thứ mỗi khi đọc (liên tục). Quy tắc vàng: mỗi nguồn bạn đọc, hãy rút ra một hành động cụ thể áp dụng vào công việc trong tuần. Đọc về SRM thì thêm SRM check vào quy trình. Đọc về A/A test thì chạy một A/A test để kiểm tra hệ thống.
Bước 5 — Tham gia một cộng đồng và đặt câu hỏi (tháng 2 trở đi). Vào một nhóm Việt Nam hoặc quốc tế. Đừng chỉ đọc thụ động — hãy đăng một câu hỏi thật từ công việc của bạn. Bạn học nhanh nhất khi giải bài toán thật.
Bước 6 — Lập reading club nếu có thể (tháng 3). Như tình huống của Hà: biến việc học thành hoạt động nhóm để xây ngôn ngữ chung.
Bước 7 — Xem lại và làm mới danh sách mỗi 6 tháng. Ngành thay đổi nhanh. Cứ nửa năm, hãy bỏ bớt nguồn không còn giá trị và thêm nguồn mới.
Lỗi thường gặp & mẹo
Lỗi 1: "Tích trữ" tài nguyên thay vì tiêu hóa. Nhiều người lưu 200 bài viết vào "đọc sau" và không bao giờ đọc. Mẹo: thà đọc kỹ và áp dụng 5 bài còn hơn lưu 200 bài. Chất lượng hấp thụ quan trọng hơn số lượng.
Lỗi 2: Chỉ đọc nội dung của các nhà cung cấp công cụ. Blog của Statsig, Eppo, Optimizely rất hay, nhưng họ có động cơ thương mại — họ sẽ nhấn mạnh ưu điểm của cách tiếp cận mà sản phẩm họ bán. Mẹo: cân bằng bằng các nguồn trung lập như sách của Kohavi và các paper học thuật.
Lỗi 3: Bỏ qua phần thống kê vì "khó". Đây là lỗi nguy hiểm nhất với Growth PM. Bạn không cần thành nhà thống kê, nhưng phải hiểu đủ để không bị lừa bởi kết quả sai. Mẹo: nếu sách của Kohavi quá nặng, bắt đầu bằng "Statistics Done Wrong" — mỏng, vui, và đủ sâu.
Lỗi 4: Đọc bằng tiếng Anh mà không kiểm tra hiểu. Phần lớn tài nguyên chất lượng cao là tiếng Anh. Mẹo: sau mỗi chương, hãy tự tóm tắt bằng tiếng Việt cho một đồng nghiệp tưởng tượng. Nếu bạn giải thích được bằng tiếng mẹ đẻ, bạn thật sự đã hiểu.
Mẹo bonus — xây "thư viện cá nhân" có thể tìm kiếm. Dùng một công cụ ghi chú (Notion, Obsidian, hay đơn giản là Google Docs) lưu lại các khái niệm và nguồn theo chủ đề. Khi gặp một bài toán thực nghiệm cụ thể, bạn tra lại được ngay thay vì phải tìm lại từ đầu. Đây chính là phiên bản cá nhân của "experiment archive" mà Bài 49 đã nói tới — nhưng dành cho kiến thức học tập của bạn.
Bài tập thực hành
Bài tập 1 — Lập lộ trình đọc cá nhân. Viết ra một kế hoạch 3 tháng: chọn 1 cuốn sách nền tảng, 3 newsletter, và 2 engineering blog. Ghi rõ lịch đọc hằng tuần. Đây là cam kết cụ thể, không phải ý định mơ hồ.
Bài tập 2 — Đọc và rút hành động. Chọn một bài viết bất kỳ từ blog kỹ thuật của Airbnb, Netflix hoặc Booking.com về experimentation. Đọc xong, viết một đoạn 150-200 từ trả lời: (a) ý chính là gì, (b) một hành động cụ thể bạn sẽ áp dụng vào công việc tuần này.
Bài tập 3 — Tự kiểm tra kiến thức nền. Mở mục lục cuốn "Trustworthy Online Controlled Experiments". Với mỗi chương, tự chấm điểm 1-5 mức độ tự tin của bạn. Những chương dưới 3 điểm chính là lộ trình ưu tiên đọc trước.
Bài tập 4 — Đăng một câu hỏi thật. Trong tuần này, vào một cộng đồng (nhóm Growth Vietnam, Experiment Nation, hoặc tương tự) và đăng một câu hỏi cụ thể từ công việc của bạn. Mục tiêu là tập thói quen học chủ động thay vì đọc thụ động.
Bài tập 5 — Đề xuất một reading club. Soạn một tin nhắn ngắn gửi đội của bạn, đề xuất đọc chung một chương sách mỗi hai tuần. Nêu rõ lợi ích: ngôn ngữ chung, văn hóa thực nghiệm, ra quyết định nhanh hơn.
Tóm tắt
Bài cuối cùng này không dạy bạn thêm một kỹ thuật mới — nó trao cho bạn tấm bản đồ để tự học suốt đời, vì experimentation là lĩnh vực thay đổi không ngừng.
Hãy nhớ ba tầng tài nguyên: nền tảng (sách kinh điển, đặc biệt là "Trustworthy Online Controlled Experiments" của Kohavi và "Lean Analytics" của Croll & Yoskovitz — đọc sâu, đọc kỹ), ứng dụng (blog kỹ thuật của Airbnb, Netflix, Booking.com và sách growth của Reforge, Marty Cagan), và cập nhật (newsletter như Lenny's, blog của các nền tảng, cộng đồng Việt Nam và quốc tế).
Nguyên tắc quan trọng nhất: đừng tích trữ, hãy tiêu hóa và áp dụng. Mỗi nguồn bạn đọc cần dẫn tới một hành động cụ thể. Hãy cân bằng giữa nội dung thương mại và nguồn trung lập, đừng né tránh phần thống kê, và biến việc học thành hoạt động nhóm khi có thể.
Như ba tình huống đã cho thấy: Minh dùng sách nền tảng để chẩn đoán lỗi SRM, đội TMĐT dùng newsletter để bắt kịp công cụ mới, và Hà biến reading club thành văn hóa đội. Tài nguyên chỉ có giá trị khi bạn biến nó thành thực hành. Chúc bạn trở thành một Growth PM thực nghiệm xuất sắc — và đừng bao giờ ngừng đọc.