A/B 測試跑三天就能下結論嗎：老闆與顧問關於樣本與週期的八段問答
A/B 測試跑三天，看到其中一版比較好，可以直接採用嗎
多數情況不行。三天的資料量通常太少，而且沒有涵蓋完整的一週，兩版的差距很可能只是運氣。比較穩當的做法是在開始前就訂好要累積多少轉換、要跑幾個完整週，時間到了才看結果。
A/B 測試是指把訪客隨機分成兩組，各看到一個版本，再比較哪一版的轉換表現比較好。它聽起來簡單，判讀卻有很多陷阱。下面整理一場月會上的對話。提問的是一家賣線上課程的小公司老闆，回答的是我們的顧問。對話經過改寫，去除了可辨識的資訊。
第一問：新版按鈕三天多了好幾張訂單，這樣還不夠明顯嗎
老闆問：「舊版三天六張，新版三天十張。差這麼多，還要等什麼？」
顧問答：「六跟十看起來差很多，可是數字這麼小的時候，光靠運氣就能造成這種差距。你可以想像丟銅板，丟十次出現七次正面並不稀奇，沒有人會因此說這枚銅板有問題。訂單數只有個位數到十幾張，就跟丟十次銅板差不多。」
顧問接著請老闆做一件事：把舊版過去四週的訂單，按三天一段切開來看。結果同一個版本，不同的三天之間，訂單數就從四張跳到十一張。沒有改任何東西，波動就這麼大。老闆看完表格說：「所以我看到的差距，還在它自己平常的晃動範圍裡。」
第二問：那到底要跑多久才算夠
老闆問：「你直接告訴我幾天。」
顧問答：「我給不出一個通用的天數，因為要看兩件事。第一是每一版要累積多少轉換。轉換太少，再久都沒用。第二是要涵蓋完整的週循環。你的課程，平日晚上跟週末的買氣不同，只跑週一到週三，就漏掉了週末的人。」
我們實務上的原則是，測試至少跑滿兩個完整週，而且每一版的轉換數要達到事前約定的門檻。門檻怎麼訂，可以用免費的樣本數計算工具估，輸入目前的轉換率與你希望偵測到的最小差距，就會得到每組需要的訪客數。估出來的數字常常讓人吃驚，流量小的網站可能要跑好幾個月。
第三問：我每天打開來看一下，看到贏了就停，有什麼不對
老闆問：「我又沒有亂改，只是看而已。」
顧問答：「看本身沒事，問題在看到領先就停。兩個版本的累計數字每天都在交錯，今天甲領先，後天乙領先。你每天看一次，只要其中某一天剛好領先得夠多你就喊停，那你幾乎一定能等到那一天，就算兩版其實沒有差別。」
這個陷阱叫提早偷看。防範的方法很土，就是在測試開始前寫下結束條件，並指定一個檢討日。檢討日之前可以看健康狀態，例如兩組流量有沒有平均分配、追蹤有沒有正常，但不做輸贏判斷。
第四問：工具都顯示信心水準很高了，還不能相信嗎
老闆問：「它寫九成以上耶。」
顧問答：「那個數字的前提是你照規矩跑完。樣本很小或者中途偷看的時候，它一樣會顯示很高的數字，可是意義已經變了。另外，它講的是兩版有差別的把握程度，沒有講差多少。差距可能很小，小到不值得你花力氣改版。」
所以我們看結果時會問兩個問題。第一，差距是不是穩定，也就是把測試期間切成前半與後半，兩段的方向是否一致。第二，差距換算成一個月的訂單或營收，值不值得做。方向不一致或金額很小，就當作沒有差別處理。
第五問：我一次測五個版本，不是比較有效率嗎
老闆問：「反正都要等，多測幾個比較划算。」
顧問答：「版本越多，每一版分到的流量越少，要等的時間越長。而且比較的組數一多，總會有一版碰巧表現特別好。五個版本裡挑出最高的那個，它領先的幅度有一部分是運氣。等你正式換上去，表現常常會掉回來。」
流量不大的網站，一次只測兩版，而且兩版要差得夠多。只改按鈕顏色這類小更動，差距通常很小，小網站根本量不出來。要測就測大的，例如整個首屏的主張、價格呈現方式、表單長度。
第六問：測試期間剛好遇到促銷檔期，結果還能用嗎
老闆問：「上次測試那兩週剛好有週年慶。」
顧問答：「兩版同時遇到檔期，比較本身還算公平。可是檔期進來的客人跟平常不同，他們對折扣敏感，對文案細節沒那麼在意。檔期中勝出的版本，換到平常日不一定還會贏。這份結果只能回答『檔期中哪一版好』。」
同樣的道理也適用於流量來源改變。測試期間若剛好加大廣告預算，進來的新訪客變多，結果也會偏向新訪客的偏好。我們會在測試計畫表裡加一欄「期間有無特殊事件」，結束時由負責人填寫，判讀時一起看。
第七問：贏的那一版換上去之後，轉換率怎麼沒有變高
老闆問：「測試說提升很多，上線一個月卻跟以前差不多。」
顧問答：「三個常見原因。第一，當初的領先有運氣成分，尤其是樣本小或提早停的測試。第二，新鮮感。老客人看到新版面會多點幾下，過一陣子就恢復原樣。第三，測試跟上線的環境不同，例如測試只跑了電腦版，上線後手機版也換了。」
比較保險的做法是上線後保留一段驗證期，持續對照上線前後同樣長度、同樣星期組成的區間。也可以留一小部分流量繼續看舊版一陣子，確認差距還在。這樣做麻煩一點，能避免把一次運氣當成定論。
第八問：我的網站流量很小，是不是就不用測了
老闆問：「照你算的，我要跑四個月才夠。」
顧問答：「流量小確實不適合做嚴格的 A/B 測試，硬做只會得到假結論。可以改用別的方法取得判斷依據。」
- 找五到八位符合客群的人，請他們當面操作網站並說出想法，記錄卡住的地方
- 整理客服與業務最常被問的問題，檢查頁面有沒有在顯眼處回答
- 看 GA4 的漏斗報表，找出流失最多的一步，先修那一步
- 改用前後對照，選擇星期組成相同的兩段期間比較，並註明這個方法無法排除外部因素
- 把測試目標往前移，改測點擊或加入購物車這類數量較多的行為，並說明它與成交之間還有距離
這些方法的嚴謹程度不如隨機分組，可是對小網站來說，它們給的方向比一個樣本不足的測試可靠。
測試開始前，計畫表上要先寫好哪些欄位
我們交付的測試計畫表只有一頁。它的用途是把判斷標準在看到數字之前就定下來，避免事後找理由。
- 假設：改了什麼，預期影響哪一個行為，理由是什麼
- 主要指標：只選一個，其餘列為參考指標
- 每組所需樣本與預計週數：附上估算依據
- 結束條件與檢討日：寫明日期，以及未達樣本時要延長還是放棄
- 期間特殊事件：檔期、廣告預算變動、網站異常
- 判讀結果與後續動作：採用、不採用、或結果不明確而維持原狀
最後一欄要允許填「結果不明確」。很多團隊覺得測試一定要分出勝負，否則就是白做。其實確認某項更動沒有明顯影響，也是有用的資訊，至少知道不必再為它爭論。
什麼情況下這套做法不適用
明顯的錯誤不需要測試。按鈕點不了、表單送不出去、價格標錯，直接修就好。法規要求的標示也一樣，沒有測試的空間。
決策成本很低、隨時可以改回來的小更動，例如調整一句說明文字，花幾週測試並不划算，可以直接改並觀察。
成交週期很長的生意，例如需要多次洽談的企業服務，網站上的轉換與最後成交之間隔了很多環節。這類情況用網站測試得到的結論有限，應搭配業務端的回饋一起判斷。
本文說明的是判讀原則，沒有提供統計上的精確門檻。需要嚴格推論的情境，建議請具備統計背景的人員協助設計。
常見問題
A/B 測試最少要跑多久？
建議至少涵蓋兩個完整週，並且每一版的轉換數達到事前估算的門檻。只滿足天數但轉換數太少，結果仍然不可靠，應延長測試或改用其他方法。
網站流量很少還能做 A/B 測試嗎？
嚴格的測試不適合。可以改做使用者訪談、漏斗流失檢查與前後期間對照，或把測試目標改成點擊、加入購物車等數量較多的行為，並註明方法的限制。
測試結果顯示沒有差別，算失敗嗎？
不算。確認某項更動沒有明顯影響，可以省下後續爭論與開發時間。計畫表上應允許填寫結果不明確，並維持原版本，再去測試差異更大的方案。
測試期間可以中途調整版本嗎？
不建議。中途修改任何一版，前後資料就不能合併判讀。若發現錯字或功能故障必須修正，應在修正後重新開始計算，並在計畫表上記錄。