A/B 測試跑三天就宣布勝利？一次樣本與時間都出錯的測試檢討
A/B 測試要跑多久、要多少樣本，答案不是固定天數，而是兩個條件同時成立：每個版本都累積到事先算好的轉換數，而且至少涵蓋一到兩個完整的週循環。只滿足其中一個就停，結果大多不能信。
下面是一個示範情境的錯誤檢討。情境是一家販售居家收納用品的小型電商，想測試商品頁的「加入購物車」按鈕文案。故事是虛構組合，犯的錯卻是我們在實務上一再看到的。我們照時間順序寫，每一段後面附上當時應該怎麼做。
第一天：沒有先寫下要看什麼就開跑
行銷人員在週一早上開了測試。A 版維持原文案，B 版改成強調免運門檻。設定花了二十分鐘，按下開始，大家就去忙別的了。
問題在於沒有人寫下三件事：主要指標是什麼、預期差多少才算有意義、要收到多少轉換才看結果。少了這三項，之後每一次打開報表，都可能因為當下的數字而改變心意。
應該怎麼做：開跑前寫一張一頁的測試單。
- 假設：B 版會讓更多人把商品加入購物車，因為免運門檻減少了結帳前的猶豫。
- 主要指標只選一個：加入購物車率。其他數字只看不判。
- 最小值得偵測的差距：差距要多大，才值得改版？先由老闆和行銷人員一起決定。
- 樣本量：用線上樣本量計算器，以過去的基準轉換率、最小差距、信心水準算出每組需要的訪客數。
- 預計時間：用每日平均流量回推需要幾天，再向上取整到完整的週。
- 停止規則：達到樣本量且滿完整週才判讀，中途不因好看或難看而停。
第三天：數字很漂亮，差點就宣布勝利
週三中午，老闆看到報表。B 版的加入購物車率明顯高於 A 版，測試工具旁邊還顯示一個看起來很有把握的勝率。老闆說：「贏了，全站換掉。」
這是最常見的錯誤，叫做偷看。樣本還很小時，數字會大幅擺盪。你如果每天看一次、看到好看就停，等於給了隨機波動很多次機會被誤認成勝利。測試工具上的勝率，是假設你只在終點看一次所算出來的。
應該怎麼做：可以每天看，確認追蹤沒壞、兩組分流平均，但不判讀勝負。若團隊真的需要中途判讀，就要改用為多次檢視設計的統計方法，並在開跑前講好。
第一週週末：流量變了，客人也變了
週末流量明顯不同。平日多半是上班族用手機零碎瀏覽，週末則有更多人用電腦慢慢比價。兩群人對免運文案的反應不一樣。
如果測試只跑週一到週三，得到的結論只代表平日的上班族。換到全站後，週末的客人可能根本不買單。這就是為什麼測試至少要跑滿一個完整週，最好兩週。
| 會讓結果偏掉的時間因素 | 可能的影響 | 處理方式 |
|---|---|---|
| 平日與週末 | 客群、裝置、決策速度不同 | 至少跑滿一到兩個完整週 |
| 發薪日前後 | 購買意願短暫升高 | 避開或確保兩組都經過同一段 |
| 促銷檔期 | 折扣蓋過文案差異 | 促銷期間不開新測試 |
| 電子報或社群爆文 | 突然湧入特定來源的訪客 | 記錄事件日期，判讀時分段檢查 |
| 新奇效應 | 回訪客對新版好奇而多點 | 跑久一點，看差距是否收斂 |
第二週：有人順手改了商品圖
第二週週二，設計人員把熱銷商品的主圖換成新拍的照片。這次更換只套用在 B 版的頁面模板上，因為那個模板是新的。沒有人通知行銷人員。
從這一刻起，A 和 B 的差別不只是文案，還多了圖片。不管最後誰贏，都說不清楚是哪一個因素造成的。
應該怎麼做：測試期間凍結頁面。建立一份「測試進行中」的公告，貼在團隊群組的置頂，寫清楚哪些頁面在測、到哪一天為止、誰負責。有緊急修改，先找測試負責人。
結束時：樣本不夠，該怎麼辦？
兩週到了，回頭一看，每組的轉換數還不到測試單上預估的一半。原因是第二週流量比預期低。老闆問：「那就用現在的結果吧？」
這時候有三個選擇，各有代價。
| 選擇 | 代價 | 什麼時候可以選 |
|---|---|---|
| 延長測試到樣本足夠 | 時間成本，期間不能動頁面 | 流量只是暫時偏低，延長幾週可以達到 |
| 宣告結果不確定，維持原版 | 失去一次改版機會 | 差距很小，就算是真的也不值得改 |
| 放大差異重新設計測試 | 要重新開跑 | 原本的改動太細，小流量網站根本測不出來 |
不能選的是第四個：拿不足的樣本宣布勝利。這樣的結論常常在全站上線後就消失了，團隊還會因此不信任測試。
小流量網站特別容易卡在這裡。如果你的網站每月訪客不多，與其測按鈕文案這種細微差異，不如測差異大的版本，例如整段價格說明的寫法、或表單欄位的數量。相關做法可以參考 小流量網站驗證改版有效性的四種流程。
回頭看：指標選太遠，樣本永遠不夠
檢討會上，有人提出另一個問題：如果當初主要指標選的是「完成購買」，需要的樣本會更多。加入購物車的人本來就比完成結帳的人多，離按鈕越遠的指標，轉換數越少，要等的時間就越長。
這不代表永遠只看近的指標。加入購物車變多，不一定代表訂單變多，有時只是更多人把商品放進購物車就離開。比較穩妥的做法，是主要指標選離改動最近、轉換數夠多的那一個，再把完成購買列為護欄指標。護欄指標不用來判定勝負，只用來確認新版沒有傷到後段。
- 主要指標：離改動最近、轉換數足夠，用來判定勝負。
- 護欄指標：完成購買、退貨率、客服詢問量，用來確認沒有副作用。
- 觀察指標：停留時間、捲動深度，只做參考，不寫進結論。
把指標分成三層寫進測試單，開會時就不會有人拿觀察指標推翻主要指標，也比較不會因為想看的數字太多而拖延測試時間。
這次檢討留下的五條規則
- 開跑前寫測試單，主要指標、最小差距、樣本量、停止規則一次寫完。
- 跑滿事先算好的樣本量，且至少一到兩個完整週，兩個條件都要成立。
- 中途只檢查追蹤與分流是否正常，不判讀勝負。
- 測試期間凍結頁面，任何修改都先經過測試負責人。
- 樣本不夠就承認不確定，不用不足的資料做決定。
如果測試的是廣告素材或出價設定，而不是網站頁面，Google Ads 有內建的實驗功能，可以把流量分成對照組與實驗組。設定方式可以參考 Google Ads 說明中心 的實驗章節，或我們整理的 Google Ads 自訂實驗的設計與判讀流程。測量時，請確認 GA4 的事件與轉換設定正確，相關說明在 Google Analytics 說明中心。
想看更多我們如何陪團隊建立測試流程，可以參考 冠誠數位行銷的案例整理。
適用與不適用的情況
適用：有穩定流量的電商與服務網站，想比較兩個頁面版本，且團隊願意等到樣本足夠才下判斷。
不適用：每月轉換只有個位數的網站，A/B 測試很難在合理時間內得到可信結論，應改用使用者訪談、熱點圖觀察或前後期比較等方法，並接受它們的不確定性。
限制：本文說明的是判讀原則，不取代統計專業。樣本量的計算依基準轉換率與你設定的條件而變，請用計算工具實算，不要套用別人網站的天數。