週報數字忽高忽低該不該理會:樣本太小時的判讀問答
樣本太小時,報表上的升降多半是雜訊,不是趨勢。判讀時先看分母有多少、再換成絕對數字、拉長時間窗、比對同一段時間的其他訊號,最後才決定要不要動作。分母只有幾十筆時,轉換率翻倍可能只是多了兩三個人。
這篇文章在回答什麼?
這篇用問答的形式,整理我在月會上最常被問到的小樣本判讀問題。問的人通常是老闆、業務主管,或剛接手報表的行銷人。他們看到週報上的數字跳了一大截,想知道該高興、該緊張,還是該忽略。
我已經寫過一篇 資料不足時仍可用的五種判斷方法,談的是「怎麼做決定」。這篇往前一步,只談「怎麼讀數字」。讀錯了,後面的決定再嚴謹也沒用。
文中的數字都是示範情境,用來說明判讀方式,不代表任何真實帳戶。
問:轉換率從百分之五跳到百分之十,是不是變好了?
答:先問分母。
示範情境:一個 B2B 服務的詢價頁,上週有四十個人造訪,兩個人送出表單。這週也是四十個人造訪,四個人送出。轉換率確實從百分之五變成百分之十。
可是實際差別是兩個人。這兩個人可能是同一家公司的不同窗口,可能是業務自己轉傳連結給客戶,也可能是一位老客戶回來補資料。用百分比看是翻倍,用人數看只是多了兩筆。
我的習慣是:分母低於一百時,報表上一律同時寫出分子和分母,例如「4 / 40」。百分比放在括號裡當參考,不當標題。
問:那要多少樣本才夠?
答:沒有一個通用的數字。夠不夠,取決於你要偵測的差異有多大。
差異很大時,小樣本也看得出來。例如原本每週零筆詢價,改版後連續四週每週都有五筆,這不太可能是巧合。差異很小時,例如轉換率從百分之三變成百分之三點五,就算有幾千筆樣本,也可能還在雜訊範圍內。
與其追求一個門檻數字,不如換一個問題:「如果這個變化完全是運氣,我會不會常常看到它?」把過去十二週的同一個指標排出來,看看最高和最低差多少。如果這週的數字落在過去的波動範圍裡,就先不要下結論。
問:GA4 報表上有時會出現資料品質的提示,那代表什麼?
答:GA4 在某些報表會因為資料量、資料門檻或抽樣等原因,顯示提示圖示。各種情況的意思和處理方式,以官方說明為準,可以在 Google Analytics 說明中心 搜尋相關條目。
實務上我會做兩件事。第一,看到提示就把它寫進報表備註,讓讀報表的人知道這個數字有條件。第二,如果某個區隔切得太細,例如「台中市、行動裝置、自然搜尋、新使用者」,樣本自然會很小,改成只切一兩個維度再看。
問:廣告後台說這週成本下降很多,可以加預算嗎?
答:先看轉換數。
廣告平台的每次轉換成本,是花費除以轉換數。轉換數只有個位數時,多一筆或少一筆,成本就會大幅波動。示範情境:花費一樣,上週三筆轉換、這週六筆,每次轉換成本就砍半。但第七天之前可能還有延遲回報的轉換沒進來,下週再看又不一樣。
各廣告平台的轉換計算與回報延遲規則不同,以 Google Ads 為例,可以在 Google Ads 說明中心 查詢轉換延遲與歸因設定。我的做法是:轉換數低於二十筆時,不根據單週成本調整預算,改看四週累計。
問:小樣本的時候,有哪些數字比百分比更可靠?
答:以下幾種,我會優先看:
| 情況 | 不要只看 | 改看 |
|---|---|---|
| 詢價或訂單很少 | 轉換率 | 每一筆的來源與內容 |
| 新頁面剛上線 | 跳出率、平均停留時間 | 捲動到關鍵段落的人數 |
| 區隔切得很細 | 單一區隔的比率 | 合併後的總數與趨勢 |
| 廣告轉換數個位數 | 每次轉換成本 | 四週累計成本與轉換 |
| 客戶數很少的 B2B | 客戶滿意度平均分數 | 每一位客戶的原話 |
小樣本的好處是你看得完每一筆。四十個訪客、四筆詢價,你可以一筆一筆打開看:他從哪裡來、看了哪幾頁、表單裡寫了什麼。這種逐筆閱讀,比任何比率都更能告訴你發生了什麼事。
問:怎麼避免自己挑對自己有利的數字?
答:在看數字之前,先寫下你預期看到什麼,以及什麼結果會讓你改變做法。
小樣本最大的風險不是數字不準,是人會從雜訊裡找故事。改版後轉換變好,就說是改版有效;變差了,就說是樣本太小。兩邊都說得通,等於什麼都沒說。
示範做法:改版前在團隊文件寫下「如果四週內詢價筆數沒有比過去十二週的平均多,就視為沒有效果」。四週後照這句話判斷,不再追加解釋。這類陷阱的完整整理,可以參考 數字沒錯但結論錯的六種統計陷阱。
問:老闆看到數字下滑很緊張,我該怎麼回報?
答:用同一個格式回報,不管數字上升或下降。
小樣本的報表最怕「好消息大聲講,壞消息小聲講」。這樣老闆會以為上升都是真的、下降都是雜訊,或者反過來,每次下滑都要你寫檢討。兩種都會讓團隊做出錯誤的動作。
我建議週報每個關鍵數字都固定寫三行:本週的分子與分母、過去十二週的最高與最低、一句判讀,例如「落在正常波動內,持續觀察」或「超出過去範圍,已安排查原因」。示範情境:詢價從六筆掉到三筆,報表寫「3 / 38,過去十二週介於 2 到 7 筆,正常波動內」。老闆看到範圍,自然就不會只盯著那個三。
固定格式寫久了,讀報表的人會自己學會判讀,你也不必每週花時間解釋。
問:把好幾週合併起來看,會不會掩蓋真正的變化?
答:會,所以合併時要保留切點。
合併的目的是讓分母變大,但如果你在第三週改了廣告素材,把前後混在一起看,就分不出改版的影響。做法是以改動日期為界,分成「改動前四週」與「改動後四週」兩組各自合併,再比較兩組。中間如果遇到連假、大型促銷或產業展覽,也要在報表上標註,因為這些事件本身就會讓數字跳動,與你的改動無關。
問:網站流量本來就小,是不是就不用做測試了?
答:還是可以驗證,只是方法要換。
小流量網站做 A/B 測試,常常跑幾個月都分不出勝負。可以改用前後對照加長觀察期、用業務或客服的質性回饋交叉驗證、或一次只改一個大的地方讓差異夠明顯。替代做法的細節在 小流量網站的 A/B 測試替代方案 有完整說明。
判讀小樣本報表的五步檢查
把前面的問答濃縮成一份檢查清單,每次看週報時照順序走一遍:
- 分母是多少?低於一百就同時寫出分子與分母
- 換成絕對數字,實際差了幾筆?
- 這次的數字有沒有落在過去十二週的波動範圍內?
- 同一段時間,業務、客服或其他管道有沒有一致的訊號?
- 看數字之前寫下的判斷標準,結果符合哪一邊?
五題都答完,再決定是動作、觀察,還是忽略。
適用與不適用的情況
這套判讀方式適用於:
- 月詢價量在數十筆以內的 B2B 或高單價服務
- 剛上線的新頁面、新廣告活動、新通路
- 把報表切到很細的區隔時
不太適用或需要調整的情況:
- 流量與訂單量已經很大的電商,應該改用正式的統計檢定
- 涉及醫療、金融等需要合規判斷的決策,數字只是參考,要以專業與法規為準
- 真正的追蹤故障,例如某天開始轉換歸零,這不是樣本問題,要先查追蹤設定
小樣本的判讀沒有標準答案。它要的是誠實:承認不確定,把不確定寫進報表,讓讀的人知道這個數字能撐多重的決定。如果你對報表判讀還有其他疑問,可以到 常見問題 看看。
