週報數字忽高忽低該不該理會:樣本太小時的判讀問答

樣本太小時,報表上的升降多半是雜訊,不是趨勢。判讀時先看分母有多少、再換成絕對數字、拉長時間窗、比對同一段時間的其他訊號,最後才決定要不要動作。分母只有幾十筆時,轉換率翻倍可能只是多了兩三個人。

這篇文章在回答什麼?

這篇用問答的形式,整理我在月會上最常被問到的小樣本判讀問題。問的人通常是老闆、業務主管,或剛接手報表的行銷人。他們看到週報上的數字跳了一大截,想知道該高興、該緊張,還是該忽略。

我已經寫過一篇 資料不足時仍可用的五種判斷方法,談的是「怎麼做決定」。這篇往前一步,只談「怎麼讀數字」。讀錯了,後面的決定再嚴謹也沒用。

文中的數字都是示範情境,用來說明判讀方式,不代表任何真實帳戶。

問:轉換率從百分之五跳到百分之十,是不是變好了?

答:先問分母。

示範情境:一個 B2B 服務的詢價頁,上週有四十個人造訪,兩個人送出表單。這週也是四十個人造訪,四個人送出。轉換率確實從百分之五變成百分之十。

可是實際差別是兩個人。這兩個人可能是同一家公司的不同窗口,可能是業務自己轉傳連結給客戶,也可能是一位老客戶回來補資料。用百分比看是翻倍,用人數看只是多了兩筆。

我的習慣是:分母低於一百時,報表上一律同時寫出分子和分母,例如「4 / 40」。百分比放在括號裡當參考,不當標題。

問:那要多少樣本才夠?

答:沒有一個通用的數字。夠不夠,取決於你要偵測的差異有多大。

差異很大時,小樣本也看得出來。例如原本每週零筆詢價,改版後連續四週每週都有五筆,這不太可能是巧合。差異很小時,例如轉換率從百分之三變成百分之三點五,就算有幾千筆樣本,也可能還在雜訊範圍內。

與其追求一個門檻數字,不如換一個問題:「如果這個變化完全是運氣,我會不會常常看到它?」把過去十二週的同一個指標排出來,看看最高和最低差多少。如果這週的數字落在過去的波動範圍裡,就先不要下結論。

問:GA4 報表上有時會出現資料品質的提示,那代表什麼?

答:GA4 在某些報表會因為資料量、資料門檻或抽樣等原因,顯示提示圖示。各種情況的意思和處理方式,以官方說明為準,可以在 Google Analytics 說明中心 搜尋相關條目。

實務上我會做兩件事。第一,看到提示就把它寫進報表備註,讓讀報表的人知道這個數字有條件。第二,如果某個區隔切得太細,例如「台中市、行動裝置、自然搜尋、新使用者」,樣本自然會很小,改成只切一兩個維度再看。

問:廣告後台說這週成本下降很多,可以加預算嗎?

答:先看轉換數。

廣告平台的每次轉換成本,是花費除以轉換數。轉換數只有個位數時,多一筆或少一筆,成本就會大幅波動。示範情境:花費一樣,上週三筆轉換、這週六筆,每次轉換成本就砍半。但第七天之前可能還有延遲回報的轉換沒進來,下週再看又不一樣。

各廣告平台的轉換計算與回報延遲規則不同,以 Google Ads 為例,可以在 Google Ads 說明中心 查詢轉換延遲與歸因設定。我的做法是:轉換數低於二十筆時,不根據單週成本調整預算,改看四週累計。

問:小樣本的時候,有哪些數字比百分比更可靠?

答:以下幾種,我會優先看:

情況不要只看改看
詢價或訂單很少轉換率每一筆的來源與內容
新頁面剛上線跳出率、平均停留時間捲動到關鍵段落的人數
區隔切得很細單一區隔的比率合併後的總數與趨勢
廣告轉換數個位數每次轉換成本四週累計成本與轉換
客戶數很少的 B2B客戶滿意度平均分數每一位客戶的原話

小樣本的好處是你看得完每一筆。四十個訪客、四筆詢價,你可以一筆一筆打開看:他從哪裡來、看了哪幾頁、表單裡寫了什麼。這種逐筆閱讀,比任何比率都更能告訴你發生了什麼事。

問:怎麼避免自己挑對自己有利的數字?

答:在看數字之前,先寫下你預期看到什麼,以及什麼結果會讓你改變做法。

小樣本最大的風險不是數字不準,是人會從雜訊裡找故事。改版後轉換變好,就說是改版有效;變差了,就說是樣本太小。兩邊都說得通,等於什麼都沒說。

示範做法:改版前在團隊文件寫下「如果四週內詢價筆數沒有比過去十二週的平均多,就視為沒有效果」。四週後照這句話判斷,不再追加解釋。這類陷阱的完整整理,可以參考 數字沒錯但結論錯的六種統計陷阱。

問:老闆看到數字下滑很緊張,我該怎麼回報?

答:用同一個格式回報,不管數字上升或下降。

小樣本的報表最怕「好消息大聲講,壞消息小聲講」。這樣老闆會以為上升都是真的、下降都是雜訊,或者反過來,每次下滑都要你寫檢討。兩種都會讓團隊做出錯誤的動作。

我建議週報每個關鍵數字都固定寫三行:本週的分子與分母、過去十二週的最高與最低、一句判讀,例如「落在正常波動內,持續觀察」或「超出過去範圍,已安排查原因」。示範情境:詢價從六筆掉到三筆,報表寫「3 / 38,過去十二週介於 2 到 7 筆,正常波動內」。老闆看到範圍,自然就不會只盯著那個三。

固定格式寫久了,讀報表的人會自己學會判讀,你也不必每週花時間解釋。

問:把好幾週合併起來看,會不會掩蓋真正的變化?

答:會,所以合併時要保留切點。

合併的目的是讓分母變大,但如果你在第三週改了廣告素材,把前後混在一起看,就分不出改版的影響。做法是以改動日期為界,分成「改動前四週」與「改動後四週」兩組各自合併,再比較兩組。中間如果遇到連假、大型促銷或產業展覽,也要在報表上標註,因為這些事件本身就會讓數字跳動,與你的改動無關。

問:網站流量本來就小,是不是就不用做測試了?

答:還是可以驗證,只是方法要換。

小流量網站做 A/B 測試,常常跑幾個月都分不出勝負。可以改用前後對照加長觀察期、用業務或客服的質性回饋交叉驗證、或一次只改一個大的地方讓差異夠明顯。替代做法的細節在 小流量網站的 A/B 測試替代方案 有完整說明。

判讀小樣本報表的五步檢查

把前面的問答濃縮成一份檢查清單,每次看週報時照順序走一遍:

  • 分母是多少?低於一百就同時寫出分子與分母
  • 換成絕對數字,實際差了幾筆?
  • 這次的數字有沒有落在過去十二週的波動範圍內?
  • 同一段時間,業務、客服或其他管道有沒有一致的訊號?
  • 看數字之前寫下的判斷標準,結果符合哪一邊?

五題都答完,再決定是動作、觀察,還是忽略。

適用與不適用的情況

這套判讀方式適用於:

  • 月詢價量在數十筆以內的 B2B 或高單價服務
  • 剛上線的新頁面、新廣告活動、新通路
  • 把報表切到很細的區隔時

不太適用或需要調整的情況:

  • 流量與訂單量已經很大的電商,應該改用正式的統計檢定
  • 涉及醫療、金融等需要合規判斷的決策,數字只是參考,要以專業與法規為準
  • 真正的追蹤故障,例如某天開始轉換歸零,這不是樣本問題,要先查追蹤設定

小樣本的判讀沒有標準答案。它要的是誠實:承認不確定,把不確定寫進報表,讓讀的人知道這個數字能撐多重的決定。如果你對報表判讀還有其他疑問,可以到 常見問題 看看。

寫在最後的三件事

版權

本站每一個字、每一版面與案例紀錄,皆由冠誠數位行銷逐字撰寫、逐版校訂而成,原稿與時間戳紀錄完整保存。未經書面同意而複製、改寫、轉載或挪作他用者,本所將依著作權法追究,絕不寬貸。

隱私

您寫給我們的每一個字,只用來回覆您的委託,不轉售、不交換。全站以 HTTPS 加密傳輸,主機由 WP Engine 代管。

保密

委託期間與結束之後,您的企業名稱、數據與案情一律不對外揭露;正式合作前,雙方簽署保密協議。所有往來以文字全程紀錄,說過的話都有據可查。