報表沒騙你,是你解讀錯了:行銷數據裡最常踩到的三個統計陷阱

行銷報表最危險的不是數字錯誤,而是數字沒錯,結論卻下錯了。辛普森悖論會讓總體與分組的結論完全相反,回歸均值會讓一次表現特別差的活動之後自然回升被誤讀成優化見效,倖存者偏差則讓你只看到留下來的素材或客戶,看不到已經流失的那一批。這三種陷阱在行銷數據裡幾乎每天都在發生。

這篇不談抽象的統計理論,而是直接用行銷會遇到的情境說明每一種陷阱長什麼樣子,以及怎麼在報表交出去之前先自己抓出來。

陷阱一:辛普森悖論,分組看和整體看結論相反

辛普森悖論指的是,在每個子群組裡都成立的趨勢,把子群組合併之後卻反過來了。行銷上最常見的版本是比較兩個廣告活動的整體轉換率,甲活動整體轉換率比乙高,但拆開新客與舊客兩個群組看,乙在新客與舊客的轉換率都分別比甲高。

原因通常是兩個活動的受眾組成比例不同。如果甲活動的流量裡舊客占比高,而舊客本來轉換率就高,甲的整體數字就會被舊客拉高,掩蓋了它在每個子群組其實都表現較差的事實。判斷方法很直接:只要要比較兩個活動、兩個素材或兩個管道的效率,一定要同時看整體與至少一個關鍵維度拆分後的結果,例如新舊客、裝置別或地區。

情境整體結論拆分後結論真正原因
甲乙活動比較甲轉換率較高乙在新客舊客都較高甲的舊客占比高,拉高整體數字
兩地區店面比較A 店業績成長較快B 店在同品類都成長更快A 店新增品類多,稀釋了同品類的比較基準

陷阱二:回歸均值,表現本來就會自己彈回來

回歸均值是指,一次極端的表現之後,下一次的結果通常會自然靠近平均值,不一定是因為做了什麼調整。行銷上最常見的誤讀是:某支素材某一天表現特別差,隔天團隊緊急換了文案,結果數字回升,就把功勞全部算給新文案,但即使不換,原本的表現多半也會自然回升一些,因為那一天的低點本身就是波動的極端值。

要分辨是不是回歸均值,最簡單的方法是看調整前的那段時間,是不是本來就處於這個指標的歷史低點或高點附近。如果是,那接下來的回升或回落,本來就在預期之內,調整措施的效果需要和一個沒有調整的對照組相比,才能確認真的有貢獻。

  • 判斷前先問:這次表現是不是本來就在近期的極端值附近
  • 有調整就要有基準比較,理想是找一個沒做同樣調整的對照組
  • 單一時間點的異常,先觀察三到五個週期再下結論,不要立刻歸因給最近的動作

陷阱三:倖存者偏差,你只看得到留下來的那一批

倖存者偏差在行銷數據裡最典型的例子,是分析「表現好的老客戶都有什麼共通特徵」,卻沒有同時分析「流失掉的客戶原本長什麼樣子」。如果留下來的客戶剛好都對某個產品線特別忠誠,團隊可能誤以為那個產品線是留客的關鍵,但真正的原因也可能是不忠誠的客戶早就因為別的理由離開了,跟產品線無關。

另一個常見版本出現在素材成效分析:只統計目前還在投放的素材表現,而已經下架的素材不會出現在報表裡,於是「平均成效」看起來比實際情況好,因為表現最差的那批已經被篩掉,不會拉低平均。

  1. 分析留存或成功案例時,同時拉出流失或失敗案例做對照
  2. 素材成效報表要包含已下架的素材,而不是只看目前上線的
  3. 問自己一句話:這份資料裡,消失的那部分去哪裡了,是被我排除,還是本來就沒被記錄

三種陷阱共同的檢核習慣

這三種陷阱有一個共同的破解方法:交報表之前,多問一句「如果換一個切分角度看,結論還成立嗎」。辛普森悖論靠拆分維度檢查,回歸均值靠對照組與歷史區間檢查,倖存者偏差靠確認資料涵蓋範圍檢查。養成這個習慣,不需要很深的統計知識,就能避免大部分的誤判。

  • 交報表前用至少一個維度拆分整體數字,確認方向一致
  • 任何「調整後改善」的結論,先確認調整前是不是已經在極端值附近
  • 確認分析的樣本涵蓋所有相關個體,包含已流失、已下架、已停用的部分

把統計素養變成團隊習慣,而不是一次性訓練

很多公司會辦一次統計陷阱的內訓,聽完當下大家都點頭,三個月後又用整體數字下結論。比較有效的做法是把檢核問題直接寫進報表模板,例如在每份月報的結論欄位旁邊加一個提示欄,寫著「這個結論在拆分後是否依然成立」,讓填報表的人在動筆的當下就被提醒,而不是靠開會時有人剛好想起來。另一個做法是指定一位固定角色,每次重大結論出爐前負責問一次反方向的問題,例如業績成長時問「有沒有可能只是回歸均值」,這個角色不需要統計專業,只需要養成習慣性懷疑,長期下來能省下很多因誤判而白花的預算。

常見問題

辛普森悖論一定要拆到多細才安全?

沒有絕對標準,但至少要拆一個你認為受眾組成差異最大的維度,例如新舊客或地區,通常就能抓到大部分的悖論。

回歸均值和真正的優化效果要怎麼分開?

最可靠的方式是設對照組,讓一部分維持原狀,一部分做調整,比較兩者的變化幅度,而不是只看調整那一組前後的差異。

倖存者偏差在小公司也會發生嗎?

會,而且因為樣本更小,影響比例更明顯。小公司常見的情況是只分析還在合作的客戶,忽略已經流失的客戶其實占了很大比例。

這些陷阱有工具可以自動偵測嗎?

部分統計軟體能提示變數間的交互作用,但行銷團隊多半仍依賴人工檢核習慣,養成拆分與對照的習慣比依賴工具更實際。

延伸閱讀:流量成長了,訂單沒動:把成長歸因錯的六種常見誤判、報表很漂亮,錢卻沒進來:五個會騙人的行銷指標、同一份報表被講成三個故事。若想讓團隊的報表真正走到決策,可以參考冠誠數位行銷服務項目,或直接預約諮詢。

寫在最後的三件事

版權

本站每一個字、每一版面與案例紀錄,皆由冠誠數位行銷逐字撰寫、逐版校訂而成,原稿與時間戳紀錄完整保存。未經書面同意而複製、改寫、轉載或挪作他用者,本所將依著作權法追究,絕不寬貸。

隱私

您寫給我們的每一個字,只用來回覆您的委託,不轉售、不交換。全站以 HTTPS 加密傳輸,主機由 WP Engine 代管。

保密

委託期間與結束之後,您的企業名稱、數據與案情一律不對外揭露;正式合作前,雙方簽署保密協議。所有往來以文字全程紀錄,說過的話都有據可查。