伺服器日誌能看出什麼：爬蟲預算的三個真實訊號
當一個網站的收錄速度變慢、新頁面遲遲不出現、或者重要頁面的排名長期停滯，多數人會從內容找原因。
但在那之前有一件更基本的事可以確認：搜尋引擎到底來過幾次、來看了什麼、有沒有看到你希望它看的東西。
這個問題只有伺服器日誌能回答。這篇說明三個關鍵訊號、怎麼取得資料，以及看完之後可以做什麼。
一、日誌跟搜尋主控台的差別
搜尋主控台呈現的是經過處理與抽樣的摘要，而且有時間延遲。伺服器日誌是原始紀錄，每一次請求都在裡面。
兩者的關係是：主控台告訴你「有多少頁被收錄」，日誌告訴你「爬蟲實際花時間在哪些頁面上」。
後者才能解釋為什麼重要頁面沒有被更新，或者為什麼新頁面遲遲不被發現。
- 主控台：處理後的摘要，有延遲
- 日誌：原始紀錄，可看到每一次請求
- 兩者互補，不能互相取代
二、怎麼取得日誌
多數主機商都提供存取紀錄的下載，格式通常是純文字。若使用內容傳遞網路，要注意日誌可能分散在兩處。
需要的欄位包含：時間、請求的網址、回應狀態碼、使用者代理字串、以及回應大小。有這五項就足以做基本分析。
建議取一個月的資料。太短會受到單次事件影響，太長則檔案過大不易處理。
三、分析前的兩個必要步驟
第一步是驗證來源。使用者代理字串可以偽造，宣稱自己是搜尋引擎爬蟲的請求，有相當比例其實不是。
驗證的標準方式是反向查詢請求來源的網域，確認它屬於該搜尋引擎宣告的範圍。這一步不做，後面的分析會被大量假爬蟲汙染。
第二步是分類網址。把所有被請求的網址依類型分組：首頁、分類頁、文章頁、商品頁、篩選頁、資源檔案。分組之後才能看出比例。
四、訊號一：抓取次數的分布
把一個月內的抓取次數依網址類型加總，看比例。健康的分布應該讓有商業價值的頁面佔多數。
實務上最常見的問題是資源檔案與低價值頁面佔掉大部分。我們處理過一個電商網站，篩選與排序頁佔了抓取次數的六成八，商品頁不到一成五。
另一個常見問題是首頁被反覆抓取而內頁很少被造訪，這通常代表內部連結結構有問題，爬蟲難以往深層走。
- 依網址類型統計抓取次數比例
- 低價值頁面佔比過高需要處理
- 首頁佔比過高代表內部連結不足
五、訊號二：狀態碼的組成
正常的分布應該以成功回應為主。異常的訊號有三種。
第一種是重新導向的比例過高。這代表爬蟲花了大量時間在跳轉上，而每一次跳轉都消耗一次抓取機會。
第二種是錯誤回應持續存在。偶發的找不到頁面是正常的，但如果同一組網址持續回傳錯誤且被反覆抓取，代表某處仍然連結到它們。
第三種是伺服器錯誤。這一項最嚴重，因為它會直接降低爬蟲的抓取頻率。若日誌中出現集中的伺服器錯誤時段，要優先處理效能問題。
六、訊號三：抓取的時間分布與頻率
觀察一個月內的每日抓取次數。穩定或緩慢上升是正常的，持續下降則需要調查。
另外要看的是重要頁面的抓取間隔。如果核心的商品頁或服務頁平均超過數週才被造訪一次，那麼內容更新後要很久才會反映在搜尋結果上。
間隔過長的常見原因有三個：內部連結不足、網站地圖未包含或優先順序設定不當、以及整體抓取預算被低價值頁面佔用。
七、看完之後可以做的五件事
- 把佔用大量抓取但沒有商業價值的頁面設為不索引或封鎖
- 修正持續回傳錯誤的網址，並移除指向它們的內部連結
- 把重新導向的鏈條縮短為一次跳轉
- 為重要頁面增加內部連結入口，提高被發現的機率
- 處理伺服器錯誤與回應時間過長的問題
八、什麼規模的網站需要做這件事
頁面數在數百以內的網站，通常抓取預算不是瓶頸，做這件事的邊際效益有限。
頁面數超過數千、或者有大量動態產生網址的網站，日誌分析的價值就很高。電商、房產、職缺、活動類型的網站尤其明顯。
另外有一種情況不分規模都值得做：當收錄狀況異常而其他檢查都找不到原因時，日誌通常能給出答案。
九、多久做一次
建議大型網站每季度做一次完整分析，並在改版、搬家或大量新增頁面之後補做一次。
中型網站可以每半年一次。若有設定自動化的日誌監控，則可以只在指標異常時才進行深入分析。
十、常見的三個誤解
第一個是以為抓取次數越多越好。實際上重要的是分布，而不是總量。
第二個是把所有宣稱是爬蟲的請求都當成真的。未經驗證的資料會導出完全錯誤的結論。
第三個是期待日誌分析直接帶來排名提升。它的作用是排除障礙，讓其他工作能夠生效，而不是本身產生效果。
常見問題
沒有技術背景可以做日誌分析嗎？
基本的分類與比例統計可以在試算表完成。反向查詢驗證與大檔案處理則通常需要技術協助。
要保留多久的日誌？
建議至少保留三到六個月，以便在出現異常時可以回溯比較。儲存成本通常很低。
小型網站需要擔心爬蟲預算嗎？
多數情況不需要。頁面數在數百以內時，抓取預算很少成為瓶頸，優先處理內容與結構通常效益更高。
延伸閱讀
關於作者與審稿
冠誠數位行銷（GuanCheng Martech）的顧問團隊撰寫這篇文章。團隊累積 295 個專案，服務 308 家客戶，操作範圍包含 SEO 自然排名、AEO 答案引擎、GEO 與 LLMO 佈局、Google 與 Meta 廣告投放、電商維運與數據歸因分析。
文章裡的數字來自冠誠數位行銷實際經手的客戶帳戶與後台報表，客戶名稱與可識別資訊都已經移除。內容由負責該領域的冠誠顧問審稿後發佈，最後更新日期為 2026 年 9 月 8 日。讀完有問題，可以到冠誠數位行銷官方網站的預約諮詢頁面留下聯絡方式，我們會用你提供的時段回電。