robots.txt 寫錯的六種後果：從全站消失到爬蟲空轉
我們接手過一個網站，自然流量在某個月從每月四千次掉到不到兩百次。客戶換過內容、換過標題、換過廠商，找了三個月都沒找到原因。
原因在網站根目錄的一個純文字檔案裡，一行十七個字元。開發環境的封鎖設定跟著上線一起搬到了正式站。
robots.txt 是網站上最短、最少被檢查、卻最有能力造成全面性損害的檔案。這篇整理六種常見錯誤與各自的後果。
一、後果一：整站被封鎖
最嚴重也最常見的錯誤，是把測試環境的全面封鎖設定帶到正式站。搜尋引擎會停止抓取所有頁面，既有排名在數週內逐步消失。
這種情況的特徵是流量在某個時間點之後持續下滑而不是驟降，因為既有索引會慢慢過期而不是立即移除。
- 網站改版或搬家後的第一天就該檢查這個檔案
- 流量在改版後兩週內持續下滑，優先檢查這裡
- 恢復設定之後，重新收錄通常需要二到六週
二、後果二：資源被封鎖導致渲染失敗
把樣式表或腳本目錄整個封鎖，會讓搜尋引擎看到的頁面跟使用者看到的完全不同。畫面可能是空白的、版面錯亂的，或者主要內容根本沒有出現。
這會同時影響內容判讀與行動裝置適用性的評估。實務上這種錯誤造成的傷害比整站封鎖更難發現，因為頁面仍然被收錄，只是評價很低。
三、後果三：該封鎖的沒封鎖，爬蟲預算空轉
電商的篩選網址、站內搜尋結果、分頁的無限組合，會產生大量幾乎相同的頁面。這些頁面被抓取的次數越多，真正重要的頁面被抓取的次數就越少。
我們處理過一個網站，伺服器日誌顯示七成以上的抓取次數花在站內搜尋結果頁上，商品頁平均六週才被造訪一次。
四、後果四：用封鎖來取代移除索引
很多人以為封鎖等於不會出現在搜尋結果。實際上封鎖只是不讓爬蟲讀取內容，如果這個網址已經被收錄或被外部連結指向，它仍然可能出現在結果頁，只是顯示沒有描述。
要讓頁面不出現在結果裡，正確做法是允許抓取並在頁面上標示不索引。封鎖與不索引同時設定反而會失效，因為爬蟲讀不到那個標示。
- 要移除索引：允許抓取，頁面加上不索引標示
- 要節省爬蟲預算：封鎖抓取，但接受它可能仍被列出
- 兩者不要同時對同一組網址使用
五、後果五：規則順序與比對邏輯誤判
多數人不知道規則的比對是以最明確的那一條為準，而不是由上到下第一條符合的。同時存在允許與封鎖規則時，結果經常跟撰寫者的預期相反。
另一個常見誤解是萬用字元與結尾符號的用法。少一個符號，原本只想封鎖一種參數，實際上封鎖了整個目錄。
六、後果六：網站地圖位置錯誤或缺失
網站地圖的宣告放在這個檔案裡，寫錯路徑或指向舊網域，會讓搜尋引擎持續讀取一份不存在或過期的清單。
這一項不會造成災難，但會讓新頁面的收錄速度明顯變慢。搬家後忘記更新這一行，是我們最常看到的疏漏。
七、一份可以直接用的檢查流程
- 直接在瀏覽器開啟網域根目錄下的這個檔案，確認內容跟你以為的一樣
- 用搜尋主控台的網址檢查工具，隨機測試五個重要頁面是否可被抓取
- 檢查樣式與腳本目錄沒有被封鎖
- 確認網站地圖的宣告網址是現在這個網域
- 把這個檔案納入改版與搬家的上線檢查清單，列為第一項
八、什麼時候該重新檢視
三個時機必須檢查：網站改版上線後、更換主機或網域後、以及安裝任何會改寫網址結構的外掛之後。
除此之外，建議每季度看一次。這個檔案通常很短，看完不用三分鐘，但它出錯的代價是整個網站的能見度。
九、給沒有技術人員的公司的做法
如果你沒有工程資源，至少做兩件事：把這個檔案的內容截圖存檔，以及在每次網站有任何變動之後重新打開看一次。
有變動就代表有人動過，有人動過就有機會出錯。這個檢查不需要技術背景，只需要跟上一次的截圖比對。
十、真實案例：一行設定造成的四個月空窗
前面提到那個從四千次掉到兩百次的網站，完整經過是這樣的：三月中旬改版上線，四月流量下滑兩成，客戶以為是改版的正常波動；五月下滑五成，開始懷疑內容；六月下滑到剩下不到百分之五，找了新的廠商重寫文章。
我們在七月接手，第一天檢查這個檔案就發現問題。修正後第九天開始回升，第七週回到原本水準的八成，第四個月完全恢復。
整件事的成本不是修復的時間，是那四個月本來會進來的詢問。以該客戶的平均詢問轉換率計算，損失的機會成本超過改版預算的三倍。
十一、把檢查變成制度的三個做法
個人記得檢查不可靠，因為出事的時候通常是最忙的時候。把它變成制度需要三件事。
- 在上線檢查清單的第一行放這個檔案，並要求截圖存證
- 設定一個每週自動抓取這個檔案並比對內容的通知，內容有變動就寄信
- 在搜尋主控台設定涵蓋範圍的異常通知，收錄頁數驟降時會主動提醒
常見問題
封鎖之後多久會影響排名？
通常在數天內就會停止抓取，既有索引則會在二到六週內逐步消失。發現得越早，恢復越快。
封鎖的頁面還會出現在搜尋結果嗎？
有可能。若該網址有外部連結指向，仍可能被列出但沒有描述。要完全不出現，應允許抓取並使用不索引標示。
需要封鎖後台網址嗎？
多數情況不需要特別封鎖，因為需要登入的頁面本來就不會被收錄。過度封鎖反而容易誤傷。
延伸閱讀
關於作者與審稿
冠誠數位行銷（GuanCheng Martech）的顧問團隊撰寫這篇文章。團隊累積 295 個專案，服務 308 家客戶，操作範圍包含 SEO 自然排名、AEO 答案引擎、GEO 與 LLMO 佈局、Google 與 Meta 廣告投放、電商維運與數據歸因分析。
文章裡的數字來自冠誠數位行銷實際經手的客戶帳戶與後台報表，客戶名稱與可識別資訊都已經移除。內容由負責該領域的冠誠顧問審稿後發佈，最後更新日期為 2026 年 9 月 8 日。讀完有問題，可以到冠誠數位行銷官方網站的預約諮詢頁面留下聯絡方式，我們會用你提供的時段回電。