孤兒頁怎麼找:網站地圖、GSC 與站內爬取三份名單交叉比對教學
孤兒頁要靠三份名單交叉比對才找得到:網站地圖列出的網址、Search Console 看過的網址、從首頁點連結爬得到的網址。出現在前兩份、卻不在第三份的頁面,就是站內沒有任何連結指向的孤兒頁。整個流程用免費工具和一份試算表就能做完。
這篇是步驟教學。我把自己替中小企業官網做盤點時的順序拆成七步,每一步寫清楚要開哪個畫面、要匯出哪一欄、做完要留下什麼。若你要的是逐項勾選的盤點清單,可以先看孤兒頁面盤點清單二十項;這篇只處理一件事:怎麼把孤兒頁「找出來」,而且找得完整。
為什麼孤兒頁用肉眼找不到?
孤兒頁的定義很簡單:網站上存在,但站內沒有任何頁面連到它。問題在於,你在後台看得到它,它在前台卻沒有入口。管理者每天看的是後台文章列表,所以總覺得「每一頁都在」。
Google 找頁面主要靠兩條路,一條是跟著連結走,一條是讀網站地圖。官方的搜尋引擎最佳化入門指南說明,Google 大多是透過其他頁面的連結發現新網頁。孤兒頁只剩網站地圖這條路,而且沒有內部連結替它說明「這頁在整個網站裡的位置」。
常見的產生方式有幾種:活動結束後把選單項目拿掉、改版時換了分類卻沒把舊文章接回去、行銷人員自己建了廣告到達頁、外掛自動生成的頁面。每一種都不會報錯,所以不會有人發現。
開始前要準備的四樣東西
- 一份試算表檔案,開四個分頁,分別叫「地圖」「GSC」「爬取」「比對」
- Search Console 的擁有者或完整權限,能匯出頁面報表
- 網站地圖的網址,通常在網域後面加 sitemap.xml 或 sitemap_index.xml
- 一個可以從首頁開始沿著連結爬的工具。免費的桌面爬蟲多有網址數上限,小型官網通常夠用;頁數超過上限時,可以分目錄各爬一次
準備時有一個原則:三份名單的網址格式要一致。協定、www、結尾斜線只要有一個不同,比對公式就會把同一頁當成兩頁。如果你的網站還沒統一網址版本,先處理那件事再回來。
步驟一到三:收集三份網址名單
步驟一:匯出網站地圖
打開網站地圖網址。如果看到的是索引檔,裡面會再列出好幾份子地圖,例如文章、頁面、分類、商品。每一份都打開,把網址複製進「地圖」分頁的 A 欄。分類頁與標籤頁若你本來就設定不給索引,可以先不收,但要在旁邊註記「刻意排除」。
步驟二:匯出 Search Console 的網址
進入 Search Console 的「網頁」索引報表,分別點開「已建立索引」與各種「未建立索引」原因,匯出網址清單。再到成效報表,把日期拉到最長,匯出「網頁」分頁。兩者合併後去除重複,貼到「GSC」分頁。這份名單代表「Google 知道存在」的頁面,常會冒出網站地圖沒列的舊網址。
步驟三:從首頁爬一次站內連結
爬蟲的起點設成首頁,只跟隨站內連結,不要匯入網站地圖。這一點最常做錯。很多工具預設會順便讀網站地圖,一旦勾選,孤兒頁也會出現在爬取結果裡,比對就失效。爬完只匯出回應碼為 200 的 HTML 頁面網址,貼進「爬取」分頁。
步驟四:用試算表公式做交叉比對
到「比對」分頁,把前兩份名單合併成一欄並去除重複,這是「應該存在的頁面」。旁邊三欄各用一條查找公式,檢查這個網址有沒有出現在地圖、GSC、爬取三份名單。出現就填「有」,沒有就填「無」。比對結果會落在以下幾種組合。
| 地圖 | GSC | 爬取 | 判讀 | 下一步 |
|---|---|---|---|---|
| 有 | 有 | 無 | 典型孤兒頁,Google 知道它,站內沒人連它 | 判斷要接回、合併或下架 |
| 有 | 無 | 無 | 孤兒頁,而且 Google 可能還沒處理 | 先確認內容是否值得保留 |
| 無 | 有 | 無 | 舊網址或被遺忘的頁面,連地圖都沒有 | 查回應碼,決定導向或補回 |
| 有 | 有 | 有 | 正常頁面 | 不處理 |
| 無 | 無 | 有 | 爬得到但沒列進地圖 | 補進網站地圖或確認是否該索引 |
第一列和第二列是這次的主角。第三列常被忽略,它們多半是改版前的網址,有時仍有外部網站連過來,處理方式不同,下一步會說明。
步驟五:每一個孤兒頁都要先問三個問題
找出來之後,不要急著全部加連結。孤兒頁有一部分本來就該消失。我會在比對分頁再加三欄,逐頁回答:
- 這頁的內容現在還正確嗎?價格、服務項目、聯絡方式有沒有過期
- 網站上有沒有另一頁講同一件事,而且寫得更完整
- 這頁有沒有一個清楚的讀者,讀完知道下一步要去哪
三題都答「是、沒有、有」的頁面,接回網站。內容過期但主題仍有價值的,先改寫再接回。和其他頁重複的,把內容併進較完整的那頁,舊網址做永久轉址。沒有讀者、也沒有外部連結的頁面,可以下架並回傳 404 或 410。
這個判斷背後是 Google 對有用內容的要求。官方的建立實用且以使用者為優先的內容一文,建議網站經營者從讀者是否得到滿足的角度自我檢查。把一頁過期、重複的孤兒頁硬接回網站,只是把問題從看不見變成看得見。
步驟六:替要保留的頁面找到正確的入口
接回網站不等於隨便從一篇文章加一條連結。入口要放在讀者真的會經過、而且主題相關的位置。我的順序是:
- 上層分類頁或服務頁:這頁屬於哪個服務,就從那個服務頁連過來
- 同主題的兩到三篇文章:在內文提到相關概念的句子加連結,不是放在文末相關文章區
- 必要時放進導覽:只限會帶來詢問的頁面,例如價格說明、常見問題
錨點文字寫出這頁實際在講什麼,不要寫「點這裡」或「了解更多」。錨點寫法的細節可以參考內部連結錨點文字的八個誤判。如果你想從架構層面一次規劃,主題叢集怎麼把權重送到成交頁這篇把服務頁、支柱頁與文章的連結關係畫得比較完整。
步驟七:處理完要留下什麼紀錄?
最後一步是存檔,這一步決定下次會不會又長出一批孤兒頁。我會留三樣東西:
- 比對分頁的最終版本,加上「處理方式」與「處理日期」兩欄
- 一張轉址對照表,列出舊網址、新網址、轉址類型
- 一條上架規則寫進團隊的作業文件:新頁面上線當天,至少要有一個上層頁面與一篇相關文章連到它
第三條最重要。孤兒頁不是技術錯誤,是流程缺口。只要新頁上線時沒有人負責「誰連到它」,半年後就會再出現一批。處理完的頁面,在 Search Console 用網址檢查工具查一次,確認 Google 看到的版本已經有新的內部連結。
示範情境:一個五十頁官網的盤點
以下是示範情境,不是特定客戶。一家做工業零件的公司官網,有服務頁、產品頁和一個不常更新的文章區。三份名單比對後,第一類和第二類合計找出十多頁孤兒頁,大致分成三種:兩年前展覽的活動頁、改版時被拿掉分類的舊文章、業務自己請外包做的廣告到達頁。
活動頁內容過期,沒有外部連結,直接下架。舊文章裡有幾篇講材質挑選,內容仍然正確,就從對應的產品頁加連結接回。廣告到達頁本來就不該被搜尋,加上不索引設定,並從網站地圖移除。整個過程大約一個下午,重點不在工具,而在每一頁都有人做決定。
適用與不適用的情況
這套三名單比對法適合頁數在幾十頁到幾千頁之間、由內部人員維護的官網與部落格。它不需要付費工具,判斷邏輯也能交接給下一位負責人。
不適用的情況有三種。第一,大型電商或有大量篩選網址的網站,爬取名單會被參數網址淹沒,要先處理篩選網址的收斂。第二,完全靠前端程式產生連結的網站,爬蟲若不執行程式碼,會把大量正常頁誤判成孤兒頁,要改用能渲染頁面的爬取設定。第三,網站正在改版或搬家期間,三份名單本身都不穩定,等上線穩定後再做。若你不確定自己的網站屬於哪一種,可以到冠誠數位行銷的服務說明看技術盤點的範圍。
