孤兒頁怎麼找:網站地圖、GSC 與站內爬取三份名單交叉比對教學

孤兒頁要靠三份名單交叉比對才找得到:網站地圖列出的網址、Search Console 看過的網址、從首頁點連結爬得到的網址。出現在前兩份、卻不在第三份的頁面,就是站內沒有任何連結指向的孤兒頁。整個流程用免費工具和一份試算表就能做完。

這篇是步驟教學。我把自己替中小企業官網做盤點時的順序拆成七步,每一步寫清楚要開哪個畫面、要匯出哪一欄、做完要留下什麼。若你要的是逐項勾選的盤點清單,可以先看孤兒頁面盤點清單二十項;這篇只處理一件事:怎麼把孤兒頁「找出來」,而且找得完整。

為什麼孤兒頁用肉眼找不到?

孤兒頁的定義很簡單:網站上存在,但站內沒有任何頁面連到它。問題在於,你在後台看得到它,它在前台卻沒有入口。管理者每天看的是後台文章列表,所以總覺得「每一頁都在」。

Google 找頁面主要靠兩條路,一條是跟著連結走,一條是讀網站地圖。官方的搜尋引擎最佳化入門指南說明,Google 大多是透過其他頁面的連結發現新網頁。孤兒頁只剩網站地圖這條路,而且沒有內部連結替它說明「這頁在整個網站裡的位置」。

常見的產生方式有幾種:活動結束後把選單項目拿掉、改版時換了分類卻沒把舊文章接回去、行銷人員自己建了廣告到達頁、外掛自動生成的頁面。每一種都不會報錯,所以不會有人發現。

開始前要準備的四樣東西

  • 一份試算表檔案,開四個分頁,分別叫「地圖」「GSC」「爬取」「比對」
  • Search Console 的擁有者或完整權限,能匯出頁面報表
  • 網站地圖的網址,通常在網域後面加 sitemap.xml 或 sitemap_index.xml
  • 一個可以從首頁開始沿著連結爬的工具。免費的桌面爬蟲多有網址數上限,小型官網通常夠用;頁數超過上限時,可以分目錄各爬一次

準備時有一個原則:三份名單的網址格式要一致。協定、www、結尾斜線只要有一個不同,比對公式就會把同一頁當成兩頁。如果你的網站還沒統一網址版本,先處理那件事再回來。

步驟一到三:收集三份網址名單

步驟一:匯出網站地圖

打開網站地圖網址。如果看到的是索引檔,裡面會再列出好幾份子地圖,例如文章、頁面、分類、商品。每一份都打開,把網址複製進「地圖」分頁的 A 欄。分類頁與標籤頁若你本來就設定不給索引,可以先不收,但要在旁邊註記「刻意排除」。

步驟二:匯出 Search Console 的網址

進入 Search Console 的「網頁」索引報表,分別點開「已建立索引」與各種「未建立索引」原因,匯出網址清單。再到成效報表,把日期拉到最長,匯出「網頁」分頁。兩者合併後去除重複,貼到「GSC」分頁。這份名單代表「Google 知道存在」的頁面,常會冒出網站地圖沒列的舊網址。

步驟三:從首頁爬一次站內連結

爬蟲的起點設成首頁,只跟隨站內連結,不要匯入網站地圖。這一點最常做錯。很多工具預設會順便讀網站地圖,一旦勾選,孤兒頁也會出現在爬取結果裡,比對就失效。爬完只匯出回應碼為 200 的 HTML 頁面網址,貼進「爬取」分頁。

步驟四:用試算表公式做交叉比對

到「比對」分頁,把前兩份名單合併成一欄並去除重複,這是「應該存在的頁面」。旁邊三欄各用一條查找公式,檢查這個網址有沒有出現在地圖、GSC、爬取三份名單。出現就填「有」,沒有就填「無」。比對結果會落在以下幾種組合。

地圖GSC爬取判讀下一步
有有無典型孤兒頁,Google 知道它,站內沒人連它判斷要接回、合併或下架
有無無孤兒頁,而且 Google 可能還沒處理先確認內容是否值得保留
無有無舊網址或被遺忘的頁面,連地圖都沒有查回應碼,決定導向或補回
有有有正常頁面不處理
無無有爬得到但沒列進地圖補進網站地圖或確認是否該索引

第一列和第二列是這次的主角。第三列常被忽略,它們多半是改版前的網址,有時仍有外部網站連過來,處理方式不同,下一步會說明。

步驟五:每一個孤兒頁都要先問三個問題

找出來之後,不要急著全部加連結。孤兒頁有一部分本來就該消失。我會在比對分頁再加三欄,逐頁回答:

  • 這頁的內容現在還正確嗎?價格、服務項目、聯絡方式有沒有過期
  • 網站上有沒有另一頁講同一件事,而且寫得更完整
  • 這頁有沒有一個清楚的讀者,讀完知道下一步要去哪

三題都答「是、沒有、有」的頁面,接回網站。內容過期但主題仍有價值的,先改寫再接回。和其他頁重複的,把內容併進較完整的那頁,舊網址做永久轉址。沒有讀者、也沒有外部連結的頁面,可以下架並回傳 404 或 410。

這個判斷背後是 Google 對有用內容的要求。官方的建立實用且以使用者為優先的內容一文,建議網站經營者從讀者是否得到滿足的角度自我檢查。把一頁過期、重複的孤兒頁硬接回網站,只是把問題從看不見變成看得見。

步驟六:替要保留的頁面找到正確的入口

接回網站不等於隨便從一篇文章加一條連結。入口要放在讀者真的會經過、而且主題相關的位置。我的順序是:

  • 上層分類頁或服務頁:這頁屬於哪個服務,就從那個服務頁連過來
  • 同主題的兩到三篇文章:在內文提到相關概念的句子加連結,不是放在文末相關文章區
  • 必要時放進導覽:只限會帶來詢問的頁面,例如價格說明、常見問題

錨點文字寫出這頁實際在講什麼,不要寫「點這裡」或「了解更多」。錨點寫法的細節可以參考內部連結錨點文字的八個誤判。如果你想從架構層面一次規劃,主題叢集怎麼把權重送到成交頁這篇把服務頁、支柱頁與文章的連結關係畫得比較完整。

步驟七:處理完要留下什麼紀錄?

最後一步是存檔,這一步決定下次會不會又長出一批孤兒頁。我會留三樣東西:

  • 比對分頁的最終版本,加上「處理方式」與「處理日期」兩欄
  • 一張轉址對照表,列出舊網址、新網址、轉址類型
  • 一條上架規則寫進團隊的作業文件:新頁面上線當天,至少要有一個上層頁面與一篇相關文章連到它

第三條最重要。孤兒頁不是技術錯誤,是流程缺口。只要新頁上線時沒有人負責「誰連到它」,半年後就會再出現一批。處理完的頁面,在 Search Console 用網址檢查工具查一次,確認 Google 看到的版本已經有新的內部連結。

示範情境:一個五十頁官網的盤點

以下是示範情境,不是特定客戶。一家做工業零件的公司官網,有服務頁、產品頁和一個不常更新的文章區。三份名單比對後,第一類和第二類合計找出十多頁孤兒頁,大致分成三種:兩年前展覽的活動頁、改版時被拿掉分類的舊文章、業務自己請外包做的廣告到達頁。

活動頁內容過期,沒有外部連結,直接下架。舊文章裡有幾篇講材質挑選,內容仍然正確,就從對應的產品頁加連結接回。廣告到達頁本來就不該被搜尋,加上不索引設定,並從網站地圖移除。整個過程大約一個下午,重點不在工具,而在每一頁都有人做決定。

適用與不適用的情況

這套三名單比對法適合頁數在幾十頁到幾千頁之間、由內部人員維護的官網與部落格。它不需要付費工具,判斷邏輯也能交接給下一位負責人。

不適用的情況有三種。第一,大型電商或有大量篩選網址的網站,爬取名單會被參數網址淹沒,要先處理篩選網址的收斂。第二,完全靠前端程式產生連結的網站,爬蟲若不執行程式碼,會把大量正常頁誤判成孤兒頁,要改用能渲染頁面的爬取設定。第三,網站正在改版或搬家期間,三份名單本身都不穩定,等上線穩定後再做。若你不確定自己的網站屬於哪一種,可以到冠誠數位行銷的服務說明看技術盤點的範圍。

寫在最後的三件事

版權

本站每一個字、每一版面與案例紀錄,皆由冠誠數位行銷逐字撰寫、逐版校訂而成,原稿與時間戳紀錄完整保存。未經書面同意而複製、改寫、轉載或挪作他用者,本所將依著作權法追究,絕不寬貸。

隱私

您寫給我們的每一個字,只用來回覆您的委託,不轉售、不交換。全站以 HTTPS 加密傳輸,主機由 WP Engine 代管。

保密

委託期間與結束之後,您的企業名稱、數據與案情一律不對外揭露;正式合作前,雙方簽署保密協議。所有往來以文字全程紀錄,說過的話都有據可查。