要不要開放 AI 爬蟲抓取網站：訓練用與檢索用的決策表
中小企業官網到底該不該開放 AI 爬蟲
多數中小企業的官網應該開放檢索用的 AI 爬蟲，訓練用的爬蟲則依內容類型決定。想被 AI 回答引用，就不能把負責即時查資料的爬蟲擋在門外。真正需要保留的，是付費內容、會員資料與不想被拿去訓練模型的原創素材。
AI 爬蟲是指 AI 公司派來讀取網頁的自動程式。它們的用途不只一種，把所有爬蟲當成同一件事處理，是這個題目上最常見的錯誤起點。
三類 AI 爬蟲在做的事情並不一樣
在做決定之前，先把爬蟲分成三類。每一類擋掉之後的後果不同。
- 訓練用爬蟲：大量讀取網頁，內容用來訓練下一版模型。擋掉它，影響的是模型未來對你的既有印象，短期內看不出差別
- 檢索用爬蟲：替 AI 搜尋功能建立索引。使用者提問時，AI 從這份索引裡找來源並附上連結。擋掉它，你的頁面就不會出現在引用來源裡
- 使用者代理：使用者在對話裡貼上網址或要求 AI 去查某個網站時，由 AI 代替使用者即時讀取。擋掉它，使用者會看到 AI 說讀不到你的網站
各家 AI 公司對這三類爬蟲使用不同的名稱，並在自己的說明文件公布。設定之前要去看官方文件的最新版本。名稱會變動，網路上流傳的整理清單常常已經過時。
一張決策表：依內容類型決定開放程度
我們在客戶會議上用下面這份表討論。左邊是內容類型，右邊是三類爬蟲的建議處理方式與理由。
- 服務介紹、方案頁、常見問題：三類都開放。這些內容的目的就是被找到，被引用得越準確越好
- 部落格與教學文章：檢索用與使用者代理開放，訓練用由老闆決定。多數顧問型與服務型公司選擇開放，因為文章的任務是帶來詢問
- 付費課程、會員專區、付費報告全文：三類都不開放，而且要靠登入機制保護。只寫在 robots.txt 上擋不住不守規矩的程式
- 原創圖片、插畫、攝影作品：訓練用不開放是常見選擇，檢索用視是否需要曝光決定
- 站內搜尋結果頁、購物車、後台路徑：三類都不開放，這和一般搜尋引擎的處理原則一致
- 價格與庫存頁：開放檢索用與使用者代理，並確保頁面內容是最新的，否則被引用的會是錯的資訊
這張表的重點是逐類判斷。整站全開或整站全關都很省事，也都會在半年後帶來麻煩。
會議上最常出現的三種爭論
第一種爭論來自內容團隊：我們辛苦寫的文章，為什麼要免費給 AI 學。這個擔心有道理。我們會請團隊回答一個問題：這篇文章的收入來自哪裡。如果收入來自讀者看完之後的詢問，那麼被 AI 引用並附上來源，仍然在替這個目的服務。如果收入來自文章本身，例如訂閱制內容，就應該保護。
第二種爭論來自工程師：爬蟲流量會不會拖垮主機。這需要看伺服器日誌才能回答，不能憑感覺。真的有壓力時，先調整抓取頻率或由主機端做流量管制，不必直接全面封鎖。
第三種爭論來自老闆：同業都封了，我們要不要跟。這個問題要反過來看。同業封鎖之後，AI 在回答相關問題時可用的來源變少，仍然開放的網站反而比較有機會被引用。跟不跟，取決於你想不想出現在那些回答裡。
設定之前要先做的四項盤點
- 打開目前的 robots.txt，確認有沒有很久以前留下的全面封鎖規則。很多網站在改版測試期間加過，上線後忘了拿掉
- 檢查主機商、防火牆與內容傳遞服務的後台，有沒有預設開啟「封鎖 AI 機器人」的選項。這個開關常常在沒有人知情的情況下擋掉所有 AI 爬蟲
- 列出網站上所有需要保護的路徑，確認它們是靠登入保護，還是只靠沒有公開連結
- 和老闆確認對訓練用途的立場，寫成一句話放進內部文件，之後換工程師或換廠商時才有依據
第二項最常卡住。行銷人員看 robots.txt 一切正常，AI 卻一直說讀不到網站。原因往往在防火牆層。這一項需要有主機後台權限的人一起看，行銷部門自己查不出來。
robots.txt 能做到什麼，做不到什麼
robots.txt 是放在網站根目錄的一個文字檔，用來告訴爬蟲哪些路徑可以讀取。它是一份聲明，守規矩的爬蟲會遵守，不守規矩的程式可以無視。
所以它適合用來表達立場與管理正規爬蟲，不適合拿來保護機密。真正不能外流的內容，要放在登入之後，或根本不要放上公開網站。
另一個限制是它不會回溯。今天擋掉訓練用爬蟲，過去已經被讀取的內容不會因此從模型裡消失。它只影響之後的抓取。
設定之後要怎麼確認真的生效
設定完成不等於生效。我們交付時會附一份簡單的驗證紀錄，包含三個動作。
- 用瀏覽器直接開啟 robots.txt 的網址，確認線上版本就是剛改的版本，沒有被快取或被外掛覆蓋
- 請工程師從伺服器日誌篩出各類 AI 爬蟲的請求，確認開放的類別拿到正常回應，封鎖的類別沒有持續讀取受保護路徑
- 在有網頁讀取功能的 AI 助理裡貼上一個公開頁面的網址，請它摘要內容，確認使用者代理讀得到
Google Search Console 裡的 robots.txt 報告可以用來確認檔案有沒有語法錯誤。它檢查的是 Google 自己的爬蟲，其他 AI 公司的爬蟲仍然要靠日誌確認。
交付文件應該包含哪些內容
這類設定最怕的是三個月後沒人記得為什麼這樣設。交付文件只有一頁，包含五個欄位：每一類爬蟲的處理方式，決定的理由，決定人與日期，受保護路徑清單，下次複查的日期。
複查的頻率建議每半年一次。AI 公司會新增爬蟲或改名稱，舊的規則可能已經對不上。複查時只需要比對官方文件與目前的設定，不用重新開會討論立場。
一個示例：設計工作室怎麼做決定
一家做品牌識別設計的小型工作室，網站上有三種內容：服務介紹、設計觀點文章、作品集圖片。老闆一開始想全部封鎖，理由是作品被拿去訓練模型讓他很不舒服。
我們把三種內容分開談。服務介紹與文章的任務是帶來詢問，客戶已經開始用 AI 助理找設計公司，這兩類封掉等於放棄這個入口。作品集圖片是工作室的核心資產，老闆對訓練用途的顧慮很合理。
最後的設定是服務頁與文章三類爬蟲都開放，作品集的圖片路徑不開放訓練用爬蟲，作品的文字說明維持開放。這個結果花了一次四十分鐘的會議。如果一開始就用「開或關」來問，這場會只會變成立場之爭。
這個示例也有限制。圖片已經在社群平台與設計作品網站公開多年，那些平台上的抓取規則不在工作室的控制範圍內。我們在交付文件裡把這一點寫明，避免老闆以為設定之後作品就完全不會被讀取。
哪些情況下這張決策表不適用
如果公司的主要收入來自內容授權或訂閱，例如新聞媒體與資料庫業者，開放與否牽涉授權談判與著作權策略，這張表過於簡化，需要交由熟悉著作權的當地持牌法律專業人士一起評估。
如果網站處理的是個人資料或受法規管制的資訊，哪些頁面可以公開本身就要先經過法遵確認，爬蟲設定排在那之後。
如果網站還沒有任何值得引用的內容，開放爬蟲也不會帶來能見度。這時該先做的是把服務說明與常見問題寫清楚，再回來處理這張表。
常見問題
封鎖 AI 爬蟲會影響一般的搜尋排名嗎？
只封鎖 AI 公司的專用爬蟲，不會影響一般搜尋引擎的收錄。要留意的是不要誤寫成封鎖所有爬蟲的規則，那會讓整個網站從搜尋結果消失。
robots.txt 設定封鎖之後，AI 就一定讀不到嗎？
不一定。robots.txt 是一份聲明，正規的爬蟲會遵守，但它沒有強制力。真正需要保護的內容應該放在登入機制之後，不能只靠這個檔案。
想被 AI 引用，最少要開放哪些爬蟲？
至少要開放檢索用爬蟲與使用者代理。前者決定你能不能出現在 AI 搜尋的引用來源，後者決定使用者請 AI 讀你的網頁時能不能成功。
為什麼 robots.txt 沒有封鎖，AI 還是說讀不到我的網站？
常見原因是主機、防火牆或內容傳遞服務預設開啟了封鎖 AI 機器人的選項，或頁面內容要靠程式執行後才顯示。需要請有後台權限的人檢查。
延伸閱讀：AI 能見度主題文章、最新新知、行銷案例