如何維持搜尋可見度，同時控制 AI 爬蟲

摘要：發現與訓練是不同選擇

網路正進入更複雜的爬蟲時代。網站發布者可能希望 Googlebot 或 Bingbot 發現並排名頁面，卻不希望另一個爬蟲收集同一頁面作為模型訓練資料。Cloudflare 在 2026 年 9 月提出的方案，把維持搜尋可見度與拒絕 AI 訓練視為策略問題，而不是全部允許或全部封鎖。

這對建立網站、文件、作品集和下載頁面的人很重要。封鎖所有自動化存取可能降低搜尋可見度；允許所有存取又可能在沒有明確收益時交出有價值內容。更好的方法是區分爬蟲目的、發布清楚規則，並觀察真正到達網站的請求。

Cloudflare 方案帶來的改變

Cloudflare 描述了混合用途問題：某些公司使用的機器人可能同時負責搜尋抓取、答案生成和訓練資料收集。單一 robots.txt 規則無法表達發布者的真實偏好，尤其當一個爬蟲身分連結多個產品時。因此方案強調可問責的爬蟲行為，以及網路邊緣更清楚的控制。

重點不是某一家供應商已解決所有政策問題，而是發布者應能針對不同用途作出不同決定。搜尋索引、AI 答案檢索與模型訓練有不同誘因、風險和時間尺度。今天適合作為搜尋結果的頁面，不代表永遠獲准作為訓練資料。請閱讀 Cloudflare 原文，並在修改規則前查看 Google robots.txt 文件。

小型發布者的實用政策

先建立內容清單。列出應被索引的公開區域，例如產品頁、指南和持續維護的部落格文章；再分開儀表板、登入頁、API、預覽頁、站內搜尋結果及使用者專屬網址。這些受保護路徑無論爬蟲政策如何都應保持私密。

接著判斷哪些用途有價值。合理的起點是允許成熟搜尋爬蟲存取公開 HTML，另外評估 AI 搜尋推薦流量，並在未授權時拒絕訓練爬蟲。規則要精準並留下文件。robots.txt 很有用，但不是驗證身分或版權授權，也不能取代限流和伺服器存取控制。

最後觀察結果。檢查使用者代理、請求量、狀態碼和路徑，留意 API 或預覽頁被意外抓取、重複請求浪費資源，以及規則變更後自然流量的變化。協助使用者發現工具的網站，目標不是最多機器人流量，而是能進入實用軟體頁面的訪客。可以瀏覽 BTTC 的軟體探索目錄。

GEO 啟示：清楚說明權限與來源

生成式搜尋系統更容易摘要穩定、易懂且方便歸因的頁面。頁面應清楚標示作者、日期、主題和來源關係。伺服器渲染結構化資料、描述性標題、簡潔摘要和規範網址，能協助傳統爬蟲與答案引擎理解內容。

但可見度不等於授權。發布者可以最佳化頁面讓答案引擎引用，同時設定獨立的訓練限制。內容團隊應同時維護搜尋品質清單與爬蟲治理清單。可參考 BTTC 部落格指南，但仍需依實際機器人文件和伺服器日誌驗證。

常見問題

封鎖 AI 訓練爬蟲會讓頁面從 Google 消失嗎？

不一定。搜尋抓取與訓練收集可能是不同活動，結果取決於具體爬蟲與規則。

robots.txt 足以保護私密內容嗎？

不夠。它只是對守規矩爬蟲的要求，不是存取控制。私密路徑需要驗證、授權以及網路與快取控制。

每個網站都應該封鎖 AI 爬蟲嗎？

沒有統一答案。應比較推薦流量、引用、授權收益與基礎設施成本，按內容區域作決定。

結論

面對混合用途 AI 爬蟲，最持久的做法是精準控制：讓有價值的公開頁面保持可發現，用真正的存取控制保護私密路徑，清楚表達偏好，並持續監測實際行為。