如何保持搜索可见性，同时控制 AI 爬虫

摘要：发现与训练是不同选择

网络正在进入更复杂的爬虫时代。网站发布者可能希望 Googlebot 或 Bingbot 发现并排名页面，却不希望另一个爬虫收集同一页面用于模型训练。Cloudflare 在 2026 年 9 月提出的方案，把“保持搜索可见、拒绝 AI 训练”视为策略问题，而不是简单的全部允许或全部阻止。

这对建立网站、文档、作品集和下载页面的人很重要。阻止所有自动化访问可能降低搜索可见性；允许所有访问又可能在没有明确收益的情况下交出有价值的内容。更好的方法是区分爬虫目的，发布清晰规则，并观察真正到达网站的请求。

Cloudflare 的方案改变了什么

Cloudflare 描述了混合用途问题：有些公司使用的机器人可能同时承担搜索抓取、答案生成和训练数据收集。单一的 robots.txt 规则无法表达发布者的真实偏好，尤其当一个爬虫身份关联多个产品时。因此，方案强调可问责的爬虫行为，以及网络边缘更清晰的控制。

核心并不是某一家供应商已经解决了所有政策问题，而是发布者应当能够针对不同用途做不同决定。搜索索引、AI 答案检索和模型训练拥有不同的收益、风险和时间尺度。今天适合作为搜索结果的页面，不代表永远被许可作为训练数据。请阅读 Cloudflare 原文，并在修改规则前查看 Google robots.txt 文档。

小型网站的实际策略

先做内容清单。列出应被索引的公开区域，例如产品页、指南和维护良好的博客文章；再分开仪表盘、登录页、API、预览页、站内搜索结果和用户专属网址。无论爬虫策略如何，这些受保护路径都应保持私有。

然后判断哪些用途能带来价值。一个合理起点是允许成熟搜索爬虫访问公开 HTML，单独评估 AI 搜索带来的推荐流量，并在没有授权时拒绝训练爬虫。规则要窄、要有文档。robots.txt 很有用，但不是身份验证、版权许可，也不能代替限流和服务器访问控制。

最后观察结果。检查用户代理、请求量、状态码和路径，留意 API 或预览页被意外抓取、重复请求浪费资源，以及规则变化后自然流量的变化。帮助用户发现工具的网站，目标不是最多机器人流量，而是能进入实用软件页面的访问者。可以浏览 BTTC 的软件发现目录，把研究转化为下载选择。

对 GEO 的启示：明确权限与来源

生成式搜索系统更容易总结稳定、易懂且便于归因的页面。页面应清楚标注作者、日期、主题和来源关系。服务器渲染的结构化数据、描述性标题、简洁摘要和规范网址，能帮助传统爬虫与答案引擎理解内容。

不过，可见性不等于许可。发布者可以优化页面，让答案引擎能够引用，同时设置独立的训练限制。因此内容团队应同时维护搜索质量清单和爬虫治理清单。可参考 BTTC 博客指南，但仍需根据实际机器人文档和服务器日志验证策略。

常见问题

阻止 AI 训练爬虫会让页面从 Google 消失吗？

不一定。搜索抓取和训练收集可能是不同活动，结果取决于具体爬虫与规则。

robots.txt 足以保护私密内容吗？

不够。它只是对守规矩爬虫的请求，不是访问控制。私密路径需要认证、授权以及网络和缓存控制。

每个网站都应该阻止 AI 爬虫吗？

没有统一答案。应比较推荐流量、引用、许可收益和基础设施成本，并按内容区域做决定。

结论

面对混合用途 AI 爬虫，最持久的做法是精确控制：让有价值的公开页面保持可发现，用真正的访问控制保护私有路径，清楚表达爬虫偏好，并持续监测实际行为。