AI 爬虫与 robots.txt:你是不是把该引用你的助手挡在了门外?
· Visora
AI 爬虫与 robots.txt:你是不是把该引用你的助手挡在了门外?
在电商 GEO 审计里,有一个「安静的失败模式」我们反复遇到:店铺在 Google 排名很好,自然流量健康,可 ChatGPT 和 Perplexity 从来不提它。原因常常藏在一份多年没人打开的文件里的一行字——robots.txt。AI 助手并不会凭空知道你的产品存在。它们的系统会派出爬虫,而爬虫遵守的,正是 Googlebot 遵守了二十年的那套规则。你把它们挡在门外,答案引擎里就看不到你,内容再好也没用。如果你刚接触这个领域,先看 GEO 到底是什么(/blog/what-is-geo-2026)。
认识这些爬虫 对 AI 搜索而言,有几类爬虫很关键。GPTBot 是 OpenAI 的通用爬虫,OAI-SearchBot 则和 ChatGPT 里搜索式检索相关。ClaudeBot 和 anthropic-ai 服务 Anthropic。PerplexityBot 为 Perplexity 抓取页面。Google-Extended 是 Google 生成式产品的独立开关,特意和 Googlebot 分开,让你可以在不伤经典搜索的前提下退出 AI 训练和相关展示。它们都会去域名根目录找 /robots.txt,读取适用于自己的 User-agent 和 Disallow 规则。有些还会遵守 meta 标签和 HTTP 头,但 robots.txt 是共同的最低标准。
没人讲清的权衡 屏蔽 AI 爬虫是一个有真实后果的选择,不能简单说好或坏。如果业务依赖授权内容,你可能确实想限制训练类爬虫。但「允许训练模型」和「允许检索并在答案中引用你的页面」是两回事。很多店铺在 2023 年出于谨慎一刀切全部屏蔽,之后再没回头看过。今天这个一刀切意味着:当购物者在助手里问你这个品类的推荐时,你根本不可能被引用。如果你认真做生成式引擎优化,就需要对每一个爬虫有明确、成文的立场,而不是靠一个意外的默认值。
五步审计 第一,在浏览器打开 https://yourstore.com/robots.txt,从头到尾读一遍。第二,列出所有点名 AI 爬虫的 User-agent 组,记下它们下面的 Disallow 规则。第三,检查是否有 User-agent: * 配 Disallow: / 这样的宽泛规则,把你其实想放行的爬虫也一起挡了。第四,确认重要的产品页、指南页和政策页没有被任何规则屏蔽,包括通配符模式。第五,确认文件本身返回 200,且没有经过一串可能让爬虫放弃的重定向。
悄悄吃掉引用的错误配置 最常见的是从旧模板继承来的一刀切屏蔽。第二是把测试环境的规则带上了生产,把 /products 或 /collections 藏了起来。第三是 CDN 或 WAF 按异常 user agent 拦截请求,即便 robots.txt 说可以,爬虫还是进不来。第四是按 user agent 字符串屏蔽但爬虫改名了——bot 名称会变,照着旧名字写的规则可能漏掉现在的。最后,有些平台会自己注入 robots.txt,你在主题里改文件根本没用。一定要查实际返回的内容,而不是你以为上传的那份。
Shopify 与 CDN 的坑 Shopify 会生成一份可在后台自定义的 robots.txt,但很多店铺同时还挂在带自己爬虫规则的 CDN 后面。如果你用无头架构、反向代理或安全插件,可能有两三层在共同决定谁能进来。要把请求从头到尾追一遍。用一个工具模拟指定 user agent 去请求真实 URL,确认返回的是 200 和真实 HTML,而不是验证页或空壳。只收到没有事实的 JavaScript 的 AI 爬虫,实际上也等于被挡了。
用真实问题验证 robots.txt 是通行证,不是引用的保证。改完之后,用客户会问的自然语言问题在几个助手里跑一遍,记录你的哪些页面出现了。用一套简单的 GEO 衡量框架(/blog/geo-measurement-framework)长期跟踪,把任何突然下滑都当成重新检查抓取规则的信号。这正是 GEO 与 SEO 的不同:经典排名可能看起来稳定,而你在答案引擎里的存在感已经崩了——所以理解 GEO 和 SEO 的区别(/blog/geo-vs-seo-difference)不只是纸上谈兵。
一句话总结 爬虫读不到,你的内容就不会被引用。今天就审计 robots.txt,对每一个 AI 爬虫做出明确决定,清掉那些让好产品进不了 AI 答案的意外屏蔽。这是个十分钟就能做的修复,对你的 AI 搜索可见性却影响巨大。
https://geovisora.com/zh/blog/ai-crawlers-robots-txt-2026