放行 AI 爬虫会不会让内容被拿去训练模型？

取决于爬虫类型。GPTBot、Google-Extended、CCBot 属于训练用途爬虫，放行意味着内容可能进入训练语料；OAI-SearchBot、PerplexityBot、Claude-SearchBot 属于检索用途爬虫，服务于实时搜索引用而非训练。两类可以分开控制：想被 AI 搜到但不想进训练集，就放行检索类、封禁训练类。

封禁 AI 爬虫能保护内容吗？

只能部分保护。robots.txt 是君子协议，主流大厂爬虫会遵守，但灰色爬虫不会。对获客型网站，封禁的实际效果通常是：正规 AI 引擎搜不到你（丢流量），而真正想抄你内容的人照样能抄。除非内容本身是付费资产，否则建议对检索类爬虫开放。

AI 爬虫会不会拖垮服务器？

对静态站基本没有压力：AI 爬虫的抓取频率远低于搜索引擎主爬虫，且静态 HTML 响应成本极低。如果是动态站且担心负载，可以用 crawl-delay 指令（部分爬虫支持）或在 CDN/网关层限速，而不是直接封禁。

怎么验证 AI 爬虫真的来抓取过？

看服务器访问日志，按 UA 过滤：grep -i "GPTBot\|PerplexityBot\|ClaudeBot" access.log。注意要校验 IP 反查：正规爬虫的 IP 段是公开的（OpenAI、Perplexity 都发布了官方 IP 列表），伪造 UA 的假爬虫可以据此识别。

AI 爬虫白名单实践：robots.txt 该放行哪 13 种 AI 引擎爬虫（2026 清单）

封禁 AI 爬虫等于禁止 AI 引用你的内容。本文给出 13 种主流 AI 引擎爬虫的 UA 清单（OpenAI、Perplexity、Anthropic、Google 等），逐一说明每个爬虫的用途差异，附可直接使用的 robots.txt 配置和取舍建议。

先说结论

robots.txt 里封掉 AI 爬虫，等于亲手关掉”被 AI 引用”这个流量入口——这是 GEO 优化里最容易做错的一步，因为很多”安全加固”教程默认把所有非搜索引擎爬虫都封了。

对获客型网站，正确姿势是：检索类 AI 爬虫全放行，训练类爬虫按自己的内容策略取舍。下面是完整清单和判断依据。

1. 13 种主流 AI 爬虫清单

User-Agent	归属	用途	建议
`OAI-SearchBot`	OpenAI	ChatGPT 搜索索引	✅ 放行
`ChatGPT-User`	OpenAI	用户会话中实时访问	✅ 放行
`GPTBot`	OpenAI	模型训练语料	⚖️ 按策略
`PerplexityBot`	Perplexity	搜索索引	✅ 放行
`Perplexity-User`	Perplexity	用户会话实时访问	✅ 放行
`Claude-SearchBot`	Anthropic	Claude 搜索索引	✅ 放行
`Claude-User`	Anthropic	用户会话实时访问	✅ 放行
`ClaudeBot`	Anthropic	模型训练语料	⚖️ 按策略
`Google-Extended`	Google	Gemini 训练与 grounding	⚖️ 按策略
`Googlebot`	Google	传统搜索（兼 AI Overview）	✅ 必须放行
`Bingbot`	Microsoft	必应搜索 + Copilot	✅ 必须放行
`CCBot`	Common Crawl	公共语料库（多数开源模型的训练源）	⚖️ 按策略
国内引擎	百度/字节/阿里	Baiduspider 兼顾文心；豆包、通义各有 UA	✅ 放行

三类用途要分清：

检索类（SearchBot 系）：为 AI 搜索建索引，你的内容被引用时带来源链接——这就是 GEO 流量，获客站没有理由封；
会话类（-User 系）：用户在对话里贴了你的链接、或 AI 代理替用户访问你的页面时的实时请求，封了等于把主动送上门的访客拒之门外；
训练类（GPTBot / ClaudeBot / Google-Extended / CCBot）：抓取内容进训练语料，不直接带流量。开放的收益是间接的（模型”认识”你的品牌），代价是内容进入语料库。

2. 可直接使用的 robots.txt（本站真实配置）

# AI 引擎检索爬虫白名单（封这些等于禁止 AI 引用你的内容）
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: GPTBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Perplexity-User
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: Googlebot
Allow: /
User-agent: Bingbot
Allow: /
User-agent: CCBot
Allow: /

# 其余爬虫通用放行
User-agent: *
Allow: /
Sitemap: https://aigcharness.com/sitemap-index.xml

本站选择训练类也全放行——我们是获客型内容站，内容本身就是公开物料，被模型”学会”只有好处。如果你的站点有付费内容或独家数据，把训练类四个 UA 的 Allow: / 改成 Disallow: / 即可，检索类保持放行不受影响。

3. 两个容易踩的坑

坑一：User-agent: * 后面跟 Disallow: /，以为上面的白名单还有效。 robots.txt 的匹配规则是”最具体的 UA 组生效”，这么写白名单确实有效——但很多人反过来，只写了 User-agent: * Disallow: / 忘了加白名单，直接全封。改完务必用各家的 robots 测试工具验证。

坑二：封 Googlebot 想只封 AI。 Google 的 AI Overview 用的是主索引，封 Googlebot 连传统搜索一起没了。想只对 Gemini 训练说不，封 Google-Extended 才是对的，它不影响搜索排名。

4. 配套动作

robots.txt 只解决”能不能进门”。进门之后 AI 爬虫看什么、怎么理解你的站点，由另外两件事决定：

llms.txt 站点导览 —— 给 AI 的”人话版”站点说明书
GEO 全套基建 —— JSON-LD、FAQ schema、BLUF 内容结构等 7 项

三件配齐，才算把”可被 AI 引用”的地基打完。