AI 搜索时代，一份能照着打勾的 SEO 自检清单

有同行问我：想知道自己站在 AI 搜索里的情况，该怎么查。

多数人的第一反应是打开 ChatGPT，问几个自己关心的词，看答案里有没有提到自己。

这个动作没错，但它是最后一层。

底下三层不看，你就算测出来"没提到我"，也不知道卡在哪。

先给一个数字。

HTTP Archive 2026 年 9 月的桌面端样本里，668,523 个网站，只有 13.059% 在 robots.txt 里给 AI 爬虫写了单独的规则。换算过来约 8.7 万个站点，剩下 87% 全是默认状态。

而 2026 年的"默认状态"，已经不等于"开着门"了。

2023 年那波"AI 在偷我们内容"的恐慌里，很多 CMS 插件、CDN 面板、安全组件都加了一键拦截 AI 爬虫的开关。装的时候可能手快点了，之后没人记得改回来。

你的第一层自检，是去确认门到底是开着还是被自己关上的。

下面这份清单我按四层排，从下往上查。每层给"查什么"和"怎么验证"。

第 0 层：能不能被抓到

这一层出问题，上面的内容优化全是白做。

检查项 1：robots.txt 里分清三类爬虫

这是最多人搞混的地方。AI 厂商的爬虫不是一种，是三类，各自用不同的 user-agent：

类型	干什么	代表 UA
训练爬虫	抓内容喂模型权重	GPTBot、ClaudeBot、CCBot
检索爬虫	建索引，供 AI 搜索实时引用	OAI-SearchBot、PerplexityBot
按需抓取	用户点了某条链接，临时去抓	ChatGPT-User、Perplexity-User

关键点：三者是独立令牌。

你封了 GPTBot，挡不住 OAI-SearchBot。反过来，你只想不被拿去训练、但希望被 AI 搜索引用，那就只封训练那一行，检索那行留着。

还有两个容易写错的：

Google-Extended 和 Applebot-Extended 本身不是爬虫
，它们只是 opt-out 令牌。封了不影响 Google 搜索收录，不代表 Google 看不见你。
ChatGPT-User、Perplexity-User 这类按需抓取，厂商文档里明确写了可能不遵守 robots.txt
。它是代替真人去点链接的，别指望靠 robots 拦住。

先想清楚一个问题：训练爬虫到底开不开

动手写规则之前，有个前置问题很多人没想过。

我们的内容都在夸自家产品，被拿去训练之后，AI 不是会更认可我们吗？

这个推断听起来合理，但走错了路径。

训练之后，你的内容会被压缩进模型权重，和万亿级别的 token 混在一起。 结果是三件事：

没有出处
。AI 提到你的时候不会附链接，后台看不到任何数字，你没法证明这块有产出。
会过期
。训练有截止点，滞后台几个月。模型记住的是你改版之前的定价和产品线，这种错误你改自己页面修不回来。
稀释严重
。一个站的内容在这个量级下影响力微乎其微。这也是为什么 GEO 要单独看「实体准确度」，大品牌都经常被 AI 描述错。

真正产出引用的是检索层。 AI 回答里给出来源链接那一步，绝大多数情况是实时检索到你的页面、读一遍、再引用。这条链路走检索爬虫，和训练爬虫没关系。

所以你想要的「AI 更认可我们」，走的不是训练那条路。

不过品牌熟悉度确实有一部分来自语料。一个名字在训练数据里反复出现，模型更容易想起它。

问题是，要达到这个量级靠的主要是别人写你的内容：媒体报道、评测文章、社区讨论、行业榜单。你自己官网那几百页，在这种海里水花很小。

结论：让 AI 更认可你，真正的动作是让别人也在讨论你。 这一步同时提升熟悉度和引用率，也就是第 2 层要讲的东西。

那训练爬虫到底开不开？判断标准只有一条：你的护城河是不是内容本身。

你的情况	建议
原创调研、付费内容、独家方法论是核心资产	封训练，全开检索。模型学会你的结论却不引用你，这是真实损失
内容是营销物料，护城河在产品本身	全开。封了省不下什么，还可能丢一点熟悉度
医疗、法律、金融这类受监管内容	封训练
站内登录区、后台	robots 管不到，用登录态和 WAF

再补一句实话：这事其实也挡不住。Common Crawl 喂了一批开源模型，不守规矩的爬虫根本不看 robots.txt。你封的是守规矩那几家厂商，象征意义大于拦截效果。

下面两份配置对号入座。

A. 内容是营销物料（多数 B2B 和电商站点）：全部放开

User-agent: *
Allow: /
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: bingbot
Allow: /
Sitemap: https://你的域名/sitemap.xml

B. 内容本身是资产：封训练，留检索

# 不喂模型训练
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: CCBot
Disallow: /
# 保留 AI 搜索引用机会
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: bingbot
Allow: /
User-agent: *
Allow: /

怎么验证：两条命令。

curl -s https://你的域名/robots.txt
curl -s -A "OAI-SearchBot" https://你的域名/某个页面 | wc -c

第二条看返回的字节数。如果和正常页面差一个量级，说明被拦了。

再补一步看日志：

grep -iE "OAI-SearchBot|PerplexityBot|ClaudeBot" access.log | wc -l

一个月内的访问量为零，基本就是没来过。

检查项 2：CDN、WAF、插件的隐藏开关

robots.txt 只是君子协定。真正拦人的往往在别处。

要查四个地方：

CDN 面板的 bot management（很多厂家的 AI 爬虫拦截默认是关闭状态，但有些模板会开）
主机面板的 UA 拦截规则（宝塔、cPanel 里可能躺着 2023 年加的规则）
WordPress 安全插件里的 AI bot 防护选项
反爬服务返回的 403 / 挑战页

这里有个常被忽略的点：不认识的爬虫根本不看 robots.txt，它们是硬抓。这种情况要靠限流和 WAF 规则处理，别指望在 robots.txt 里写一行能生效。

检查项 3：关掉 JS 还剩下什么

很多 AI 检索管道不做完整渲染。

一个粗暴但有效的检查：用 curl 抓页面，或者浏览器禁用 JS 打开，看正文还在不在。

三个常见问题：

核心内容要靠 JS 执行后才出现在 DOM 里
重要资料只有 PDF 版本，没有 HTML 对应页
正文被切成多段懒加载，首屏之外拿不全

第 1 层：能不能被读懂

抓到了不等于能用。这一层看的是"抽出来能不能独立成立"。

检查项 4：任意一段能否脱离上下文

自己按顺序做这三件事：

随机抽文章里的一段，只读这一段，看能不能看懂它在回答什么问题
检查小标题是不是"问题句"，而不是"产品名""概述"这种
检查每段第一句话是不是结论本身

我在第二篇写过，Google 拿走了我一篇清单型文章的三个章节当片段。那个结构，和被 AI 引用的结构，几乎是同一套。

检查项 5：模糊词替换成具体值

这是成本最低、见效最快的一项。

通读一遍自己的文章，把所有"很多""大幅""近期""一般来说"换成：

具体数字（写 10,412，不写"一万多"）
明确时间（写"2026 年 9 月"，不写"最近"）
可查来源（带上机构名和方法）

AI 要引用一句话，前提是这句话能脱离你独立成立。"效果提升明显"引不了，"三个月涨 62%"可以。

检查项 6：Schema 覆盖

按页面类型对号入座：

文章页：Article
带问答的：FAQPage
流程教程：HowTo
商品页：Product（价格和库存必须和页面显示一致）
全站：Organization

怎么验证：Google Rich Results Test 或 Schema.org 校验器跑一遍。

需要注意的一条：Schema 和页面内容不一致是硬伤。Stock status 写着 InStock，页面显示缺货，这种矛盾会被判为不可信。

检查项 7：实体一致性

AI 判断"你是谁"，靠的是多个来源交叉确认。

自查三个地方：

公司名、产品名、核心人物名在全站的写法统一（别一会儿全称一会儿缩写）
Organization Schema 的信息和官网 About 页、社交媒体简介一致
有没有第三方来源用同一套名字描述你（行业媒体、维基、垂直榜单）

第三条最难，也最值钱。它决定了 AI 眼里的你是一个"有外部共识的实体"，还是只有自己网站在说的名字。

第 2 层：值不值得被引用

前两层是技术问题，这层是内容质量问题，也是最能拉开差距的一层。

检查项 8：抽三句可引用的话

打开自己的文章，试着挑出三句"别人转述时会注明出处"的话。

挑不出来，说明这篇的内容是可替代的。

能被引用通常要有其中一样：原始调研数据、对比表格、明确定义、独家的操作步骤。

观点不值钱。同样的观点，带一份自己跑出来的数据，引用概率完全不同。

检查项 9：第三方在不在讨论你

这一步在站外，很多 SEO 会漏掉。

拿核心 query 去各个 AI 里问一遍，记录三件事：答案引用了哪些域名、第三方评测站和垂直社区在不在、这些域名里有没有提到你。

AI 搜索的一个规律：推荐某个品牌时，它经常引用的是第三方内容，不是品牌自己的官网。

所以这层的动作是站外外联：让评测站测你、让社区里有人讨论你、让行业榜单里有你的位置。

和传统外链逻辑很像，但目标不同。不是要那条链接权重，是要"别人也在说这件事"这个信号。

第 3 层：怎么衡量

有了基线，才能判断前面三层做得有没有用。

检查项 10：准备 20 到 30 条黄金问句

按三类准备：

发现型
： best X for Y、2026 年值得看的 X 有哪些
对比型
：A 和 B 怎么选、X 的替代品
定义型
：X 是什么、X 怎么工作

关键在于用口语问法，不是关键词堆叠。AI 面对的是完整句子，用户不会打"降噪耳机 300 预算推荐"，会问"预算 300 美元通勤用的降噪耳机怎么选"。

检查项 11：跑两遍，算一致率

AI 回答有随机性，同一条 query 今天问和明天问，结果可能不一样。

每条 query 每个平台跑两次，隔开几天，两次都提到你的才算数。一致率 = 两次都出现的条数 ÷ 总条数。

这一步很多审计报告里没有，导致报告本身不可信。

检查项 12：四个指标

不用搞复杂的加权公式，这四个够用：

指标	怎么算	说明
提及率	提到你的 query 数 ÷ 总 query 数	基线是多少
引用份额	提到你的次数 ÷ 所有品牌被提次数	你在同类里占多少
实体准确度	AI 描述你的内容正确与否	出现了但描述错了更糟
信源构成	引用来自自有域名 vs 第三方	第三方占比低是警讯

第三个最容易被忽略。被提到了但信息是错的，比没被提到更难处理。

检查项 13：GA4 里的 referrer 监控

在 GA4 流量获取报表里，按来源筛 chatgpt.com、perplexity.ai、copilot.microsoft.com，每月看会话数趋势。

绝对值通常很小，但增长率比绝对值重要。现在小，不代表半年后小。

检查项 14：免费的官方数据源别忘了

第五篇我写过 Bing Webmaster Tools 的 AI Performance。它给的是 query 级数据，还有 intent、topic、citation share，GSC 那边的 Generative AI 报告只有曝光数。

不用一个query一个query手测，后台直接拉。

三盆冷水

清单给完了，泼点凉的。

第一，单次查询结果不能当结论。 AI 回答本身随机，位置、登录状态、地域都在变。上面那套"跑两遍算一致率"不是多余动作。

第二，被引不等于有流量。 这点我在第二篇踩过：一篇 listacle 曝光涨了 13 万，点击从 0 涨到 1。用户在 AI 答案里得到满足，就不需要点进来。

第三，改完单篇别拿整站数据判断。 GEO 是逐篇累积的。改了三篇就去看整站流量变化，样本量根本撑不住。应该盯着那三篇对应的 query 看。

还有一个：你测的平台只代表你测的平台。每个 AI 的引用来源偏好不同，一个平台测出好结果，不代表另外几个也一样。

执行节奏

这套清单全跑一遍要半天，之后维护就轻了：

频率	做什么
每季度一次	全量跑：第 0 层四项 + 黄金问句全两遍
每月一次	看四个指标的变化 + GA4 referrer 趋势
每次发重要内容后	隔 30 天单独测这条内容对应的 query
每半年	重新过一遍 CDN 和插件的 bot 拦截设置（这类开关会被新版更新悄悄重置）