AI 可见度
AI 搜索时代，看清谁在读你的内容、又带回了多少人
ChatGPT、Perplexity、Claude、Gemini 正在改变人们找信息的方式。PathClue 记两本账：AI 助手给你带来的访客，和它们的爬虫读走的页面。
- AI 助手单独成来源
- AI 爬虫单独统计
- robots.txt 合规检查
AI 助手带来的访客近 30 天
ChatGPT6,830 · 5.6%
Perplexity2,390 · 4.2%
Claude1,120 · 4.9%
Gemini980 · 3.1%
Copilot410 · 2.7%
访客 · 转化率
来读页面的 AI 爬虫抓取页数
GPTBot · OpenAI18,420
ClaudeBot · Anthropic9,310
PerplexityBot · Perplexity4,120
Google-Extended · Google3,880
Bytespider · ByteDance2,650
爬虫不计入访客数，单独记在这里。
2
本账：AI 访客与 AI 爬虫
197+
条机器人与爬虫规则
404 · 5xx
每个爬虫的抓取健康
llms.txt
与 robots.txt 规则生成
为什么是现在
一个多数报表看不见的新流量来源
到 2026 年，行业报告都显示 AI 引荐流量和 AI 爬虫请求在快速增长；而多数统计工具仍然把它们算成“外链”和“机器人”。
01
AI 回答会带来访客
AI 助手引用你的页面时，一部分读者会点进来。这些访客的转化和搜索访客不一样，你应该知道差在哪。
02
AI 爬虫读得很多
训练爬虫和回答引擎爬虫会抓走成千上万个页面。有的会带回访客，有的只拿不给。
03
两个数都要有
只看抓取不看访问，或者只看访问不知道被抓了什么，都只说了一半。放在一起，才知道内容在 AI 搜索里值多少。
你能看到
两本账，对着看
一边是 AI 带来的访客，一边是各家 AI 公司的抓取——按公司对齐，比例一目了然。
01
抓了多少，带回多少
每家 AI 公司：爬虫读了多少页、它的 AI 助手带来了多少访客，以及两者之比。只拿不给的爬虫一眼就能认出来。
- 每家 AI 公司的抓取 / 访问比
- AI 最常带人去的页面
- 转化率：AI 访客 vs 搜索访客
线索字节跳动抓取了 2,650 个页面，没有带回一位访客
抓取量 vs 带回量近 30 天
| AI 公司 | 抓取页数 | 带回访客 | 抓取 : 访问 |
|---|---|---|---|
| OpenAI | 18,420 | 6,830 | 2.7 : 1 |
| Anthropic | 9,310 | 1,120 | 8.3 : 1 |
| Perplexity | 4,120 | 2,390 | 1.7 : 1 |
| 3,880 | 980 | 4.0 : 1 | |
| ByteDance | 2,650 | 0 | ∞ |
AI 最常带人去的页面
/blog/ai-search1,920
/case-studies1,204
/docs/install860
转化率：AI vs 搜索
来自 AI 助手5.1%
来自搜索引擎3.4%
02
AI 访客作为独立渠道
ChatGPT、Perplexity、Claude、Gemini、Copilot 各自是独立来源，带着落地页、转化和收入——就排在搜索和社交旁边。
- 每个 AI 助手的访客与转化
- 从 AI 回答进来的落地页
- 可以设告警的趋势
线索本月从 Perplexity 来的访客，转化率 4.8%
搜索直接访问AI 助手付费广告社交
AI 助手+41%
ChatGPT6,830
Perplexity2,390
Claude1,120
Gemini980
落地页
| 落地页 | 访客 | 转化率 |
|---|---|---|
| /pricing | 9,120 | 6.1% |
| /case-studies | 4,310 | 4.8% |
| /blog/… | 12,930 | 1.9% |
03
抓取健康与合规
每个搜索引擎和 AI 爬虫的抓取量、成功率和错误；再把真实抓取和你的 robots.txt、llms.txt 对照——给出违规证据、屏蔽代码片段和规则文件生成器。
- 每个爬虫的抓取量、404 与 5xx
- 违反 Disallow、Crawl-delay 的记录
- 生成 robots.txt 和 llms.txt 规则
爬虫合规近 7 天
| 爬虫 | 请求数 | robots.txt | 状态 |
|---|---|---|---|
| Googlebot | 6,410 | 遵守规则 | 正常 |
| GPTBot | 3,120 | 遵守规则 | 正常 |
| Bytespider | 2,650 | 无视 Disallow | 已标记 |
| CCBot | 890 | 遵守规则 | 正常 |
robots.txt
User-agent: Bytespider Disallow: /
接入
三步拿到两本账
只装统计脚本就能看到 AI 访客。爬虫很少执行 JavaScript，所以爬虫账需要接一个服务端数据源。
- 1
粘贴统计代码
从第一次访问起，AI 助手带来的访客就是独立来源。
- 2
接入服务端数据
通过 API 上报服务端事件，或导入 Nginx / Apache 访问日志，不跑 JavaScript 的爬虫也能统计到。
- 3
填写站点地图
PathClue 会把站点地图、robots.txt 和每个爬虫实际抓取的页面对照起来。
FAQ
AI 可见度常见问题
没找到答案？打开右下角的聊天直接问我们。
能识别哪些 AI 助手和爬虫？
ChatGPT、Perplexity、Claude、Gemini、Copilot 等 AI 助手会归为 AI 来源；GPTBot、ClaudeBot、PerplexityBot、Google-Extended、Bytespider、CCBot 等爬虫在 197+ 条规则里识别，并持续更新。
为什么爬虫需要服务端数据？
大多数爬虫不执行 JavaScript，浏览器脚本根本看不到它们。通过 API 上报服务端事件，或导入 Nginx、Apache 日志，每一次抓取都会记录下来，还带状态码和响应时间。
PathClue 能屏蔽 AI 爬虫吗？
PathClue 不挡在你的网站前面，所以不会拦截请求。它会告诉你哪些爬虫无视规则，并给出 robots.txt 规则和 Nginx 屏蔽片段，让你在自己的服务器上屏蔽。
能看到我的品牌在 AI 回答里被提到多少次吗？
能看到的是到达你网站的部分：页面被抓取的情况，以及 AI 助手带来的访客。它不会去 AI 助手里发起查询来统计提及次数。
这是一个单独的产品吗？
不是。AI 访客属于流量分析，爬虫报表属于机器人识别，这个页面把两者放在一起讲。