本页目录
打开机器人报表的「AI 内容账本」，很多网站会看到类似这样的一张表（示例数据）：
| 运营商 | 用途 | 一个月读取 | 带回访客 | 读取 ÷ 访客 |
|---|---|---|---|---|
| 运营商 A | 训练 | 8,200 | — | — |
| 运营商 A | 答案引擎 | 1,900 | 340 | 5.6 |
| 运营商 B | 答案引擎 | 2,400 | 410 | 5.9 |
| 运营商 C | 训练 | 5,600 | — | — |
| 运营商 D | 答案引擎 | 900 | 12 | 75 |
第一次看到这样的数字，常见的反应是：「它们读了这么多，却几乎什么都没带回来？」
这篇聊聊怎么读这张表。
先分清两种爬虫
AI 公司派来的爬虫，用途大致分两种：
- 训练爬虫：大批量下载网页，用来训练下一代模型。它读的内容会变成模型「知识」的一部分，但不会在某次回答里附上你的链接。所以它本来就不会带回访客。
- 答案引擎爬虫：在用户提问时，实时去读几个相关页面，把内容总结进回答，并且通常附上来源链接。它有可能带回访客。
账本里把这两种分开列。比较「读取和回访」时，只有答案引擎那几行有意义。
「读取 ÷ 访客」怎么理解
账本里的回报率是：读取次数 ÷ 带回的人类访客。数字越小越好，表示读得少、带回的人多。
上面的例子里，运营商 A 和 B 的答案引擎，大约每读 6 页带回 1 个访客；运营商 D 读了 900 页只带回 12 个人，比例是 75。
这个比例在不同网站之间差别很大，没有一个「正常值」。更有用的是：
- 和自己比：同一家运营商，这个月和上个月比，是变好还是变差？
- 和其他运营商比：同样是答案引擎，为什么有的比例明显更差？
为什么一家读得多却带回得少
几种常见原因：
- 你的内容被用来回答问题，但用户不需要点进来。比如「UTM 是什么」这种定义类问题，AI 直接给出答案就够了，用户没有理由再点链接。
- 这家产品的界面不太突出来源链接。有的产品把链接放在回答末尾，有的放在折叠区域，点击率自然不一样。
- 它的用户群和你的业务不重合。
- 它读的页面本身不适合转化，比如大量读取的是归档页、标签页。
换个角度看：哪些页面被读了，哪些被引用了
账本下面有「被读最多的页面」；AI 可见性里有「被引用页面」（真正带回访客的落地页）。把两张表对照看，常常能发现：
- 有些页面读得多、引用得也多：这是你在 AI 那里最有价值的内容，值得好好维护。
- 有些页面读得多、几乎不被引用：可能是内容太泛，AI 读了也用不上；或者是定义类内容，回答里不需要附链接。
- 有些页面读得少、但引用转化很好：这类页面值得在站内多给一些入口，让爬虫更容易发现。
只装页面脚本时，你只看到一部分
很多爬虫只下载 HTML，不执行 JavaScript。只装了页面统计脚本的话，这些爬虫是看不见的，机器人报表顶部会提示这一点。
想看到完整的读取量，需要从服务器这一侧补充数据：把网关或 CDN 的访问记录提交上来，或者定期导入 Nginx、Apache 的访问日志。这两种方式都只保留被识别为机器人的记录，不会和人类访问重复计算。接入方式见 机器人和 AI 爬虫是怎么识别的。
能做什么
不建议一刀切地屏蔽
看到某家 AI 读得多、带回少，第一反应可能是在 robots.txt 里屏蔽它。但要想清楚：
- 屏蔽训练爬虫，不会影响现在的访客，但长期来看，模型对你的了解会变少。
- 屏蔽答案引擎爬虫，会直接减少它在回答里引用你的机会。
这是一个取舍，没有标准答案。我们的建议是：先观察两三个月的数据，确认某家运营商长期只读不带，再决定是否限制。
检查爬虫有没有遵守你的规则
如果你已经在 robots.txt 里写了限制，可以在抓取健康报表里核对：声明了规则之后，对应的爬虫是不是真的停止了读取那些路径。
把被引用的内容写得更好
最实际的投入，是把那些已经被 AI 引用的页面维护好：信息准确、结构清楚、直接回答问题。AI 带回来的访客通常带着明确的问题进来，页面能不能立刻给出答案，决定了他们会不会留下。
相关文章
用你自己的数据看看
五分钟装好代码，今天就能看到第一份报表。