位置:「网站统计 › 机器人」。
默认:识别并单独统计
新项目默认把识别出来的机器人放进单独的报表,不计入访客、会话、浏览量这些人类指标。这样你在概览里看到的转化率、跳出率是按真人算的。
识别规则有 197+ 条,分 5 层来看:浏览器标识(User-Agent)、请求头、页面里的客户端信号(比如自动化浏览器的特征)、来源网络(数据中心的 AS 号)和访问频率。判断结果分「已验证」「疑似」和「未验证」三档,未验证不等于一定是伪装。
如果某条记录认错了,可以在报表里点「报告误判」,由平台审核后修正规则。
报表里有什么
AI 与 Agent 页签:
- AI 请求数、AI Agent 数、AI 爬虫数,以及 AI 带回来的访客。
- 「AI 内容账本」:按运营商列出抓取次数(训练用爬虫和答案引擎分开)、带回的访客数,以及两者的比例。
- 被读得最多的页面。
AI 可见性 页签把抓取次数和 AI 带来的访问放在一起看,详见 AI 可见性怎么衡量。
全部机器人 页签列出每个机器人的运营商、用途(搜索、AI 训练、AI 答案、监控等)、请求数、访问页面数、常见状态码和最后出现时间。搜索引擎还有一张抓取健康表:抓取量、成功率、404 和 5xx。
抓取和带回访客是两回事
来源报表里的「AI 来源」,算的是人:用户在 ChatGPT 之类的产品里点了链接,来到你的网站。机器人报表里的 AI 爬虫,算的是程序来读页面。
两者完全可以不同步:某个 AI 公司的爬虫一周读了你几千页,却几乎没带来访客,这种情况很常见。把两边放在一起看,才知道读取和回访是否成比例。
只装页面脚本时看不到什么
页面脚本只能看到会执行 JavaScript 的机器人。很多爬虫只下载 HTML、不执行脚本,它们在页面脚本这一侧是看不见的。页面顶部会提示这一点。
要看到完整的抓取情况(包括状态码、响应时间),需要从服务器这一侧补数据,有两种方式:
- 提交网关访问记录:你的网关或中间件把访问记录发给接口,每条带
ua和url,可选 IP、状态码、响应时间。 - 导入访问日志:把 Nginx / Apache 的 combined 格式日志行提交上来,一次最多 5000 行。
这两种方式只保留被识别为机器人的记录,人类请求会被跳过(返回结果里的 skippedHuman),所以不会和页面脚本重复计算访客。它们都需要单独权限的 API 密钥,见 服务端事件接口。
不建议关闭识别
设置里可以改成「不识别」,让机器人混进人类数据,但我们不建议这样做:一旦混进去,转化率会被稀释,而且没法事后再分开。