PathClue 的新项目有一个默认设置：识别出来的机器人单独统计。它们不进入访客、会话、浏览量这些人类指标，而是放进一张专门的机器人报表。
这个默认值是我们反复讨论过的。另外两个常见的选择是「直接丢掉」和「不做识别、全部混在一起」。这篇说说为什么最后选了第三条路。
为什么不混在一起
最直接的原因：混在一起，所有比率都会失真。
一个小网站一天 800 次真实访问，再加上 300 次爬虫和监控程序的访问。如果混在一起：
- 跳出率会偏高（爬虫通常只看一页就走）。
- 平均停留时长会偏低。
- 转化率会被稀释（爬虫不会注册、不会下单）。
- 来源报表里会出现大量「直接访问」和莫名其妙的外链。
更麻烦的是，机器人的比例不是固定的。某一周一家 AI 公司突然加大了抓取，你的跳出率跳涨十个点，团队花了两天去排查落地页，最后发现什么都没变。
而且一旦混进去，事后就很难再分开了。
为什么不直接丢掉
既然机器人会干扰数字，为什么不在采集时直接丢掉？
因为机器人流量本身就是有价值的信息，而且越来越有价值：
- 搜索引擎有没有正常抓取你的网站？抓取量突然下降、404 增多，往往比排名下降更早出现。
- AI 公司在读你的哪些内容？训练爬虫和答案引擎爬虫读了多少页、读了哪些页，直接关系到你的内容会不会出现在 AI 的回答里。
- 读了之后，有没有带回访客？把爬虫的读取量和 AI 带回的人类访客放在一起看，才知道这件事对你值不值得。
- 有没有异常的自动化流量？比如有人在批量抓取你的价格，或者有脚本在反复提交表单。
丢掉了，这些问题都没法回答。
怎么识别
识别规则有 197 多条，从 5 个角度判断：
- 浏览器标识正规爬虫会在 User-Agent 里写明身份
- 请求头真实浏览器和程序的请求头有差异
- 页面里的客户端信号自动化控制的浏览器会留下痕迹
- 来源网络数据中心比家庭、移动网络更可疑
- 访问频率短时间内大量、规律的请求
每个判断都会标上可信等级：已验证（比如能通过反查确认是某个搜索引擎）、疑似、未验证。未验证不等于一定是伪装，只是证据不够。
判断错了的时候，你可以在报表里点「报告误判」，我们审核后会修正规则。
这对你的数字意味着什么
如果你从一个不区分机器人的工具迁移过来，你会发现 PathClue 的访客数更少。这是预期中的：少掉的那部分就是机器人。差多少取决于你的网站，内容站、技术文档站通常差得更多，因为它们更受爬虫青睐。
相应地，你的跳出率可能更低、停留时长更长、转化率更高。这些不是我们把数字「做好看」了，而是它们更接近真实访客的行为。
只装页面脚本时的局限
还有一点要坦白：页面统计脚本只能看到会执行 JavaScript 的机器人。很多爬虫只下载 HTML，从页面这一侧是看不到的。
所以机器人报表顶部会写明这一点。想看完整的抓取情况，可以从服务器一侧补充访问记录或者导入访问日志，这部分数据只保留机器人记录，不会和人类访问重复计算。
可以改吗
可以。设置里有三个选项：识别并单独统计（默认）、识别后丢弃、不识别。
我们的建议是保持默认。「丢弃」会让你失去上面说的那些信息；「不识别」会让所有人类指标失真，而且一旦混进去就没法再拆开。
如果你有特殊的理由需要改，改之前在日期标注里记一笔。之后的数据会按新规则统计，曲线上会出现一个台阶，有了标注，几个月后再看图时就不会被误读。
相关文章
用你自己的数据看看
五分钟装好代码，今天就能看到第一份报表。