真人数据
报表里的访客,先过一遍真人检查
搜索引擎、AI 爬虫、监控脚本、采集程序和机房流量,用 197+ 条规则、5 层识别后移到单独的报表里。跳出率、转化率和每一张图,说的都是真人。
- 197+ 条规则
- 5 层识别
- 机器人单独报告,不是删掉
全部流量
69,890
真人
48,213
69%
机器人与爬虫
21,677
31%
真人搜索引擎AI 爬虫监控与脚本机房流量
机器人把数字改成了什么样
| 指标 | 混合数据 | 仅真人 |
|---|---|---|
| 跳出率 | 61% | 44% |
| 转化率 | 2.6% | 3.8% |
| 平均访问时长 | 0m 52s | 1m 37s |
本月最活跃的机器人
Googlebot · 搜索引擎6,410
GPTBot · AI 爬虫3,120
ClaudeBot · AI 爬虫1,480
AWS · us-east-1 · 机房流量1,302
197+
条机器人与爬虫规则
5
层识别
31%
示例项目中被过滤的流量
0
个机器人计入转化率
常见问题
机器人把你汇报的每个数字都注了水
01
比率被拉低
爬虫从不转化。每一次机器人访问都会拉低转化率、推高跳出率,好好的页面看起来像坏了。
02
虚假的峰值
一个采集程序或监控服务就能让当天流量翻倍。团队庆祝完,才发现在追一个不存在的增长。
03
混在一起,所以看不见
机器人被悄悄过滤或悄悄算进去,你都不知道是谁在抓你、抓了多少。
怎么识别
5 层识别,从 UA 到行为
每个请求逐层检查,命中就移到机器人报表,其余都算真人。
- 1
User-Agent
已知爬虫、工具和无头浏览器,对照持续维护的规则库。
- 2
请求头
真实浏览器一定会带、却缺失或互相矛盾的请求头。
- 3
客户端信号
页面运行时暴露的自动化标记和真实浏览器特征。
- 4
网络(ASN)
标注机房和云网络,服务器流量不会被当成访客。
- 5
访问频率
真人不可能产生的请求模式——太快、太规律、太多。
你能看到
机器人被报告出来,而不是藏起来
过滤掉机器人只完成了一半。PathClue 还告诉你它们是谁。
01
真人一边,机器人一边
全部流量拆成真人、搜索引擎、AI 爬虫、监控脚本和机房流量,并显示每一类对跳出率、转化率和访问时长的影响。
- 按类别看机器人占比
- 有无机器人时的指标对比
- 本月最活跃的机器人
全部流量
69,890
真人
48,213
69%
机器人与爬虫
21,677
31%
真人搜索引擎AI 爬虫监控与脚本机房流量
02
对照你的规则检查爬虫
已验证和疑似冒充的爬虫、它们抓了哪些页面、是否遵守 robots.txt——附上证据,以及在你服务器上屏蔽它们的代码片段。
- 已验证 vs 疑似冒充
- 违反 Disallow、Crawl-delay 的记录
- robots.txt 与 Nginx 片段
爬虫合规近 7 天
| 爬虫 | 请求数 | robots.txt | 状态 |
|---|---|---|---|
| Googlebot | 6,410 | 遵守规则 | 正常 |
| GPTBot | 3,120 | 遵守规则 | 正常 |
| Bytespider | 2,650 | 无视 Disallow | 已标记 |
| CCBot | 890 | 遵守规则 | 正常 |
robots.txt
User-agent: Bytespider Disallow: /
03
每个会话都标注网络类型
每个会话标注为家庭宽带、移动网络或机房网络,来自服务器而不是人的流量一眼就能认出来。
- 家庭宽带、移动网络、机房标签
- 云厂商与网络名称
- 任何报表都能按网络类型筛选
V
访客 7c21…
macOS · Safari · 杭州 · 家庭宽带
3 次来访9 次浏览
- 1
第 1 次 · Google · “web analytics”新访客//blog/ai-search2m 41s
- 2
第 2 次 · Newsletter回访/pricing/case-studies4m 02s
- 3
第 3 次 · 直接访问已注册/pricing/register1m 18s
FAQ
机器人识别常见问题
没找到答案?打开右下角的聊天直接问我们。
机器人数据会被删掉吗?
不会。它们不进访客报表,单独显示在机器人与爬虫报表里,你能看到谁来过、来了多少次。
统计脚本能看到所有爬虫吗?
页面上的脚本只能看见那些会运行 JavaScript 的机器人。Googlebot、GPTBot 这类大多数爬虫不执行 JavaScript——接入服务端事件或导入 Nginx / Apache 日志,就能把它们也记下来。
能加自己的规则,或者排除自己的监控吗?
能。可以添加自定义规则,或把某个爬虫完全排除在统计之外;自定义规则优先于内置规则。
冒充的爬虫怎么处理?
自称 Googlebot 等知名爬虫的请求会被核验,核验不通过的标记为疑似冒充。
真人会被误判成机器人吗?
规则会尽量避免这种情况——比如通过企业 VPN 从机房出口访问的真人,只会被标注网络类型,而不是被剔除。如果发现误判,可以在你的站点上关掉对应规则。