首页 / 应用场景 / 采集怎么配
做数据采集:切换频率比带宽重要
采集被拦,九成不是带宽不够,而是「请求节奏」和「出口重复」两件事没处理好。
先给结论:采集选档看两件事 —— ①切换 IP 是否方便(光梭同档不限次,正好合适);②带宽只要不成为瓶颈即可(1.5M 就能跑中小规模采集)。真正决定成败的是切换节奏。
采集卡在哪一环
| 卡点 | 表现 | 解法 |
|---|---|---|
| 目标站频控 | 429 / 403,集中出现 | 降频、加随机间隔、换出口 |
| 出口重复 | 换了几次还是同一个 IP 段 | 切换时换城市,不要只点换 IP |
| 带宽不足 | 单页下载 > 3 秒 | 才需要升档 |
| 会话丢失 | 需要登录的页面失效 | 切换后重新建立会话,别中途切 |
切换太快为什么反而被封
很多人的直觉是「被封就换 IP」。但如果每次换 IP 后立刻用同样的节奏猛发请求,目标站看到的是「一批不同 IP、行为完全一致」的流量 —— 这比单个 IP 高频更容易被识别为机器。
正确节奏:单 IP 控制在 1–3 请求/秒,加 0.3–1.2 秒随机间隔;同一个 IP 持续 5–15 分钟再切;切换时换城市。让每个出口看起来像「一个正常用户在浏览」。
按采集量选档
| 日均请求量 | 建议档位 | 说明 |
|---|---|---|
| 1 万以内 | 1.5M 特惠 ¥2.24 | 单页几十 KB,带宽完全够 |
| 1–10 万 | 4M 独享 ¥5.60 | 并发稍高时更稳 |
| 10 万以上 / 抓图 | 6M 或峰值 25M | 看单页体积 |
带图的采集(商品图、详情页大图)按图片体积重新算,别按 HTML 估。
三个实操建议
- 先用小档跑一天,记录「被拦率」和「单页耗时」,再决定升不升档。
- 把「切换 IP」写进脚本,但切换间隔要随机,不要固定每 N 条切一次。
- 需要登录态的采集,切换后要重新走登录流程,不能复用旧 Cookie。
常见问题
Q采集一定要独享吗?
如果目标站对同 IP 的并发敏感,独享更稳;如果只是低频采集,共享也能跑。光梭的档位都标独享,这一点上不用纠结。
Q同档位不限次切换,会不会被平台判定异常?
平台看到的是「同一账号频繁换 IP」。采集场景通常不带账号,风险低;带账号的要控制切换频率。
Q能不能一个 IP 跑到被封再换?
可以,但被封的 IP 会进入目标站的黑名单,减少你可用出口的总量。主动低频切换比被动封了再换更可持续。
Q采集用什么协议?
SOCKS5 最灵活,支持并发与远程 DNS。L2TP 是全局 VPN,适合整机流量都走代理的场景。