快速检查清单
- 1 个抓取会话 = 1 个浏览器配置文件
- 根据目标网站的防护级别选择代理类型
- 在多次会话间复用配置文件,以保留 Cookie 和会话状态
- 控制请求速度——抓取程序被封锁不仅因为 IP,行为同样是原因
- 大规模场景(50+ 并发):请使用 Gologin API,而不是桌面应用
选择您的方案
手动抓取(Gologin 桌面应用)
适用于:小规模数据采集、需要登录的网站、人工辅助的工作流。在 Gologin 应用中打开配置文件,并在浏览器窗口内进行抓取。基于 API 的抓取(Puppeteer / Playwright / Selenium)
适用于:自动化工作流、10+ 并发会话、定时抓取。Gologin 会启动配置文件并返回一个 WebSocket 端点,供您的自动化脚本连接。 完整设置请参阅 API 快速入门 。第 1 步:选择代理策略
第 2 步:管理会话和 Cookie
Gologin 配置文件会在多次会话之间自动保留 Cookie——您只需登录一次,配置文件就会保持登录状态。请避免在每次运行后清除 Cookie——这会破坏会话的连续性,看起来像机器人行为。第 3 步:控制请求模式
检测主要看行为,而不仅仅是 IP。以下是实用的时间间隔建议:
请务必随机化间隔时间——固定的间隔本身就是一种检测信号。
第 4 步:使用多个配置文件扩展规模
进行并行抓取时,可通过 API 同时启动多个配置文件。启动大量配置文件之前,请先查看速率限制——API 限制同样适用。各套餐的实际限制
- Professional:可轻松运行最多约 10 个并发配置文件
- Business:最多约 30 个并发配置文件
- Enterprise:100+ 个并发配置文件
Cloudflare 与反机器人系统
Gologin 可以应对浏览器指纹方面的挑战(Canvas、WebGL、TLS 指纹),但不会自动解决验证码(CAPTCHA)。如果目标网站使用带有验证码的 Cloudflare,请在您的抓取脚本中集成验证码识别服务(2captcha、CapSolver、Anti-Captcha)。常见的检测信号
- 请求之间的时间间隔完全相同
- 点击前没有滚动或鼠标事件
- 在没有来源页(referrer)的情况下直接访问深层 URL
- Canvas 或 WebGL 指纹与声明的操作系统/浏览器不匹配