它解决了什么问题
现代网站越来越难以抓取。由于内容由 JavaScript 加载,直接使用curl 或 requests 发起请求,往往只会得到验证页面、空白响应或残缺的 HTML。Web Unlocker 会自动处理这些问题:
- JavaScript 渲染——页面会在真实浏览器中加载,并在脚本完全执行后再抓取内容
- 绕过反机器人检测——自动应对 Cloudflare、DataDome、PerimeterX 等类似防护
- 智能 IP 轮换——请求通过干净的住宅 IP 发出,并搭配逼真的浏览器指纹
- 验证码破解——无需人工干预,即可自动解决常见的验证码挑战
- 价格档位定向——根据目标网站,自动选择合适档位的代理发送请求
您会得到什么
每个成功的任务都会返回三类内容:定价
Web Unlocker 采用按成功计费的方式——只有请求成功时才会收费,失败的尝试不收费。 价格随用量递减:
如需定制大用量价格,请联系 webunlocker@gologin.com。
Web Unlocker 与自建代理的对比
自行搭建代理基础设施成本高昂,而且稳定性差。Web Unlocker 将这一切作为托管服务来提供:常见使用场景
- 价格监控——抓取会拦截自动化请求的电商网站
- 潜在客户开发——从各类目录和商家列表中提取联系人数据
- 市场调研——大规模收集产品数据、评论或招聘信息
- 内容聚合——从没有 API 的网站获取内容,构建新闻或数据订阅源
- AI 流水线——将渲染后的 HTML 输入大语言模型,用于信息提取或内容摘要
工作原理
Web Unlocker 会为每个任务在云端运行一个真实的 Chromium 浏览器。当您发送一个 URL 时:- 启动一个浏览器,并配置住宅 IP 和逼真的浏览器指纹
- 浏览器打开页面,执行 JavaScript,并加载动态内容
- 自动处理反机器人挑战和验证码
- 抓取并返回渲染后的 HTML、一张截屏和一份网络档案
使用方法
发送一个 GET 请求,并将目标 URL 作为查询参数传入。响应内容即为完整渲染后的 HTML。CLI 和 SDK
除原始的 HTTP API 外,Gologin 还提供了更高层级的工具来配合 Web Unlocker 使用:- Web Unlocker SDK 和 CLI——精简的 TypeScript SDK(
gologin-webunlocker),提供带类型的方法,并附带可用于快速抓取的 CLI - Gologin Web Access CLI——将 Web Unlocker 与 Cloud Browser 结合的统一 CLI,新增批量抓取、网站爬取、搜索、变更追踪和结构化提取功能
- AI Skills——可直接接入 Claude Code 智能体的即插即用技能