为什么将其用作 Scraping API
- 一个端点即可处理任意目标 URL
- 使用 API 密钥认证,无需编排浏览器
- 默认返回 HTML,也可按需返回 Markdown 或 JSON,可直接对接现有解析器
- 轻松适配 ETL、监控、AI 数据摄取和数据管道
端点
GET https://parsing.webunlocker.gologin.com/v1/scrape?url={encoded_url}
认证
在请求头中发送你的 API 密钥:请求参数
快速开始
cURL
Python
JavaScript (fetch)
响应行为
默认情况下,响应体是页面渲染后的原始 HTML。使用format=markdown 时,响应体为 Markdown。使用 format=json 时,响应体为 JSON 对象:
200-> 成功,响应体包含所请求格式的页面内容400-> 请求错误,例如缺少url;响应体:{"success":false,"error":"Request failed"}401-> 缺少apikey请求头;响应体:{"message":"Missing API key in request"}
重试建议
出现以下情况时,请使用指数退避策略重试:- 网络错误
408、429、500、502、503、504
官方 Node.js SDK
安装:SDK 快速开始
构造函数选项
SDK 核心方法
scrape(url)-> 标准化的响应对象scrapeRaw(url)-> 原生ResponsebuildScrapeUrl(url)-> 完整的请求 URL
SDK 端派生方法(基于返回的 HTML)
这些方法不是独立的后端端点,而是由 SDK 基于 API 返回的 HTML 派生而来。SDK 只发送url 参数,不发送 format,因此其输出可能与 API 自身的 format=markdown 或 format=json 响应有所不同:
scrapeText(url)-> 纯文本scrapeMarkdown(url)-> MarkdownscrapeJSON(url)-> 结构化元数据(title、description、canonical、meta、headings、links)batchScrape(urls, { concurrency })-> 用于多次抓取调用的辅助方法
类型化错误
WebUnlockerErrorAuthenticationErrorRateLimitErrorAPIErrorTimeoutErrorNetworkError
401/403->AuthenticationError429->RateLimitError500+及其他非 2xx 状态码(例如400)->APIError- 超时/中止 ->
TimeoutError - fetch/网络故障 ->
NetworkError
CLI
scrape(原始 HTML/文本)text(派生文本)markdown(派生 Markdown)json(派生元数据)
典型抓取使用场景
- 价格和商品目录监控
- 潜在客户和目录信息补全
- 市场情报管道
- 内容聚合和索引
- LLM 数据摄取和提取工作流
Gologin Web Access CLI(统一版)
如果需要功能更强大的 CLI,可使用gologin-web-access,它在同一套命令中整合了 Web Unlocker 和 Cloud Browser: