跳转到主要内容
Gologin Web Unlocker 是一个面向大量使用 JavaScript 的网站的单端点抓取 API。 你只需发送一个 URL,即可获得渲染后的页面 HTML/文本,然后在自己的数据提取流程中进行处理。

为什么将其用作 Scraping API

  • 一个端点即可处理任意目标 URL
  • 使用 API 密钥认证,无需编排浏览器
  • 默认返回 HTML,也可按需返回 Markdown 或 JSON,可直接对接现有解析器
  • 轻松适配 ETL、监控、AI 数据摄取和数据管道

端点

GET https://parsing.webunlocker.gologin.com/v1/scrape?url={encoded_url}

认证

在请求头中发送你的 API 密钥:

请求参数

快速开始

cURL

Python

JavaScript (fetch)

响应行为

默认情况下,响应体是页面渲染后的原始 HTML。使用 format=markdown 时,响应体为 Markdown。使用 format=json 时,响应体为 JSON 对象:
状态码:
  • 200 -> 成功,响应体包含所请求格式的页面内容
  • 400 -> 请求错误,例如缺少 url;响应体:{"success":false,"error":"Request failed"}
  • 401 -> 缺少 apikey 请求头;响应体:{"message":"Missing API key in request"}

重试建议

出现以下情况时,请使用指数退避策略重试:
  • 网络错误
  • 408、429、500、502、503、504

官方 Node.js SDK

安装:

SDK 快速开始

构造函数选项

SDK 核心方法

  • scrape(url) -> 标准化的响应对象
  • scrapeRaw(url) -> 原生 Response
  • buildScrapeUrl(url) -> 完整的请求 URL

SDK 端派生方法(基于返回的 HTML)

这些方法不是独立的后端端点,而是由 SDK 基于 API 返回的 HTML 派生而来。SDK 只发送 url 参数,不发送 format,因此其输出可能与 API 自身的 format=markdown 或 format=json 响应有所不同:
  • scrapeText(url) -> 纯文本
  • scrapeMarkdown(url) -> Markdown
  • scrapeJSON(url) -> 结构化元数据(title、description、canonical、meta、headings、links)
  • batchScrape(urls, { concurrency }) -> 用于多次抓取调用的辅助方法

类型化错误

  • WebUnlockerError
  • AuthenticationError
  • RateLimitError
  • APIError
  • TimeoutError
  • NetworkError
映射关系:
  • 401 / 403 -> AuthenticationError
  • 429 -> RateLimitError
  • 500+ 及其他非 2xx 状态码(例如 400)-> APIError
  • 超时/中止 -> TimeoutError
  • fetch/网络故障 -> NetworkError

CLI

命令:
  • scrape(原始 HTML/文本)
  • text(派生文本)
  • markdown(派生 Markdown)
  • json(派生元数据)
示例:

典型抓取使用场景

  • 价格和商品目录监控
  • 潜在客户和目录信息补全
  • 市场情报管道
  • 内容聚合和索引
  • LLM 数据摄取和提取工作流

Gologin Web Access CLI(统一版)

如果需要功能更强大的 CLI,可使用 gologin-web-access,它在同一套命令中整合了 Web Unlocker 和 Cloud Browser:
完整参考请参阅 Gologin Web Access CLI。

源文档