跳转到主要内容
Web Unlocker 是一个 Scraping API:你发送一个 URL,它会返回完整渲染后的 HTML。本页介绍几种最常见的使用方式。

自行抓取页面

最简单的使用场景:你需要获取某个会拦截普通 HTTP 请求的网页内容。

Python

JavaScript

无需启动浏览器,也无需配置代理。一次调用,即可获得页面内容。 适用于:
  • 查看竞争对手网站上的价格
  • 获取职位列表、评论或商品数据
  • 监控页面变化
  • 一次性数据采集脚本

将内容输入 AI

Web Unlocker 返回的是原始 HTML。你可以把它传给大语言模型(LLM),用来提取结构化数据、总结内容或回答与页面相关的问题,无需编写任何解析逻辑。
如果希望减少发送给模型的标记内容,可以在请求中添加 format=markdown,这样返回的是 Markdown 而不是 HTML。

Python + OpenAI

JavaScript + Anthropic

适用于:
  • 无需编写解析器即可提取结构化数据(价格、名称、日期等)
  • 总结文章或商品页面
  • 对比多个页面并得出结论
  • 构建由 AI 驱动的调研或监控工具

在 AI 智能体中使用

为你的 AI 智能体提供一个由 Web Unlocker 支持的 scrape 工具。这样智能体就可以自主浏览网页:获取页面、阅读内容并采取行动,而你无需编写任何浏览逻辑。
智能体自行决定何时抓取以及抓取哪个 URL,实际的获取工作由 Web Unlocker 完成。 适用于:
  • 自主浏览网页的调研型智能体
  • 比价或寻找优惠的机器人
  • 竞争情报流水线
  • 任何需要实时网页数据的智能体

一次抓取多个页面

并发发送请求,同时从多个 URL 采集数据。
适用于:
  • 抓取完整的商品目录或列表页面
  • 为训练数据集批量采集数据
  • 同时监控多个页面

通过 CLI 使用

完全无需编写代码,使用 Gologin Web Access CLI 即可完成常见的抓取工作流:
完整的命令参考请参阅 Web Access CLI。

总结

请参阅快速入门发送你的第一个请求。