跳转到主要内容
Gologin Web Access 是一个统一的 CLI,将两款 Gologin 产品整合到同一套命令中:
  • Web Unlocker —— 无状态的读取与提取。适合需要快速获取页面内容、无需维护浏览器会话的场景。
  • 云浏览器 —— 有状态的交互。适合需要导航、点击、输入、截图,或需要在多条命令之间保持状态的多步骤流程。
两种模式共用同一套配置模型和同一组凭据。建议提前配置好两种凭据,这样智能体在执行任务时就不会因缺少密钥而中途停下来询问。

安装

需要 Node.js >= 18.17。

凭据

两种模式分别使用两种不同的 Gologin 凭据:

配置文件

将凭据保存在 ~/.gologin-web-access/config.json 中:
也可以使用 config init 创建该文件。该命令不是交互式的:请通过参数传入密钥,否则它会从上述环境变量中读取。随后它会通过 Gologin API 验证这些密钥:
添加 --no-validate 可跳过密钥验证。如果配置文件已存在,config init 不会修改它,除非您添加 --force。

快速开始 —— 读取页面

快速开始 —— 与网站交互


命令参考 —— 抓取 / 读取

这些命令使用 Web Unlocker,均为无状态命令,不会维护浏览器会话。

单个页面

常用选项: --format text|markdown|html、--source auto|unlocker|browser、--fallback none|browser

批量操作

批量选项: --format、--source、--only-main-content、--retry <n>、--backoff-ms <ms>、--summary、--output <path>、--strict 默认情况下,batch-scrape 在部分成功时返回退出码 0。添加 --strict 后,只要出现任何错误就会判定为失败。

搜索与发现

选项: --limit <n>、--max-depth <n>、--concurrency <n>、--only-main-content

异步爬取任务

变化追踪

Runbook


命令参考 —— 浏览器 / 交互

这些命令使用云浏览器,并通过本地守护进程维护有状态的会话。

会话管理

选项: 使用 --profile <id> 指定某个 Gologin 配置文件。

页面读取

交互

导航

标签页

高级


使用场景与示例

抓取竞品的价格页面

以结构化 JSON 返回页面标题、描述、各级标题和链接。如果页面被 Cookie 弹窗拦截或设有验证挑战,outcome 字段会告诉您具体情况,nextActionHint 则会建议切换到浏览器模式。

基于文档站点构建研究语料库

可将输出内容交给大语言模型,用于摘要、问答或微调。

监控页面变化

可通过 cron 每天运行,并对比差异,以发现价格变动、新功能或被移除的内容。

使用 schema 提取结构化数据

定义您想要提取的内容。schema 将每个输出字段映射到一个 CSS 选择器:
纯字符串会返回第一个匹配元素的文本。对象形式支持以下属性:
  • selector —— CSS 选择器
  • type —— text(默认)、html、attr 或 exists
  • attribute —— 当 type 为 attr 时的属性名
  • all —— 设为 true 时,以列表形式返回所有匹配项
  • fields —— 应用于每个匹配项内部的嵌套 schema
然后执行提取:
使用 batch-extract 可对多个页面执行同样的提取。

搜索网页并抓取结果

登录网站并进行交互

当仅靠抓取无法满足需求,需要点击、输入、跳转页面时:

解析本地文档

不仅限于网页,还可以解析 PDF、Word 文档和 Excel 文件:

使用 runbook 自动化多步骤工作流

用 JSON 定义一系列步骤,然后重复执行:

来源路由

支持 --source 的命令可以通过不同的后端处理请求:

结构化输出

scrape-json 会返回丰富的元数据,包括:
  • title、description、headings、headingsByLevel、links
  • 结果分类: ok、empty、incomplete、authwall、challenge、blocked、cookie_wall
  • nextActionHint —— 当页面无法完整访问时,给出建议的下一步操作
search 会返回 requestedLimit、returnedCount、warnings、cacheTtlMs,以及每条结果的 position。

相关链接

npm 包

gologin-web-access

源代码

GologinLabs/gologin-web-access