メインコンテンツへスキップ
Gologin Web Access は、2 つの Gologin 製品を 1 つのコマンド体系にまとめた統合 CLI です。
  • Web Unlocker — ステートレスな読み取りとデータ抽出。ブラウザセッションを維持せずに、ページの内容をすばやく取得したい場合に最適です。
  • Cloud Browser — ステートフルな操作。ナビゲーション、クリック、入力、スクリーンショット、コマンドをまたいで状態が保持される複数ステップのフローが必要な場合に最適です。
どちらのモードも、設定モデルと認証情報のセットアップを共有します。エージェントがタスクの途中で不足しているキーの入力を求めて止まらないように、両方の認証情報を最初に設定しておくことをおすすめします。

インストール

Node.js 18.17 以上が必要です。

認証情報

2 つのモードは、それぞれ異なる Gologin の認証情報で動作します。

設定ファイル

認証情報は ~/.gologin-web-access/config.json に保存します。
config init を使ってファイルを作成することもできます。このコマンドは対話式ではありません。キーをフラグで渡すか、上記の環境変数から読み取ります。その後、Gologin API に対してキーを検証します。
キーの検証をスキップするには --no-validate を追加します。設定ファイルがすでに存在する場合、--force を追加しない限り、config init は既存のファイルをそのまま残します。

クイックスタート — ページを読み取る

クイックスタート — サイトを操作する


コマンドリファレンス — スクレイピング / 読み取り

これらのコマンドは Web Unlocker を使用します。ステートレスで、ブラウザセッションは維持されません。

単一ページ

共通オプション: --format text|markdown|html、--source auto|unlocker|browser、--fallback none|browser

バッチ処理

バッチオプション: --format、--source、--only-main-content、--retry <n>、--backoff-ms <ms>、--summary、--output <path>、--strict デフォルトでは、batch-scrape は一部のみ成功した場合でも終了コード 0 を返します。エラーが 1 件でもあれば失敗として扱うには、--strict を追加します。

検索とディスカバリー

オプション: --limit <n>、--max-depth <n>、--concurrency <n>、--only-main-content

非同期クロールジョブ

変更の追跡

ランブック


コマンドリファレンス — ブラウザ / 操作

これらのコマンドは Cloud Browser を使用します。ローカルデーモンを通じて、ステートフルなセッションを維持します。

セッション管理

オプション: --profile <id> で特定の Gologin プロファイルを使用できます。

ページの読み取り

操作

ナビゲーション

タブ

高度な操作


ユースケースと例

競合他社の料金ページをスクレイピングする

タイトル、説明、見出し、リンクを構造化 JSON で返します。ページが Cookie ウォールやチャレンジの背後にある場合は、outcome フィールドで状況がわかり、nextActionHint でブラウザモードへの切り替えが提案されます。

ドキュメントサイトからリサーチ用コーパスを作成する

出力を LLM に渡して、要約、Q&A、ファインチューニングに活用できます。

ページの変更を監視する

cron で毎日実行し、差分を比較することで、料金の変更、新機能、削除されたコンテンツを検出できます。

スキーマで構造化データを抽出する

抽出したい内容を定義します。スキーマでは、出力する各フィールドを CSS セレクタに対応付けます。
文字列だけを指定した場合は、最初に一致した要素のテキストを返します。オブジェクトでは次の項目を指定できます。
  • selector — CSS セレクタ
  • type — text(デフォルト)、html、attr、exists のいずれか
  • attribute — type が attr の場合の属性名
  • all — true にすると、一致したすべての要素をリストで返す
  • fields — 一致した各要素の内部に適用されるネストされたスキーマ
そのうえで、次のように抽出を実行します。
batch-extract を使えば、複数のページにまたがって実行できます。

Web を検索して結果をスクレイピングする

サイトにログインして操作する

スクレイピングだけでは足りず、クリック、入力、ページ遷移が必要な場合:

ローカルのドキュメントを解析する

Web ページだけでなく、PDF、Word 文書、Excel ファイルも解析できます。

ランブックで複数ステップのワークフローを自動化する

一連のステップを JSON で定義して、繰り返し実行できます。

ソースのルーティング

--source に対応するコマンドでは、利用するバックエンドを切り替えられます。

構造化出力

scrape-json は、次のような豊富なメタデータを返します。
  • title、description、headings、headingsByLevel、links
  • 結果の分類: ok、empty、incomplete、authwall、challenge、blocked、cookie_wall
  • nextActionHint — ページに完全にアクセスできない場合に、次に取るべき対応を提案
search は、requestedLimit、returnedCount、warnings、cacheTtlMs、および各結果の position を返します。

関連情報

npm パッケージ

gologin-web-access

ソースコード

GologinLabs/gologin-web-access