メインコンテンツへスキップ
Gologin Web Access は、2 つの Gologin 製品を 1 つのコマンド体系にまとめた統合 CLI です。
  • Web Unlocker — ステートレスな読み取りと抽出。ブラウザセッションを維持せずに、ページの内容をすばやく取得したい場合に最適です。
  • Cloud Browser — ステートフルな操作。ナビゲーション、クリック、入力、スクリーンショット、コマンドをまたいで状態を保持する複数ステップのフローが必要な場合に最適です。
どちらのモードも、同じ設定モデルと同じ認証情報のセットアップを共有します。エージェントがタスクの途中でキーの不足を確認するために止まらないよう、両方の認証情報を最初にまとめて設定しておくことをおすすめします。

インストール

Node.js 18.17 以上が必要です。

認証情報

2 つのモードは、それぞれ異なる Gologin の認証情報で動作します。

設定ファイル

認証情報は ~/.gologin-web-access/config.json に保存します。
対話形式で設定を初期化するには、次のコマンドを実行します。

クイックスタート — ページを読み取る

クイックスタート — サイトを操作する


コマンドリファレンス — スクレイピング / 読み取り

これらのコマンドは Web Unlocker を使用します。ステートレスで、ブラウザセッションは維持されません。

単一ページ

共通オプション: --format text|markdown|html、--source auto|unlocker|browser、--fallback none|browser

バッチ操作

バッチオプション: --format、--source、--only-main-content、--retry <n>、--backoff-ms <ms>、--summary、--output <path>、--strict デフォルトでは、batch-scrape は一部のみ成功した場合でも終了コード 0 を返します。エラーが 1 件でもあれば失敗として扱うには、--strict を追加してください。

検索と探索

オプション: --limit <n>、--max-depth <n>、--concurrency <n>、--only-main-content

非同期クロールジョブ

変更の追跡

ランブック


コマンドリファレンス — ブラウザ / 操作

これらのコマンドは Cloud Browser を使用します。ローカルデーモンを通じて、ステートフルなセッションを維持します。

セッション管理

オプション: --profile <id> を指定すると、特定の Gologin プロファイルを使用できます。

ページの読み取り

操作

ナビゲーション

タブ

高度な操作


ユースケースと例

競合他社の料金ページをスクレイピングする

タイトル、説明、見出し、リンクを構造化 JSON で返します。ページが Cookie ウォールやチャレンジの背後にある場合は、outcome フィールドで判別でき、nextActionHint でブラウザモードへの切り替えが提案されます。

ドキュメントサイトから調査用コーパスを作成する

出力を LLM に渡して、要約、Q&A、ファインチューニングに活用できます。

ページの変更を監視する

cron で毎日実行し、差分を比較することで、料金の変更、新機能、削除されたコンテンツを検出できます。

スキーマを使って構造化データを抽出する

まず、抽出したい内容を定義します。
次に、抽出を実行します。
batch-extract を使えば、複数のページに対して同様に抽出できます。

Web を検索して結果をスクレイピングする

サイトにログインして操作する

スクレイピングだけでは足りず、クリック、入力、ページ遷移が必要な場合は次のようにします。

ローカルのドキュメントを解析する

Web ページだけでなく、PDF、Word ドキュメント、Excel ファイルも解析できます。

ランブックで複数ステップのワークフローを自動化する

ステップの連続を JSON で定義して、繰り返し実行できます。

ソースのルーティング

--source に対応するコマンドでは、利用するバックエンドを切り替えられます。

構造化出力

scrape-json は、次のような豊富なメタデータを返します。
  • title、description、headings、headingsByLevel、links
  • 結果の分類: ok、empty、incomplete、authwall、challenge、blocked、cookie_wall
  • nextActionHint — ページに完全にアクセスできない場合に、次に取るべき手順を提案
search は、requestedLimit、returnedCount、warnings、cacheTtlMs、および各結果の position を返します。

関連情報

npm パッケージ

gologin-web-access

ソースコード

GologinLabs/gologin-web-access