メインコンテンツへスキップ
Gologin Web Unlocker は、JavaScript を多用するサイト向けの単一エンドポイントの Scraping API です。 URL を送信すると、レンダリング済みのページの HTML/テキストが返されます。取得した内容は、お使いの抽出パイプラインで処理できます。

Scraping API として使う理由

  • あらゆる対象 URL に対応する 1 つのエンドポイント
  • API キー認証のみで利用でき、ブラウザのオーケストレーションは不要
  • デフォルトは HTML で、リクエストに応じて Markdown または JSON も取得可能。既存のパーサーにそのまま利用できます
  • ETL、モニタリング、AI へのデータ取り込み、データパイプラインに適しています

エンドポイント

GET https://parsing.webunlocker.gologin.com/v1/scrape?url={encoded_url}

認証

API キーをヘッダーで送信します。

リクエストの仕様

クイックスタート

cURL

Python

JavaScript (fetch)

レスポンスの動作

デフォルトでは、レスポンスボディはページのレンダリング済みの生の HTML です。format=markdown を指定すると Markdown、format=json を指定すると次のような JSON オブジェクトが返されます。
ステータスコード:
  • 200 -> 成功。ボディには、指定した形式のページが含まれます
  • 400 -> 不正なリクエスト。たとえば url が指定されていない場合です。ボディ: {"success":false,"error":"Request failed"}
  • 401 -> apikey ヘッダーがありません。ボディ: {"message":"Missing API key in request"}

リトライの指針

次の場合は、指数バックオフでリトライしてください。
  • ネットワークエラー
  • 408、429、500、502、503、504

公式 Node.js SDK

インストール:

SDK のクイックスタート

コンストラクターのオプション

SDK の主なメソッド

  • scrape(url) -> 正規化されたレスポンスオブジェクト
  • scrapeRaw(url) -> ネイティブの Response
  • buildScrapeUrl(url) -> 完全なリクエスト URL

SDK 側で生成するメソッド (返された HTML から生成)

これらはバックエンドの別のエンドポイントではなく、API が返した HTML から SDK 内で生成されます。SDK は url パラメーターのみを送信し、format は送信しないため、API 自体の format=markdown や format=json のレスポンスとは出力が異なる場合があります。
  • scrapeText(url) -> プレーンテキスト
  • scrapeMarkdown(url) -> Markdown
  • scrapeJSON(url) -> 構造化メタデータ (title、description、canonical、meta、headings、links)
  • batchScrape(urls, { concurrency }) -> 複数のスクレイピング呼び出しをまとめて実行するヘルパー

型付きエラー

  • WebUnlockerError
  • AuthenticationError
  • RateLimitError
  • APIError
  • TimeoutError
  • NetworkError
対応関係:
  • 401 / 403 -> AuthenticationError
  • 429 -> RateLimitError
  • 500 以上、およびその他の 2xx 以外のステータス (たとえば 400) -> APIError
  • タイムアウト/中断 -> TimeoutError
  • fetch/ネットワークの失敗 -> NetworkError

CLI

コマンド:
  • scrape (生の HTML/テキスト)
  • text (生成されたテキスト)
  • markdown (生成された Markdown)
  • json (生成されたメタデータ)
例:

スクレイピングの主なユースケース

  • 価格やカタログのモニタリング
  • リードやディレクトリ情報の拡充
  • 市場インテリジェンスのパイプライン
  • コンテンツの集約とインデックス作成
  • LLM へのデータ取り込みと抽出のワークフロー

Gologin Web Access CLI (統合版)

Web Unlocker と Cloud Browser を 1 つのコマンド体系にまとめた、より強力な CLI が必要な場合は、gologin-web-access を使用してください。
詳しいリファレンスは Gologin Web Access CLI をご覧ください。

関連ドキュメント