Scraping API として使う理由
- あらゆる対象 URL に対応する 1 つのエンドポイント
- API キー認証のみで利用でき、ブラウザのオーケストレーションは不要
- デフォルトは HTML で、リクエストに応じて Markdown または JSON も取得可能。既存のパーサーにそのまま利用できます
- ETL、モニタリング、AI へのデータ取り込み、データパイプラインに適しています
エンドポイント
GET https://parsing.webunlocker.gologin.com/v1/scrape?url={encoded_url}
認証
API キーをヘッダーで送信します。リクエストの仕様
クイックスタート
cURL
Python
JavaScript (fetch)
レスポンスの動作
デフォルトでは、レスポンスボディはページのレンダリング済みの生の HTML です。format=markdown を指定すると Markdown、format=json を指定すると次のような JSON オブジェクトが返されます。
200-> 成功。ボディには、指定した形式のページが含まれます400-> 不正なリクエスト。たとえばurlが指定されていない場合です。ボディ:{"success":false,"error":"Request failed"}401->apikeyヘッダーがありません。ボディ:{"message":"Missing API key in request"}
リトライの指針
次の場合は、指数バックオフでリトライしてください。- ネットワークエラー
408、429、500、502、503、504
公式 Node.js SDK
インストール:SDK のクイックスタート
コンストラクターのオプション
SDK の主なメソッド
scrape(url)-> 正規化されたレスポンスオブジェクトscrapeRaw(url)-> ネイティブのResponsebuildScrapeUrl(url)-> 完全なリクエスト URL
SDK 側で生成するメソッド (返された HTML から生成)
これらはバックエンドの別のエンドポイントではなく、API が返した HTML から SDK 内で生成されます。SDK はurl パラメーターのみを送信し、format は送信しないため、API 自体の format=markdown や format=json のレスポンスとは出力が異なる場合があります。
scrapeText(url)-> プレーンテキストscrapeMarkdown(url)-> MarkdownscrapeJSON(url)-> 構造化メタデータ (title、description、canonical、meta、headings、links)batchScrape(urls, { concurrency })-> 複数のスクレイピング呼び出しをまとめて実行するヘルパー
型付きエラー
WebUnlockerErrorAuthenticationErrorRateLimitErrorAPIErrorTimeoutErrorNetworkError
401/403->AuthenticationError429->RateLimitError500以上、およびその他の 2xx 以外のステータス (たとえば400) ->APIError- タイムアウト/中断 ->
TimeoutError - fetch/ネットワークの失敗 ->
NetworkError
CLI
scrape(生の HTML/テキスト)text(生成されたテキスト)markdown(生成された Markdown)json(生成されたメタデータ)
スクレイピングの主なユースケース
- 価格やカタログのモニタリング
- リードやディレクトリ情報の拡充
- 市場インテリジェンスのパイプライン
- コンテンツの集約とインデックス作成
- LLM へのデータ取り込みと抽出のワークフロー
Gologin Web Access CLI (統合版)
Web Unlocker と Cloud Browser を 1 つのコマンド体系にまとめた、より強力な CLI が必要な場合は、gologin-web-access を使用してください。