メインコンテンツへスキップ
Web Unlockerは、汎用のスクレイピングAPIです。URLを送信するだけで、完全にレンダリングされたHTML、またはMarkdownやJSON形式のページを取得できます。ブラウザやプロキシを自分で管理する必要はありません。 スクレイピング環境のうち、ブラウザとプロキシに関わる部分を置き換えます。レンダリング、プロキシ管理、ブラウザフィンガープリントの処理は、1回のAPI呼び出しで完結します。静的なページも、JavaScriptを多用するサイトも、同じエンドポイントで処理できます。

解決できる課題

現代のウェブサイトはスクレイピングが困難です。コンテンツがJavaScriptで読み込まれるため、単純な curl や requests の呼び出しでは、空のレスポンスや壊れたHTMLが返されることがよくあります。Web Unlockerは次の点に対応します。
  • JavaScriptレンダリング — ページを実際のブラウザで読み込み、JavaScriptを完全に実行してからコンテンツを取得します
  • スマートなIPローテーション — リアルなブラウザフィンガープリントを持つレジデンシャルIP経由でリクエストを送信します
  • 価格ティアの指定 — 対象サイトに適したプロキシティア経由でリクエストを送信します

取得できるデータ

リクエストが成功すると、ページが1つの形式で返されます。形式は format クエリパラメータで指定します。

料金

Web Unlockerは成功時課金制です。リクエストが成功した場合にのみ課金され、失敗したリクエストは無料です。 料金はご利用量に応じて変わります。 大量利用向けのカスタム料金については、webunlocker@gologin.com までお問い合わせください。

Web Unlockerと自前のプロキシ運用の比較

自前でプロキシ基盤を運用するにはコストがかかり、安定した運用も困難です。Web Unlockerは、これらすべてをマネージドサービスとして提供します。

主なユースケース

  • 価格モニタリング — ECサイトの価格を追跡します
  • 市場調査 — 商品データ、レビュー、求人情報を大規模に収集します
  • コンテンツの集約 — APIのないサイトからニュースやデータのフィードを作成します
  • AIパイプライン — レンダリング済みのHTMLをLLMに渡して、情報の抽出や要約を行います

仕組み

Web Unlockerは、タスクごとにクラウド上で実際のChromiumブラウザを実行します。URLを送信すると、次の処理が行われます。
  1. レジデンシャルIPとリアルなブラウザフィンガープリントを設定したブラウザが起動します
  2. ページに移動し、JavaScriptを実行して、動的コンテンツを読み込みます
  3. レンダリング済みのHTMLが返されます。format で指定した場合は、MarkdownまたはJSONが返されます
インフラを管理する必要はありません。ブラウザを起動する必要も、プロキシリストを維持する必要も、レンダリング処理を自作する必要もありません。Web Unlockerは、ブラウザ自動化フレームワークとプロキシプロバイダを、1回のHTTPリクエストに置き換えます。

使い方

対象のURLをクエリパラメータに指定して、GETリクエストを送信します。レスポンスは、完全にレンダリングされたHTMLです。
MarkdownまたはJSONで取得するには、クエリに format=markdown または format=json を追加します。 PythonとJavaScriptのサンプルやエラーコードについてはクイックスタートを、一般的な連携パターンについてはユースケースをご覧ください。

CLIとSDK

生のHTTP APIに加えて、GologinではWeb Unlockerを扱うための上位レベルのツールも提供しています。
  • Web Unlocker SDKとCLI — 型付きメソッドを備えた最小構成のTypeScript SDK(gologin-webunlocker)と、手軽にスクレイピングできるCLI
  • Gologin Web Access CLI — Web UnlockerとCloud Browserを組み合わせた統合CLI。バッチスクレイピング、クロール、検索、変更の追跡、構造化データの抽出に対応します
  • AIスキル — Claude Codeエージェント向けの、すぐに使えるスキル

アクセスの取得

APIキーを取得するには、Web Unlockerのページのフォームに入力してください。キーは1営業日以内に届き、ご自身の対象サイトで試せる無料リクエストも付与されます。カードは不要です。