解決できる課題
現代のウェブサイトはスクレイピングが困難です。コンテンツがJavaScriptで読み込まれるため、単純なcurl や requests の呼び出しでは、空のレスポンスや壊れたHTMLが返されることがよくあります。Web Unlockerは次の点に対応します。
- JavaScriptレンダリング — ページを実際のブラウザで読み込み、JavaScriptを完全に実行してからコンテンツを取得します
- スマートなIPローテーション — リアルなブラウザフィンガープリントを持つレジデンシャルIP経由でリクエストを送信します
- 価格ティアの指定 — 対象サイトに適したプロキシティア経由でリクエストを送信します
取得できるデータ
リクエストが成功すると、ページが1つの形式で返されます。形式はformat クエリパラメータで指定します。
料金
Web Unlockerは成功時課金制です。リクエストが成功した場合にのみ課金され、失敗したリクエストは無料です。 料金はご利用量に応じて変わります。
大量利用向けのカスタム料金については、webunlocker@gologin.com までお問い合わせください。
Web Unlockerと自前のプロキシ運用の比較
自前でプロキシ基盤を運用するにはコストがかかり、安定した運用も困難です。Web Unlockerは、これらすべてをマネージドサービスとして提供します。主なユースケース
- 価格モニタリング — ECサイトの価格を追跡します
- 市場調査 — 商品データ、レビュー、求人情報を大規模に収集します
- コンテンツの集約 — APIのないサイトからニュースやデータのフィードを作成します
- AIパイプライン — レンダリング済みのHTMLをLLMに渡して、情報の抽出や要約を行います
仕組み
Web Unlockerは、タスクごとにクラウド上で実際のChromiumブラウザを実行します。URLを送信すると、次の処理が行われます。- レジデンシャルIPとリアルなブラウザフィンガープリントを設定したブラウザが起動します
- ページに移動し、JavaScriptを実行して、動的コンテンツを読み込みます
- レンダリング済みのHTMLが返されます。
formatで指定した場合は、MarkdownまたはJSONが返されます
使い方
対象のURLをクエリパラメータに指定して、GETリクエストを送信します。レスポンスは、完全にレンダリングされたHTMLです。format=markdown または format=json を追加します。
PythonとJavaScriptのサンプルやエラーコードについてはクイックスタートを、一般的な連携パターンについてはユースケースをご覧ください。
CLIとSDK
生のHTTP APIに加えて、GologinではWeb Unlockerを扱うための上位レベルのツールも提供しています。- Web Unlocker SDKとCLI — 型付きメソッドを備えた最小構成のTypeScript SDK(
gologin-webunlocker)と、手軽にスクレイピングできるCLI - Gologin Web Access CLI — Web UnlockerとCloud Browserを組み合わせた統合CLI。バッチスクレイピング、クロール、検索、変更の追跡、構造化データの抽出に対応します
- AIスキル — Claude Codeエージェント向けの、すぐに使えるスキル