解決できる課題
最近のウェブサイトはスクレイピングが困難です。通常のcurl や requests では、チャレンジページや空のレスポンスが返ってきたり、コンテンツがJavaScriptで読み込まれるためにHTMLが不完全になったりすることがよくあります。Web Unlockerは、これらをすべて自動で処理します。
- JavaScriptレンダリング — 実際のブラウザでページを読み込み、JavaScriptを完全に実行してからコンテンツを取得します
- アンチボット回避 — Cloudflare、DataDome、PerimeterXなどの保護機能を自動で処理します
- スマートなIPローテーション — リアルなブラウザフィンガープリントを持つクリーンなレジデンシャルIP経由でリクエストを送信します
- CAPTCHAの解決 — 一般的なCAPTCHAを手動操作なしで解決します
- 価格帯に応じたルーティング — 対象サイトに適したプロキシの価格帯を経由してリクエストを送信します
返されるデータ
成功したタスクでは、次の3種類のコンテンツが返されます。料金
Web Unlockerは成功時課金制です。リクエストが成功した場合にのみ料金が発生し、失敗したリクエストは無料です。 料金はご利用量に応じて変わります。
ご利用量に合わせたカスタム料金をご希望の場合は、webunlocker@gologin.comまでお問い合わせください。
Web Unlockerと自前で運用するプロキシの比較
プロキシ環境を自前で運用するには多額のコストがかかり、安定性にも課題があります。Web Unlockerなら、すべてをマネージドサービスとして任せられます。主なユースケース
- 価格モニタリング — 自動リクエストをブロックするECサイトをスクレイピングできます
- リード獲得 — ディレクトリやビジネスリストから連絡先データを抽出できます
- 市場調査 — 商品データ、レビュー、求人情報を大規模に収集できます
- コンテンツの集約 — APIのないサイトからニュースやデータのフィードを作成できます
- AIパイプライン — レンダリング済みのHTMLをLLMに渡して、抽出や要約を行えます
仕組み
Web Unlockerは、タスクごとにクラウド上で実際のChromiumブラウザを実行します。URLを送信すると、次の流れで処理されます。- レジデンシャルIPとリアルなブラウザフィンガープリントを設定したブラウザを起動します
- ページに移動し、JavaScriptを実行して、動的なコンテンツを読み込みます
- アンチボットのチャレンジやCAPTCHAを自動で処理します
- レンダリング済みのHTML、スクリーンショット、ネットワークアーカイブを取得して返します
使い方
対象のURLをクエリパラメータに指定してGETリクエストを送信します。レスポンスとして、完全にレンダリングされたHTMLが返されます。CLIとSDK
Gologinでは、HTTP APIに加えて、Web Unlockerをより手軽に利用できる上位ツールも提供しています。- Web Unlocker SDK and CLI — 型付きメソッドを備えた最小構成のTypeScript SDK(
gologin-webunlocker)と、手軽にスクレイピングできるCLI - Gologin Web Access CLI — Web UnlockerとCloud Browserを組み合わせた統合CLI。バッチスクレイピング、クロール、検索、変更の追跡、構造化データの抽出に対応しています
- AI Skills — Claude Codeエージェント向けのすぐに使えるスキル