メインコンテンツへスキップ
Web Unlocker はスクレイピング API です。URL を送信すると、完全にレンダリングされた HTML が返されます。このページでは、その代表的な活用方法を紹介します。

自分でページをスクレイピングする

最もシンプルなユースケースです。通常の HTTP リクエストをブロックするウェブページのコンテンツを取得したい場合に使います。

Python

JavaScript

ブラウザを起動する必要も、プロキシを設定する必要もありません。1 回の呼び出しでページを取得できます。 こんな用途に最適:
  • 競合サイトの価格チェック
  • 求人情報、レビュー、商品データの取得
  • ページの変更の監視
  • 単発のデータ収集スクリプト

AI にコンテンツを渡す

Web Unlocker は生の HTML を返します。これを LLM に渡せば、パース処理を書かなくても、構造化データの抽出、コンテンツの要約、ページに関する質問への回答ができます。
モデルに送るマークアップを減らすには、リクエストに format=markdown を追加します。HTML の代わりに Markdown 形式でページを取得できます。

Python + OpenAI

JavaScript + Anthropic

こんな用途に最適:
  • パーサーを書かずに、価格・名前・日付などの構造化データを抽出する
  • 記事や商品ページを要約する
  • 複数のページを比較して結論を導く
  • AI を活用したリサーチツールや監視ツールを構築する

AI エージェントの中で使う

Web Unlocker を基盤にした scrape ツールを AI エージェントに持たせましょう。ブラウジング用のロジックを自分で書かなくても、エージェントが自律的にウェブ上でページを取得し、内容を読み取り、行動できるようになります。
スクレイピングするタイミングと取得する URL はエージェントが判断します。実際のページ取得は Web Unlocker が担当します。 こんな用途に最適:
  • 自律的にウェブを巡回するリサーチエージェント
  • 価格比較やお得情報を探すボット
  • 競合インテリジェンスのパイプライン
  • リアルタイムのウェブデータを必要とするあらゆるエージェント

多数のページを一括でスクレイピングする

リクエストを並列実行して、複数の URL から同時にデータを収集します。
こんな用途に最適:
  • 商品カタログや一覧ページ全体のスクレイピング
  • 学習用データセットのための大量データ収集
  • 多数のページの同時監視

CLI から使う

コードを書かずに、Gologin Web Access CLI で一般的なスクレイピングのワークフローを実行できます。
コマンドの詳細は Web Access CLI を参照してください。

まとめ

最初のリクエストを送信するには、クイックスタートを参照してください。