クイックチェックリスト
- 1 回のスクレイピングセッション = 1 つのブラウザプロファイル
- 対象サイトの保護レベルに応じてプロキシの種類を選択する
- Cookie やセッション状態を維持するため、セッション間でプロファイルを再利用する
- リクエストの速度を制御する。スクレイパーは IP だけでなく、動作でもブロックされます
- 大規模運用(50+ 同時実行)では、デスクトップアプリではなく Gologin API を使用する
セットアップの選び方
手動スクレイピング(Gologin デスクトップアプリ)
最適な用途:小規模なデータ収集、ログインが必要なサイト、手動を併用するワークフロー。Gologin アプリからプロファイルを開き、ブラウザウィンドウ内でスクレイピングを行います。API ベースのスクレイピング(Puppeteer / Playwright / Selenium)
最適な用途:自動化ワークフロー、10+ の同時セッション、スケジュール実行のスクレイピング。Gologin がプロファイルを起動し、自動化スクリプトが接続する WebSocket エンドポイントを返します。 セットアップの詳細は、API クイックスタート をご覧ください。ステップ 1. プロキシ戦略を選ぶ
ステップ 2. セッションと Cookie を管理する
Gologin のプロファイルは、セッション間で Cookie を自動的に保持します。一度ログインすれば、プロファイルはログイン状態を維持します。実行のたびに Cookie を消去するのは避けてください。セッションの連続性が失われ、ボットの動作のように見えてしまいます。ステップ 3. リクエストパターンを制御する
検出は IP だけでなく、主に動作によって行われます。実用的なタイミングの目安は次のとおりです。
待機時間は必ずランダム化してください。一定の間隔は検出のシグナルになります。
ステップ 4. 複数のプロファイルで拡張する
並列でスクレイピングを行うには、API を使って複数のプロファイルを同時に起動します。多数のプロファイルを起動する前に、レート制限を確認してください。API の制限が適用されます。プラン別の実用的な上限
- Professional:最大約 10 件の同時プロファイルまで快適に動作
- Business:最大約 30 件の同時プロファイル
- Enterprise:100+ 件の同時プロファイル