クイックチェックリスト
- 1回のスクレイピングセッション = 1つのブラウザプロファイル
- 対象サイトの保護レベルに応じてプロキシの種類を選ぶ
- Cookieやセッション状態を保持するため、セッションをまたいでプロファイルを再利用する
- リクエストの速度を調整する。スクレーパーはIPだけでなく、動作によってもブロックされます
- 大規模な運用(50+ の同時実行)では、デスクトップアプリではなくGologin APIを使用する
セットアップの選び方
手動スクレイピング(Gologinデスクトップアプリ)
適しているケース:小規模なデータ収集、ログインが必要なサイト、手動を併用するワークフロー。Gologinアプリからプロファイルを開き、ブラウザウィンドウ内でスクレイピングを行います。APIベースのスクレイピング(Puppeteer / Playwright / Selenium)
適しているケース:自動化されたワークフロー、10+ の同時セッション、スケジュール実行によるスクレイピング。Gologinがプロファイルを起動し、自動化スクリプトが接続するWebSocketエンドポイントを返します。 セットアップの詳細は、API クイックスタート をご覧ください。ステップ1. プロキシの戦略を選ぶ
ステップ2. セッションとCookieを管理する
Gologinのプロファイルは、セッション間でCookieを自動的に保持します。一度ログインすれば、そのプロファイルはログイン状態のままです。実行のたびにCookieを削除するのは避けてください。セッションの連続性が失われ、ボットの動作のように見えてしまいます。ステップ3. リクエストのパターンを制御する
検出は、IPだけでなく主に動作に基づいて行われます。実用的なタイミングの目安は次のとおりです。
待機時間は必ずランダム化してください。一定の間隔は検出のシグナルになります。
ステップ4. 複数のプロファイルで規模を拡大する
並列でスクレイピングするには、APIを使って複数のプロファイルを同時に起動します。多数のプロファイルを起動する前に、レート制限を確認してください。APIの制限が適用されます。プランごとの現実的な上限
- Professional:約10個の同時プロファイルまで無理なく利用可能
- Business:約30個の同時プロファイルまで
- Enterprise:100+ の同時プロファイル
Cloudflareとボット対策システム
Gologinは、ブラウザのフィンガープリントに関するチェック(Canvas、WebGL、TLSフィンガープリント)に対応します。ただし、CAPTCHAは自動では解決しません。対象サイトがCAPTCHA付きのCloudflareを使用している場合は、CAPTCHA解決サービス(2captcha、CapSolver、Anti-Captcha)をスクレイピングスクリプトに組み込んでください。検出されやすいシグナル
- リクエスト間隔がいつも同じ
- クリックの前にスクロールやマウスの動きがない
- リファラーなしで深い階層のURLに直接アクセスしている
- Canvas や WebGL のフィンガープリントが、申告しているOSやブラウザと一致しない