チームについて簡単にご記入いただくと、次の内容をお届けします。
ここに挙げたWebスクレイパーAPIは、どれもJavaScriptを描画し、Markdownを返せます。違いは、何に課金されるか、何で料金が変わるか、リクエストがどこから送られるかです。
| 必要なもの | ScraperAPI | ScrapingBee | ZenRows | Firecrawl | |
|---|---|---|---|---|---|
| 1ページの課金単位 | 1リクエスト | 1〜30クレジット | 1〜75クレジット | 1〜25クレジット | 1クレジット |
| JavaScriptページ1,000件 | $0.98 | $4.90 | $1.27 | $2.11 | $3.80 |
| Amazonページ1,000件 | $0.98 | $12.25 | $3.80 | $10.56 | $3.80 |
| 403ページへの課金 | なし | なし | なし | なし | あり |
| リクエストの送信元 | 国または都市 | 国 | 国 | 国 | 国 |
価格、在庫、配送、検索結果は都市ごとに変わります。国と都市を追加すると、Web Unlockerが現地のレジデンシャルIPでページを読み込みます。料金は同じです。
お客様の都市からスクレイピングしてみませんか?APIキーと無料リクエストを入手しましょう。
多くのWebスクレイピングAPIはクレジットで課金します。通常のページは1、JavaScript付きは5、難しいサイトは10〜75です。Web Unlockerは、読み込みにかかる手間にかかわらず、どのページも1ページとして課金します。
通常のページも、JavaScriptのページも、Amazonも同じ料金です。
失敗したページは無料です。
本物のブラウザをオンにしても、都市を選んでも、料金は変わりません。Growthプランで1,000ページあたり$0.98、Premiumなら$0.45です。すべてのプランはWeb Unlockerのページでご覧いただけます。
Amazonの1,000ページの料金
JavaScriptレンダリング付き、各APIの入門向け月額プランで
公開価格:ScrapingBee Hobby、Amazon APIで15クレジット。Firecrawl Hobby、1ページ1クレジット。ZenRows Build、JavaScriptとプレミアムプロキシで25クレジット。ScraperAPI Hobby、25クレジット。
どのサイトでも、同じリクエスト、同じコード、同じ料金です。チームが実際に取得しているデータは次のとおりです。
Amazon、Walmart、eBay、Etsy、Best Buyの商品ページと検索ページを取得するEC向けスクレイピングAPI。選んだ都市の価格、評価、配送が分かります。
ZillowとRedfinの物件。価格、寝室数、浴室数、Zestimate、掲載エージェントが取得できます。
Booking.comとTripadvisorの検索ページから、ホテル、料金、評価を本物のブラウザで取得します。
IndeedとLinkedInの求人検索、LinkedInとCrunchbaseの企業ページ。規模、所在地、フォロワー数が分かります。
Trustpilotのレビューと、Redditのスレッド。ページ上のすべての投稿とコメントが取得できます。
RAG、エージェント、LLMパイプライン向けに、どのページもMarkdownで。そのままClaudeに渡せます。
1つのサイトを大規模にスクレイピングしますか?Amazon、Google Maps、Reddit、YouTubeのスクレイパーをご覧ください。
ページのアドレスとキーを1つのエンドポイントに送ります。必要に応じて、国や都市、形式、本物のブラウザを追加しても、料金は変わりません。
上のフォームにご記入ください。キーは1営業日以内にメールで届きます。
公開されているページなら何でも。商品、物件、検索、企業プロフィール、スレッドが対象です。
自分のコードで解析するHTML、またはそのままLLMに渡せるMarkdownです。
pip install requestsGOLOGIN_SCRAPING_API_KEY=your_key python page_to_markdown.pyhttps://parsing.webunlocker.gologin.com/v1/scrapeimport os
import requests
response = requests.get(
"https://parsing.webunlocker.gologin.com/v1/scrape",
headers={"apikey": os.environ["GOLOGIN_SCRAPING_API_KEY"]},
params={
"url": "https://www.zillow.com/homedetails/3302-Cherrywood-Rd-Austin-TX-78722/29394650_zpid/",
"format": "markdown",
"geo": "us",
},
timeout=120,
)
with open("listing.md", "w", encoding="utf-8") as file:
file.write(response.text)
print(response.status_code, response.text[:500])GOLOGIN_SCRAPING_API_KEY=your_key node product-price.mjshttps://parsing.webunlocker.gologin.com/v1/scrapeconst params = new URLSearchParams({
url: 'https://www.walmart.com/ip/Beats-Studio-Pro-Wireless-Headphones-Navy/2857827219',
format: 'html',
geo: 'us',
subdivision: 'NY',
city: 'New York',
});
const response = await fetch(`https://parsing.webunlocker.gologin.com/v1/scrape?${params}`, {
headers: { apikey: process.env.GOLOGIN_SCRAPING_API_KEY },
});
const html = await response.text();
const title = html.match(/<h1[^>]*>([^<]+)</)?.[1];
const price = html.match(/itemprop="price"[^>]*>([^<]+)</)?.[1];
console.log(response.status, title, price);pip install requestsGOLOGIN_SCRAPING_API_KEY=your_key python many_sites.pyhttps://parsing.webunlocker.gologin.com/v1/scrapeimport os
import requests
URLS = [
"https://www.amazon.com/dp/B09XS7JWHH",
"https://www.walmart.com/ip/Beats-Studio-Pro-Wireless-Headphones-Navy/2857827219",
"https://www.zillow.com/homedetails/3302-Cherrywood-Rd-Austin-TX-78722/29394650_zpid/",
"https://www.linkedin.com/company/openai/",
"https://www.reddit.com/r/dataengineering/comments/1wxt56w/are_you_guys_still_writing_sql/",
]
for url in URLS:
response = requests.get(
"https://parsing.webunlocker.gologin.com/v1/scrape",
headers={"apikey": os.environ["GOLOGIN_SCRAPING_API_KEY"]},
params={"url": url, "format": "html", "geo": "us"},
timeout=120,
)
print(response.status_code, f"{len(response.text):,} characters", url)ご自身のページで実行しますか?APIキーと無料リクエストを入手しましょう。
Web Unlockerは、公開ページを1回のリクエストで返します。データがログインの先にある、スクロールで読み込まれる、クリック後に表示される場合は、Cloud BrowserがPlaywrightやPuppeteerから操作できる本物のブラウザセッションを実行します。ブラウザ50時間が月$4.50からです。
各プロファイルは実行間でCookieと履歴を保持するため、サイトには同じ訪問者が戻ってきたように見えます。
スクリプトでページを操作できます。無限フィード、「もっと見る」ボタン、クリックしたときだけ開くタブにも対応します。
各セッションは、選んだ国のレジデンシャルIPで動作します。プランを超えたトラフィックは$1/GBです。
Playwright、PuppeteerまたはClaudeから実行できます。Cloud Browserを見る。
1つのアカウント、1つのプロキシネットワーク、1つのエコシステム。用途に合った製品をお選びください。
特定のサイトをお探しですか?Reddit、Google Maps、YouTube、Amazonのスクレイパー、またはすべてのWebスクレイピングツールをご覧ください。
WebスクレイピングAPI(WebスクレイパーAPI、スクレイピングAPIとも呼ばれます)は、Webページの取得を代行するサービスです。ページのアドレスを送ると、サービスが自前のブラウザとIPでページを読み込み、内容を返します。Web UnlockerはページをHTMLまたはMarkdownで返すため、解析は自分で行え、ブラウザやプロキシを運用する必要がありません。
Webスクレイピング用のAPIは、ページのアドレスとキーを含む1回のリクエストを受け取ります。Web Unlockerは選んだ国や都市のレジデンシャルIPでページを開き、指定があればJavaScriptを描画して、同じリクエストで結果を返します。
いいえ、自分のコードからリクエストを送ることもできます。ただし、ZillowやRedditのようなサイトでは通常のリクエストに403が返り、JavaScriptで構築されるページには本物のブラウザが必要です。WebスクレイピングAPIは、ブラウザとレジデンシャルIPを代わりに運用し、1回の呼び出しでページを返します。
サイト自身のAPIが提供するのは、サイトが共有すると決めたデータで、制限とキーがあります。Webスクレイピングは、訪問者が見る公開ページを読み取ります。WebスクレイピングAPIはそのスクレイピングの部分を代行し、そのページを1回の呼び出しで返します。
はい、まずは無料で試せます。Web Unlockerには1,000件の無料リクエストが付き、カードは不要です。その後のプランは50,000ページで月$49からです。
Web Unlockerは、1,000ページあたりGrowthで$0.98、Professionalで$0.75、Businessで$0.60、Premiumで$0.45です。通常のページ、JavaScriptのページ、Amazonのどれも同じ料金です。クレジット制のAPIは、通常のページで1クレジット、難しいサイトでは最大75クレジットを課金します。
ページによります。単純なHTMLなら、クレジット制のAPIのほうが1ページあたり安い場合があります。JavaScriptのページやAmazonのようなサイトではクレジットが積み上がり、Amazonの1,000ページは他社で$3.80〜$12.25、Web Unlockerでは$0.98です。
必要なページを、見通せる料金で返すものです。Web Unlockerは、どのサイトでも1ページを1ページとして課金し、失敗したページには課金せず、国や都市を選べます。
ご自身のページを返すものであり、それは試してみて初めて分かります。Web Unlockerにはお客様のターゲット向けに1,000件の無料リクエストが付き、失敗したページは無料なので、支払う前に何が動くか確認できます。
はい。Amazon、Walmart、eBay、Etsy、Best Buyの商品ページ、検索ページ、カテゴリページが、選んだ都市の価格、評価、配送とともに返ります。Amazonを含め、どのページも1,000ページあたり$0.98です。
はい。本物のブラウザをオンにすると、Web Unlockerは訪問者のブラウザと同じようにスクリプトも含めてページを読み込み、返します。料金は変わりません。
いいえ。読み込みに失敗したページは無料です。料金がかかるのは、結果が返ったページだけです。
公開されているページなら何でも。チームは、Amazon、Walmart、eBay、Etsyの商品、ZillowとRedfinの物件、Booking.comとTripadvisorのホテル、IndeedとLinkedInの求人、LinkedInの企業ページ、Redditのスレッド、ニュースサイトに使っています。
はい。Markdownを指定すると、Web Unlockerは見出し、リスト、リンクを含むテキストとしてページを返します。RAG、エージェント、Claudeにそのまま使えます。Gologin scraping skillを使えば、Claudeが代わりに呼び出せます。
はい。国、州、都市を選ぶと、そこのレジデンシャルIPからリクエストが送られるため、価格、在庫、配送が現地の訪問者に見えるものと一致します。
requestsライブラリで、ページのアドレスをエンドポイントに送り、キーをapikeyヘッダーに付けます。上のPythonタブは完全なスクリプトで、実際のAPIでテスト済みです。
ページ全体が返るので、見る前に何も削られません。JSONを指定すると、ステータスとレスポンス時間を添えたラッパーにページが入って返ります。ページをフィールドに変換するには、数行のコードか、Claudeへの1回のプロンプトで済みます。
Web Unlockerは、公開ページを訪問者のブラウザと同じように読み込んで返します。何を収集し、どう使うかはお客様の判断ですので、プロジェクトに適用されるルールに照らして確認してください。
チームについて簡単にご記入いただくと、次の内容をお届けします。