简单介绍一下您的团队,即可获得:
这里的每个网页爬虫 API 都能渲染 JavaScript 并返回 Markdown。区别在于您为什么付费、什么会改变价格,以及请求从哪里发出。
| 需要什么 | ScraperAPI | ScrapingBee | ZenRows | Firecrawl | |
|---|---|---|---|---|---|
| 每页计费方式 | 1 次请求 | 1 至 30 个积分 | 1 至 75 个积分 | 1 至 25 个积分 | 1 个积分 |
| 1,000 个 JavaScript 页面 | $0.98 | $4.90 | $1.27 | $2.11 | $3.80 |
| 1,000 个 Amazon 页面 | $0.98 | $12.25 | $3.80 | $10.56 | $3.80 |
| 403 页面是否计费 | 否 | 否 | 否 | 否 | 是 |
| 请求来自 | 国家或城市 | 国家 | 国家 | 国家 | 国家 |
价格、库存、配送和搜索结果因城市而异。在请求中加上国家和城市,Web Unlocker 就会通过那里的住宅 IP 加载页面,价格不变。
想从您客户所在的城市采集?获取 API 密钥和免费请求额度。
大多数网页抓取 API 按积分计费:普通页面 1 个,启用 JavaScript 5 个,最难的站点 10 至 75 个。Web Unlocker 把每个页面都按 1 页计费,无论加载它有多复杂。
普通页面、JavaScript 页面和 Amazon 价格相同。
加载失败的页面不收费。
启用真实浏览器或选择城市,价格不变:Growth 套餐每 1,000 页 $0.98,Premium 套餐低至 $0.45。所有套餐见 Web Unlocker 页面。
1,000 个 Amazon 页面的费用
启用 JavaScript 渲染,按各 API 入门月度套餐计算
按公布价格计算:ScrapingBee Hobby 套餐,其 Amazon API 每页 15 个积分。Firecrawl Hobby 套餐,每页 1 个积分。ZenRows Build 套餐,启用 JavaScript 和高级代理时 25 个积分。ScraperAPI Hobby 套餐,25 个积分。
每个站点都是同样的请求、同样的代码和同样的价格。下面是团队用它采集的内容。
电商抓取 API,用于 Amazon、Walmart、eBay、Etsy 和 Best Buy 的商品页和搜索页,返回价格、评分和您所选城市的配送信息。
Zillow 和 Redfin 的房源,含价格、卧室、浴室、Zestimate 和房源经纪人。
Booking.com 和 Tripadvisor 的搜索页,含酒店、价格和评分,由真实浏览器渲染。
Indeed 和 LinkedIn 的职位搜索,以及 LinkedIn 和 Crunchbase 的公司页面,含规模、地点和关注者。
Trustpilot 评价和 Reddit 帖子,页面上的每条帖子和评论都在其中。
任意页面都能以 Markdown 返回,用于 RAG、智能体和 LLM 流程,可直接交给 Claude。
要大规模采集单个站点?请查看 Amazon、Google Maps、Reddit 和 YouTube 爬虫。
把页面地址和您的密钥发送到同一个端点。需要时再加上国家或城市、格式和真实浏览器:价格不变。
填写上面的表单。密钥会在一个工作日内通过邮件送达。
任何公开页面:商品、房源、搜索、公司主页或帖子。
HTML 交给您自己的代码解析,或 Markdown 直接交给 LLM。
pip install requestsGOLOGIN_SCRAPING_API_KEY=your_key python page_to_markdown.pyhttps://parsing.webunlocker.gologin.com/v1/scrapeimport os
import requests
response = requests.get(
"https://parsing.webunlocker.gologin.com/v1/scrape",
headers={"apikey": os.environ["GOLOGIN_SCRAPING_API_KEY"]},
params={
"url": "https://www.zillow.com/homedetails/3302-Cherrywood-Rd-Austin-TX-78722/29394650_zpid/",
"format": "markdown",
"geo": "us",
},
timeout=120,
)
with open("listing.md", "w", encoding="utf-8") as file:
file.write(response.text)
print(response.status_code, response.text[:500])GOLOGIN_SCRAPING_API_KEY=your_key node product-price.mjshttps://parsing.webunlocker.gologin.com/v1/scrapeconst params = new URLSearchParams({
url: 'https://www.walmart.com/ip/Beats-Studio-Pro-Wireless-Headphones-Navy/2857827219',
format: 'html',
geo: 'us',
subdivision: 'NY',
city: 'New York',
});
const response = await fetch(`https://parsing.webunlocker.gologin.com/v1/scrape?${params}`, {
headers: { apikey: process.env.GOLOGIN_SCRAPING_API_KEY },
});
const html = await response.text();
const title = html.match(/<h1[^>]*>([^<]+)</)?.[1];
const price = html.match(/itemprop="price"[^>]*>([^<]+)</)?.[1];
console.log(response.status, title, price);pip install requestsGOLOGIN_SCRAPING_API_KEY=your_key python many_sites.pyhttps://parsing.webunlocker.gologin.com/v1/scrapeimport os
import requests
URLS = [
"https://www.amazon.com/dp/B09XS7JWHH",
"https://www.walmart.com/ip/Beats-Studio-Pro-Wireless-Headphones-Navy/2857827219",
"https://www.zillow.com/homedetails/3302-Cherrywood-Rd-Austin-TX-78722/29394650_zpid/",
"https://www.linkedin.com/company/openai/",
"https://www.reddit.com/r/dataengineering/comments/1wxt56w/are_you_guys_still_writing_sql/",
]
for url in URLS:
response = requests.get(
"https://parsing.webunlocker.gologin.com/v1/scrape",
headers={"apikey": os.environ["GOLOGIN_SCRAPING_API_KEY"]},
params={"url": url, "format": "html", "geo": "us"},
timeout=120,
)
print(response.status_code, f"{len(response.text):,} characters", url)准备好用在自己的页面上了吗?获取 API 密钥和免费请求额度。
Web Unlocker 一次请求就返回公开页面。当数据位于登录之后、随滚动加载或点击后才出现时,Cloud Browser 会运行一个真实的浏览器会话,由您通过 Playwright 或 Puppeteer 驱动,每月 $4.50 起,含 50 个浏览器小时。
每个配置文件在两次运行之间保留 cookie 和历史记录,因此站点看到的是同一位回访访客。
您的脚本驱动页面:无限加载的信息流、“加载更多”按钮,以及只有点击才会打开的标签页。
每个会话都使用您所选国家或地区的住宅 IP。超出套餐的流量为 $1/GB。
通过 Playwright、Puppeteer 或 Claude 运行。了解 Cloud Browser。
一个账户,一个代理网络,一套生态。按任务需要选择产品。
只想采集一个站点?请查看 Reddit、Google Maps、YouTube 和 Amazon 爬虫,或全部网页抓取工具。
网页抓取 API,也叫网页爬虫 API 或抓取 API,是替您获取网页的服务:您发送页面地址,它用自己的浏览器和 IP 加载页面并返回内容。Web Unlocker 以 HTML 或 Markdown 返回页面,所以解析仍由您自己负责,无需自己运行浏览器和代理。
网页抓取 API 接收一个带有页面地址和您的密钥的请求。Web Unlocker 通过您所选国家或城市的住宅 IP 打开页面,如果您要求就渲染 JavaScript,并在同一次请求中把结果发回。
不一定,您可以用自己的代码发送请求。但在 Zillow 和 Reddit 这样的站点,普通请求会得到 403,而由 JavaScript 生成的页面需要真实浏览器。网页抓取 API 替您运行浏览器和住宅 IP,一次调用就返回页面。
站点自己的 API 提供站点愿意分享的数据,并带有限制和密钥。网页抓取读取的是访客看到的公开页面。网页抓取 API 替您完成抓取这一步,一次调用就把那个页面交给您。
有,可以免费开始:Web Unlocker 附带 1,000 次免费请求,无需信用卡。之后套餐每月 $49 起,含 50,000 个页面。
Web Unlocker 每 1,000 页的价格:Growth 套餐 $0.98,Professional 套餐 $0.75,Business 套餐 $0.60,Premium 套餐 $0.45。普通页面、JavaScript 页面和 Amazon 价格相同。按积分计费的 API 普通页面收 1 个积分,最难的站点最多收 75 个。
这取决于页面。对于普通 HTML,按积分计费的 API 每页可能更便宜。对于 JavaScript 页面和 Amazon 这样的站点,积分会迅速累积:1,000 个 Amazon 页面在其他地方要 $3.80 至 $12.25,用 Web Unlocker 只需 $0.98。
是能以您可预测的价格返回您所需页面的那个。Web Unlocker 在每个站点都把一页按一页计费,失败的页面不计费,并且可以选择国家或城市。
是能返回您自己页面的那个,只有在这些页面上测试才能知道。Web Unlocker 附带 1,000 次免费请求,用于您自己的目标站点,失败的页面不收费,所以在付费之前您就能看到哪些可行。
可以。Amazon、Walmart、eBay、Etsy 和 Best Buy 的商品页、搜索页和分类页会连同价格、评分和您所选城市的配送信息一起返回。每 1,000 页 $0.98,Amazon 也一样。
会。启用真实浏览器后,Web Unlocker 会像访客的浏览器一样加载页面,包括其中的脚本,然后返回。价格不变。
不需要。加载失败的页面不收费。您只为成功返回的页面付费。
任何公开页面。团队用它采集 Amazon、Walmart、eBay 和 Etsy 的商品,Zillow 和 Redfin 的房源,Booking.com 和 Tripadvisor 的酒店,Indeed 和 LinkedIn 的职位,LinkedIn 的公司页面,Reddit 帖子以及新闻网站。
能。请求 Markdown,Web Unlocker 就会把页面以带标题、列表和链接的文本返回,可直接用于 RAG、智能体或 Claude。Gologin scraping skill 让 Claude 替您调用它。
能。选择国家、州或省和城市,请求就会通过那里的住宅 IP 发出,因此价格、库存和配送与当地访客看到的一致。
用 requests 库把页面地址发送到端点,并把您的密钥放在 apikey 请求头里。上面的 Python 标签页是一份完整的脚本,已在真实 API 上测试过。
它返回整个页面,所以在您看到之前不会丢失任何内容。请求 JSON,页面就会放在一个带状态和响应时间的封装里。把页面转成字段只需几行代码,或者对 Claude 的一句提示词。
Web Unlocker 像访客的浏览器一样加载公开页面并返回。您采集什么、如何使用,由您自己决定,请对照适用于您项目的规则自行核对。
简单介绍一下您的团队,即可获得: