网页抓取:稳定获取公开网页数据

Amazon、LinkedIn、Reddit 等拥有公开页面的网站,您都可以通过 API、可保持会话的云浏览器,或配合自有代码使用代理来获取页面。

G2 评分 4.7 / 5基于 79 条评价

适用于各类平台,亲自试试便知

下面每个页面都在真实网站上实时运行 Web Unlocker。粘贴一个网址,即可拿回真实页面,看看能从中读取哪些数据。

在线演示

亚马逊数据采集

支持商品页、搜索页和畅销榜页面,可按邮编读取 Buy Box 价格、卖家和库存。

在线演示

eBay 数据采集

支持商品列表、竞价和卖家评价,还包括 eBay 官方 API 不提供的关注人数和已售数量。

在线演示

沃尔玛数据采集

支持商品页、搜索页和分类页,可按门店读取 Rollback 降价价格和库存。

在线演示

Google Maps 爬虫

支持任意城市的搜索结果,可读取每个地点的评分、评论、地址、营业时间和坐标。

在线演示

Google 评论爬虫

商家评分、星级分布、评论主题和热门评论,按一个页面计费。

在线演示

Reddit 爬虫

支持帖子、subreddit 和搜索页面,主贴连同前 25 条评论按 1 页计费。

在线演示

YouTube 爬虫

支持搜索、视频和频道页面,没有每天 100 次搜索的上限,无需 Google API 密钥。

在线演示

Indeed 爬虫

每页 50 个职位的 Indeed 职位搜索页面,含完整描述、公司评价和薪资,按 1 页计费。

在线演示

Tripadvisor 爬虫

酒店和餐厅页面,含全部评论、排名和店家回复,按 1 页计费。

在线演示

职位爬虫

LinkedIn 和 Indeed 职位搜索页(最多 60 个职位)、职位描述和公司招聘页面,按 1 页计费。

在线演示

AliExpress 爬虫

每个搜索页 60 件商品,附任意国家的本地价格;评价每次 100 条,均按一页计费。

在线演示

Instagram 爬虫

主页带精确粉丝数和最新 12 条帖子,帖子和 Reels 带精确点赞数,无需登录。

在线演示

TikTok 爬虫

主页带精确粉丝数和最新 16 条视频,视频带播放量、点赞数、分享数和收藏数,无需登录。

在线演示

Twitter(推特)爬虫

主页带粉丝数和最新 5 条帖子,帖子带精确点赞、转帖和浏览量,无需登录。

在线演示

Facebook 爬虫

公共主页带精确粉丝数和最新帖子,帖子和 Reels 带点赞、评论和分享数,无需登录。

在线演示

Google Play 爬虫

应用带精确评分和安装量、版本、价格,以及 20 条附开发者回复的评价。

您要采集的网站不在列表中?Web Unlocker 用同样的调用方式即可处理任何公开网址。 了解网页抓取 API

普通请求会漏掉四件事,而您的请求全部覆盖。

许多网站希望请求来自真实浏览器:住宅 IP、JavaScript 渲染、一致的指纹,以及页面加载失败时的重试。自己搭建这套环境,意味着要准备代理、指纹库和浏览器集群,还要随着网站变化不断维护。Web Unlocker 就是已经搭好的整套方案:一次 GET 请求,即可返回渲染完成的页面。

普通请求来自数据中心的 curl
IP 信誉数据中心 IP 段
JavaScript不会执行
指纹无
重试无
403页面未加载
Web Unlocker同一个 URL,一次 GET 请求
住宅 IP美国,纽约
真实浏览器页面完整渲染
一致的指纹整个会话保持一致
自动处理重试由我们这边完成
200渲染后的页面,412 KB

每次请求都返回渲染完成的页面, 否则免费。

网页抓取常见问题

什么是网页抓取?

网页抓取是指用程序代替人工,从网站上收集数据。抓取程序会加载页面,读取所需的字段,例如价格、标题或评分,并以 JSON 或 CSV 等结构化格式保存。价格监控、市场调研和 SEO 跟踪都离不开它。

网页抓取合法吗?

抓取价格、标题、评分等公开数据,在大多数司法辖区通常是合法的,因为事实本身不受版权保护。请查看目标网站的条款以及适用于您的数据保护规定,涉及个人数据时尤其要注意。Web Unlocker 面向公开页面,而非需要登录的账号数据。

我该用 Web Unlocker 还是 Cloud Browser?

需要获取页面,用 Web Unlocker:发送 URL,拿回真实 HTML,页面送达后才付费。需要保持会话,用 Cloud Browser:登录、逐步点击操作,明天还能以同一访客身份回来。Web Unlocker 按成功获取的页面计费,Cloud Browser 按小时计费。

使用 Web Unlocker 还需要代理吗?

不需要。Web Unlocker 会在 195+ 个地区轮换住宅 IP,请求失败时换用新的 IP 重试。只有当您运行自己的抓取程序、并自行处理浏览器部分时,才需要 Gologin 代理。

没有列出的网站可以抓取吗?

可以。上面的抓取工具各有独立页面,是因为这些网站有值得单独说明的特点,比如 Walmart 每家门店的定价都不同。Web Unlocker 用同一个 API 调用即可处理任何公开 URL。

获取 API 密钥和免费请求额度

简单介绍一下您的团队,即可获得:

  • 一个工作日内发放 API 密钥
  • 针对您自己的目标网站提供免费请求
G2 评分 4.7 / 5来自 79 条评价

无需绑定银行卡,可随时取消。我们会在一个工作日内回复您。