网页抓取是将网页中的特定数据自动提取为表格或数据库等结构化格式的过程。程序加载页面,找到商品标题、价格和库存状态等元素,并将其保存下来。在定价中,它能以人工检查无法企及的规模采集公开的竞争对手价格。
从页面到表格
网页是为人阅读而构建的,事实信息周围环绕着版式、图片和导航。抓取则把这些剥离掉。程序请求页面,读取其底层标记,定位被要求查找的字段,并将其写成干净的数值:名称、数字、币种、日期和时间。
- 获取:请求页面,有时还要运行脚本,以便后加载的价格也能显示出来。
- 解析:读取页面结构,根据位置、标签或嵌入的商品数据定位字段。
- 提取:取出数值并进行转换,例如将带有货币符号的价格转为数字。
- 存储:将每个数值连同来源页面和采集时间一起保存。
抓取、爬取与 API
抓取常与爬取相混淆。爬虫通过跟随网站上的链接来发现页面;抓取工具则从已知页面中提取数据。许多项目两者兼用:用爬取找到商品页面,再用抓取读取它们。
API 则是另一条完全不同的途径。当某个网站或平台为其数据提供官方接口时,该接口通常更稳定,且明确获得许可。抓取一般用于相关数据没有合适 API 的情况。
许多商品页面还在其标记中包含面向搜索引擎的结构化商品数据。它通常以统一的格式列出名称、品牌、价格、币种和库存情况。只要存在且准确,读取它比读取可见版式更容易、更可靠,不过它可能滞后于页面上实际显示的价格。
定价团队为何依赖它
竞争对手的价格经常变动,涵盖几家对手店铺、数千件商品的目录,很快就会多到无法手动检查。自动化采集使定期比较成为可能,进而为价格指数、提醒和调价决策提供支持。
举例来说,假设一家自行车配件店在五个竞争对手中跟踪 600 件商品,希望每天获取两次价格。这就是每天 6,000 次页面读取。即使每次检查只需 20 秒,手动完成每天也要 33 个多小时。自动化把它变成了一项后台任务,而诸如 价格跟踪 这样的服务则为商家把这种采集打包成现成方案。
负责任地抓取的规则
- 阅读并遵守网站的服务条款,其中可能限制自动化访问。
- 检查 robots 规则文件,网站所有者会在其中说明自动化程序应避开哪些路径。
- 限制请求频率,并将请求分散在不同时间,以免拖慢真实访客的访问速度。
- 如实标识您的程序,而不是伪装自动化流量。
- 只采集所需的公开数据,避开需要登录的页面。
- 除非有明确的合法依据,否则避免采集个人数据,因为隐私法规适用于这类数据。
这些习惯不仅是礼貌,还能降低技术和法律风险。
合法性因情况而异
抓取是否合法,取决于国家、数据类型、访问方式以及之后如何使用数据。可能涉及合同条款、计算机滥用法律、数据库权利、版权和数据保护规定等方面的问题。公开价格通常与个人信息或受版权保护的内容区别看待,但并不存在全球统一的答案。任何计划开展抓取项目的人,都应向熟悉相关市场的法律专业人士咨询。
数据质量陷阱
- 版式变化在不知不觉中破坏提取,导致某个字段返回空值或错误数值
- 价格因地区、币种、登录状态或所选变体而不同
- 采集到促销价却没有原价,或者相反
- 将套装或多件装的价格与单件商品进行比较
- 缺货页面仍然显示价格
好的抓取工具会校验采集到的数据。价格突然下跌 90%,更可能是提取错误而不是真实变动,应在有人据此行动之前将其标记出来。为每个数值保留时间戳和来源,才能进行此类检查。
匹配是质量的另一半。即使抓取工具完美读取了价格,如果该页面属于略有不同的商品(例如更新的型号、不同的尺码或翻新机),仍可能产生误导。在可行时比对型号或条形码等标识符,并人工复核不确定的匹配,才能保证比较公平。
稳妥起步
首先列出清晰的商品和竞争对手清单,准确定义哪些字段重要,并约定多久需要刷新一次。许多商品并不需要每小时检查。一个规模适中、经过充分校验的数据集,比一个庞大而杂乱的数据集更有用,而且给别人的网站带来的负载也小得多。
从第一天起就规划好维护工作。网站会更改版式、增加新的防护措施并移动商品页面,因此提取规则需要定期检查。监控每天返回有效价格的页面所占的比例,是一项简单的健康指标:某个网站的这一比例突然下降,通常意味着其版式发生了变化,规则需要更新。
要点总结
- 网页抓取自动从网页中提取特定数据,形成结构化记录。
- 它让定价团队能以人工检查无法达到的规模比较竞争对手价格。
- 遵守服务条款、robots 规则和频率限制,并避免采集个人数据。
- 合法性因国家和用途而异,因此开始之前请征求法律意见。
- 校验抓取到的数值并保留时间戳,以便在做出决策之前发现错误。
常见问题
网页抓取合法吗?
这取决于司法管辖区、数据类型以及采集和使用方式。公开的价格数据通常与个人信息或受版权保护的内容区别对待。请遵守网站条款,并就您的具体情况征求法律意见。
网页抓取和网站爬取有什么区别?
爬取通过跟随链接来发现页面,而抓取则从页面中提取特定数据。价格监控系统通常先爬取以找到商品页面,再逐一抓取每个页面的价格和库存状态。
竞争对手价格应该多久抓取一次?
按决策所需的频率进行。变化快的品类可能值得每天检查多次,而价格稳定的商品可以每天或每周检查一次。较低的频率还能减轻被读取网站的负载。
相关术语
在 BlackAha 中, Store Platform Integration 可帮助您连接店铺,自动同步商品价格。