网站爬取

网站爬取是对网站进行的自动遍历:一个被称为爬虫(crawler 或 spider)的程序从一个或多个页面出发,跟随链接发现其余页面,并列出所找到的页面及状态码、标题和链接等详细信息。搜索引擎、SEO 审核和价格调研都依赖于它。

爬虫如何在网站中移动

爬取从种子地址开始,通常是首页或站点地图。爬虫请求一个页面,记录其返回内容,收集页面上的每个链接,并将新地址加入队列。然后从队列中取出下一个地址重复这一过程,跳过已访问过的页面。这个过程会一直持续,直到队列为空或达到某个限制。

  • 种子:起始地址,通常辅以 XML 站点地图。
  • 队列:已发现但仍在等待访问的地址列表。
  • 范围规则:爬取可以进入哪些域名、文件夹或页面类型。
  • 限制:最大深度、页面数量和请求频率。

队列的顺序决定了结果。广度优先爬取会先访问离起点一次点击的所有页面,再向深处推进,能迅速勾勒出主要板块。深度优先爬取则沿一个分支走到底再回溯。对于网店,通常首选广度优先,因为靠近顶层的分类和列表页面能高效地通往商品。

爬取与抓取的比较

爬取关注的是发现和结构;抓取关注的是提取特定数值。爬虫回答的是有哪些页面存在以及它们如何连接;抓取工具回答的是某个页面上写了什么,例如它的价格。在竞争对手价格项目中,爬取负责找出对手某个分类中的商品页面,抓取工具随后从找到的每个页面读取价格。

这两个步骤的运行频率也不同。商品列表的变化比价格慢,因此团队可能每周爬取一次竞争对手的分类以刷新页面列表,而每天从这些已知页面读取价格。将两项工作分开,能让高频任务保持轻量,并避免一遍又一遍地重新发现同样的页面。

在 SEO 和网站健康方面的用途

网站所有者会爬取自己的店铺,以搜索引擎的视角来审视它。爬取能揭示失效链接、重定向链、重复标题、缺失描述、没有任何内部链接指向的孤立页面,以及被误屏蔽索引的页面。

对于网店,爬取结果常常显示一些难以到达的商品页面。如果某件商品距离首页有五六次点击,或者只能通过筛选条件出现,搜索引擎可能很少访问它。修复内部链接可以让这些页面重新进入视野。

在平台迁移或大规模商品目录导入之后,爬取也是一项有用的检查。比较前后的页面列表,可以看出哪些旧地址现在返回错误、需要重定向,从而同时保护搜索曝光和从收藏链接或比价网站进入的顾客。

在价格和品类调研中的用途

爬取竞争对手公开的分类页面,不仅能看到他们的定价,还能看到他们卖什么。将发现的商品与您自己的商品目录比较,可以揭示品类空白,即他们有而您没有的商品。BlackAha 的 商品缺口查找工具 正是围绕这种比较而打造的。

发现过程还能让价格比较保持最新。竞争对手会上架新品、下架旧品并更改页面地址。定期爬取相关板块可以更新需要关注的页面列表,这样价格检查就不会一直读取已删除的页面,也不会漏掉新页面。

估算爬取规模:示例

举例来说,假设一家园艺用品零售商想梳理竞争对手的户外家具板块。该板块有 12 个列表页面,每页 40 件商品,因此约有 480 个商品页面,外加列表页面本身。以每两秒一次请求的礼貌频率,完整遍历一次大约需要 16 分钟。以同样的频率爬取整个店铺(可能有 30,000 个页面)将需要 16 个多小时,这说明了范围规则的重要性。

缩小范围对双方都节省时间。仅限于您真正参与竞争的板块的爬取,结果更快、更干净,对被读取网站造成的负载也更小。

负责任地爬取

  • 遵守 robots 规则文件和网站的服务条款。
  • 保持较低的请求频率,并尽量避开繁忙时段。
  • 不要进入需要登录的区域、购物车和账户页面。
  • 如实标识爬虫身份,而不是伪装成浏览器用户。
  • 如果网站开始返回错误,就停止或放慢速度。

有关自动化访问的规定因国家而异,也取决于所采集数据的用途。爬取不属于您的网站时,最好就您的具体计划征求法律意见。

常见的爬取问题

  • 无限空间,例如会生成无穷新地址的日历或筛选组合
  • 通过跟踪参数或排序选项到达的重复页面
  • 只有在脚本运行后才出现的内容,简单的爬虫会漏掉
  • 因地区、语言或币种而显示不同的页面
  • 爬取耗时过长,以至于最后一批页面完成时,最早的页面已经过时

规范化地址、去除不必要的参数并设定严格的页面上限,可以解决其中大部分问题。对于价格工作,在每个发现的页面上记录爬取日期也很有帮助,这样可以优先重新检查过时的条目。

最后,检查输出结果是否有缺口。如果一个本应包含数百件商品的板块只返回了寥寥几件,爬虫很可能漏掉了某种分页模式或由脚本加载的列表,需要在使用数据之前调整范围规则。

要点总结

  • 网站爬取通过自动跟随链接来发现网站的页面。
  • 爬取负责找到页面;抓取负责从页面中读取价格等特定数值。
  • 店主爬取自己的网站,以发现失效链接和难以到达的商品。
  • 爬取竞争对手的板块可以揭示品类空白,并让价格比较保持最新。
  • 严格的范围、较低的请求频率以及遵守网站规则,能让爬取更快、更公平。

常见问题

网站爬取和索引有什么区别?

爬取是发现环节,访问页面并跟随链接。索引是后续环节,搜索引擎存储并整理页面内容,使其能出现在搜索结果中。一个页面可能被爬取了,却仍未被索引。

应该多久爬取一次自己的店铺?

许多店铺每月进行一次全面爬取,并在重大改动(例如主题更新或商品目录导入)后进行一次较轻量的检查。每天都有变化的大型店铺,可能会更频繁地爬取重点板块。

站点地图能取代爬取吗?

不能,但它有帮助。站点地图列出了所有者希望被发现的页面,可以加快发现速度。爬取仍能显示页面之间如何相互链接,并找出站点地图中遗漏的页面。

相关术语

在 BlackAha 中, Store Platform Integration 可帮助您连接店铺,自动同步商品价格。

返回定价词典