การรวบรวมข้อมูลเว็บไซต์ (Site Crawl)

การรวบรวมข้อมูลเว็บไซต์ (Site Crawl) คือการไล่สำรวจเว็บไซต์แบบอัตโนมัติ โดยโปรแกรมที่เรียกว่าครอว์เลอร์หรือสไปเดอร์จะเริ่มจากหน้าหนึ่งหรือหลายหน้า แล้วติดตามลิงก์เพื่อค้นพบหน้าที่เหลือ พร้อมทำรายการหน้าที่พบและรายละเอียด เช่น รหัสสถานะ ชื่อหน้า และลิงก์ เครื่องมือค้นหา การตรวจสอบ SEO และการสำรวจราคาล้วนอาศัยกระบวนการนี้

ครอว์เลอร์เคลื่อนที่ผ่านเว็บไซต์อย่างไร

การรวบรวมข้อมูลเริ่มต้นจากที่อยู่ตั้งต้น ซึ่งมักเป็นหน้าแรกหรือแผนผังเว็บไซต์ ครอว์เลอร์ร้องขอหน้าเว็บ บันทึกสิ่งที่ได้รับกลับมา รวบรวมทุกลิงก์ในหน้านั้น และเพิ่มที่อยู่ใหม่ลงในคิว จากนั้นจึงนำที่อยู่ถัดไปจากคิวมาทำซ้ำ โดยข้ามหน้าที่เคยเห็นแล้ว กระบวนการดำเนินต่อไปจนกว่าคิวจะว่างหรือถึงขีดจำกัด

  • ที่อยู่ตั้งต้น: ที่อยู่เริ่มต้น ซึ่งมักเสริมด้วยแผนผังเว็บไซต์แบบ XML
  • คิว: รายการที่อยู่ที่ค้นพบแล้วแต่ยังรอการเข้าชม
  • กฎขอบเขต: โดเมน โฟลเดอร์ หรือประเภทหน้าที่การรวบรวมข้อมูลเข้าไปได้
  • ขีดจำกัด: ความลึกสูงสุด จำนวนหน้า และอัตราการร้องขอ

ลำดับของคิวกำหนดผลลัพธ์ การรวบรวมข้อมูลแบบกว้างก่อน (breadth-first) จะเข้าชมทุกหน้าที่ห่างจากจุดเริ่มต้นหนึ่งคลิกก่อนลงลึกไป ซึ่งช่วยวางแผนผังส่วนหลักได้อย่างรวดเร็ว การรวบรวมข้อมูลแบบลึกก่อน (depth-first) จะไล่ตามสาขาหนึ่งจนสุดก่อนย้อนกลับ สำหรับร้านค้า มักนิยมแบบกว้างก่อน เพราะหน้าหมวดหมู่และหน้ารายการสินค้าที่อยู่ใกล้ด้านบนนำไปสู่สินค้าได้อย่างมีประสิทธิภาพ

การรวบรวมข้อมูลเทียบกับการดึงข้อมูล

การรวบรวมข้อมูลเกี่ยวกับการค้นพบและโครงสร้าง ส่วนการดึงข้อมูลเกี่ยวกับการแยกค่าที่เจาะจงออกมา ครอว์เลอร์ตอบคำถามว่ามีหน้าใดบ้างและเชื่อมโยงกันอย่างไร ส่วนสเครเปอร์ตอบว่าหน้านั้นๆ ระบุอะไร เช่น ราคา ในโครงการติดตามราคาคู่แข่ง การรวบรวมข้อมูลจะค้นหาหน้าสินค้าในหมวดหมู่ของคู่แข่ง แล้วสเครเปอร์จึงอ่านราคาจากแต่ละหน้าที่พบ

สองขั้นตอนนี้ยังทำงานตามกำหนดเวลาที่ต่างกัน รายการสินค้าเปลี่ยนช้ากว่าราคา ทีมจึงอาจรวบรวมข้อมูลหมวดหมู่ของคู่แข่งสัปดาห์ละครั้งเพื่ออัปเดตรายการหน้า ขณะที่อ่านราคาจากหน้าที่รู้จักแล้วทุกวัน การแยกงานกันช่วยให้งานที่ทำบ่อยเบาลงและไม่ต้องค้นพบหน้าเดิมซ้ำแล้วซ้ำเล่า

การใช้งานด้าน SEO และความสมบูรณ์ของเว็บไซต์

เจ้าของเว็บไซต์รวบรวมข้อมูลร้านค้าของตัวเองเพื่อมองเห็นแบบเดียวกับที่เครื่องมือค้นหามองเห็น การรวบรวมข้อมูลเผยให้เห็นลิงก์เสีย การเปลี่ยนเส้นทางต่อกันหลายทอด ชื่อหน้าซ้ำ คำอธิบายที่ขาดหาย หน้าที่ถูกทิ้งไว้โดยไม่มีลิงก์ภายในชี้มา และหน้าที่ถูกบล็อกไม่ให้จัดทำดัชนีโดยไม่ตั้งใจ

สำหรับร้านค้าออนไลน์ ผลการรวบรวมข้อมูลมักแสดงหน้าสินค้าที่เข้าถึงได้ยาก หากสินค้าอยู่ห่างจากหน้าแรกห้าหรือหกคลิก หรือปรากฏผ่านตัวกรองเท่านั้น เครื่องมือค้นหาอาจเข้าชมน้อยครั้ง การแก้ไขลิงก์ภายในช่วยให้หน้าเหล่านั้นกลับมาเป็นที่มองเห็นได้

การรวบรวมข้อมูลยังเป็นการตรวจสอบที่มีประโยชน์หลังการย้ายแพลตฟอร์มหรือการนำเข้าแคตตาล็อกขนาดใหญ่ การเปรียบเทียบรายการหน้าก่อนและหลังแสดงให้เห็นว่าที่อยู่เดิมใดตอนนี้แสดงข้อผิดพลาดและต้องตั้งค่าการเปลี่ยนเส้นทาง ซึ่งช่วยปกป้องทั้งการมองเห็นในการค้นหาและลูกค้าที่เข้ามาจากลิงก์ที่บันทึกไว้หรือเว็บไซต์เปรียบเทียบราคา

การใช้งานในการสำรวจราคาและกลุ่มสินค้า

การรวบรวมข้อมูลหน้าหมวดหมู่สาธารณะของคู่แข่งแสดงให้เห็นว่าคู่แข่งขายอะไร ไม่ใช่แค่ตั้งราคาเท่าใด การเปรียบเทียบสินค้าที่ค้นพบกับแคตตาล็อกของคุณเองอาจเผยให้เห็นช่องว่าง คือสินค้าที่คู่แข่งมีแต่คุณไม่มี ฟีเจอร์ ตัวค้นหาช่องว่างสินค้า ของ BlackAha ถูกสร้างขึ้นมาสำหรับการเปรียบเทียบลักษณะนี้

การค้นพบยังช่วยให้การเปรียบเทียบราคาเป็นปัจจุบันอยู่เสมอ คู่แข่งเพิ่มสินค้าใหม่ เลิกขายสินค้าเก่า และเปลี่ยนที่อยู่หน้าเว็บ การรวบรวมข้อมูลส่วนที่เกี่ยวข้องเป็นระยะช่วยอัปเดตรายการหน้าที่ต้องเฝ้าดู เพื่อไม่ให้การตรวจราคาอ่านหน้าที่ถูกลบไปแล้วหรือพลาดหน้าใหม่

การประเมินขนาดการรวบรวมข้อมูล: ตัวอย่าง

สมมติเป็นตัวอย่างว่าร้านค้าปลีกอุปกรณ์ทำสวนแห่งหนึ่งต้องการทำแผนผังหมวดเฟอร์นิเจอร์กลางแจ้งของคู่แข่ง หมวดนี้มีหน้ารายการ 12 หน้า หน้าละ 40 สินค้า จึงมีหน้าสินค้าประมาณ 480 หน้า บวกกับหน้ารายการเอง ที่อัตราการร้องขออย่างสุภาพคือหนึ่งครั้งทุกสองวินาที การไล่ครบหนึ่งรอบใช้เวลาราว 16 นาที การรวบรวมข้อมูลทั้งร้าน ซึ่งอาจมี 30,000 หน้า ในอัตราเดียวกันจะใช้เวลามากกว่า 16 ชั่วโมง ซึ่งแสดงให้เห็นว่าทำไมกฎขอบเขตจึงสำคัญ

การจำกัดขอบเขตช่วยประหยัดเวลาทั้งสองฝ่าย การรวบรวมข้อมูลที่จำกัดเฉพาะหมวดที่คุณแข่งขันอยู่จริงให้ผลลัพธ์ที่เร็วและสะอาดกว่า และสร้างภาระให้เว็บไซต์ที่ถูกอ่านน้อยลง

รวบรวมข้อมูลอย่างรับผิดชอบ

  • เคารพไฟล์กฎ robots และข้อกำหนดการใช้บริการของเว็บไซต์
  • รักษาอัตราการร้องขอให้ต่ำ และหลีกเลี่ยงช่วงที่มีผู้ใช้หนาแน่นหากทำได้
  • ไม่เข้าไปในพื้นที่ที่ต้องเข้าสู่ระบบ ตะกร้าสินค้า และหน้าบัญชีผู้ใช้
  • ระบุตัวตนของครอว์เลอร์อย่างตรงไปตรงมา แทนการปลอมตัวเป็นผู้ใช้เบราว์เซอร์
  • หยุดหรือชะลอลงหากเว็บไซต์เริ่มแสดงข้อผิดพลาด

กฎเกี่ยวกับการเข้าถึงแบบอัตโนมัติแตกต่างกันไปในแต่ละประเทศ และขึ้นอยู่กับวิธีใช้ข้อมูลที่เก็บมา เมื่อรวบรวมข้อมูลจากเว็บไซต์ที่คุณไม่ได้เป็นเจ้าของ ควรขอคำปรึกษาทางกฎหมายสำหรับแผนงานเฉพาะของคุณ

ปัญหาที่พบบ่อยในการรวบรวมข้อมูล

  • พื้นที่ไม่สิ้นสุด เช่น ปฏิทินหรือชุดตัวกรองที่สร้างที่อยู่ใหม่ได้ไม่รู้จบ
  • หน้าซ้ำที่เข้าถึงผ่านพารามิเตอร์การติดตามหรือตัวเลือกการเรียงลำดับ
  • เนื้อหาที่ปรากฏหลังสคริปต์ทำงานเท่านั้น ซึ่งครอว์เลอร์แบบง่ายมองไม่เห็น
  • หน้าที่แสดงผลต่างกันตามภูมิภาค ภาษา หรือสกุลเงิน
  • การรวบรวมข้อมูลที่ใช้เวลานานจนหน้าแรกๆ ล้าสมัยไปแล้วเมื่อหน้าสุดท้ายเสร็จ

การปรับที่อยู่ให้เป็นมาตรฐาน การตัดพารามิเตอร์ที่ไม่จำเป็นออก และการกำหนดขีดจำกัดจำนวนหน้าที่ชัดเจน แก้ปัญหาเหล่านี้ได้เกือบทั้งหมด สำหรับงานด้านราคา การบันทึกวันที่รวบรวมข้อมูลไว้ในแต่ละหน้าที่ค้นพบก็ช่วยได้เช่นกัน เพื่อให้ตรวจรายการที่ล้าสมัยก่อน

สุดท้าย ให้ตรวจผลลัพธ์ว่ามีช่องโหว่หรือไม่ หากหมวดที่ควรมีสินค้าหลายร้อยรายการแสดงผลเพียงไม่กี่รายการ ครอว์เลอร์อาจพลาดรูปแบบการแบ่งหน้าหรือรายการที่โหลดด้วยสคริปต์ และต้องปรับกฎขอบเขตก่อนนำข้อมูลไปใช้

ประเด็นสำคัญ

  • การรวบรวมข้อมูลเว็บไซต์ติดตามลิงก์โดยอัตโนมัติเพื่อค้นพบหน้าต่างๆ ของเว็บไซต์
  • การรวบรวมข้อมูลใช้ค้นหาหน้า ส่วนการดึงข้อมูลใช้อ่านค่าที่เจาะจง เช่น ราคา จากหน้าเหล่านั้น
  • เจ้าของร้านค้ารวบรวมข้อมูลเว็บไซต์ของตัวเองเพื่อหาลิงก์เสียและสินค้าที่เข้าถึงยาก
  • การรวบรวมข้อมูลหมวดของคู่แข่งเผยให้เห็นช่องว่างของกลุ่มสินค้าและช่วยให้การเปรียบเทียบราคาเป็นปัจจุบัน
  • ขอบเขตที่แคบ อัตราการร้องขอที่ต่ำ และการเคารพกฎของเว็บไซต์ ทำให้การรวบรวมข้อมูลเร็วขึ้นและเป็นธรรมขึ้น

คำถามที่พบบ่อย

การรวบรวมข้อมูลเว็บไซต์กับการจัดทำดัชนีต่างกันอย่างไร

การรวบรวมข้อมูลคือขั้นตอนการค้นพบ ซึ่งเข้าชมหน้าต่างๆ และติดตามลิงก์ การจัดทำดัชนีเป็นขั้นตอนถัดมา ซึ่งเครื่องมือค้นหาจัดเก็บและจัดระเบียบเนื้อหาของหน้าเพื่อให้ปรากฏในผลการค้นหาได้ หน้าหนึ่งอาจถูกรวบรวมข้อมูลแล้วแต่ยังไม่ถูกจัดทำดัชนีก็ได้

ควรรวบรวมข้อมูลร้านค้าของตัวเองบ่อยแค่ไหน

ร้านค้าจำนวนมากรวบรวมข้อมูลทั้งเว็บไซต์เดือนละครั้ง และตรวจแบบเบาๆ หลังการเปลี่ยนแปลงครั้งใหญ่ เช่น การอัปเดตธีมหรือการนำเข้าแคตตาล็อก ร้านค้าขนาดใหญ่ที่เปลี่ยนแปลงทุกวันอาจรวบรวมข้อมูลส่วนสำคัญบ่อยกว่านั้น

แผนผังเว็บไซต์ (sitemap) ใช้แทนการรวบรวมข้อมูลได้หรือไม่

ไม่ได้ แต่ช่วยได้ แผนผังเว็บไซต์แสดงรายการหน้าที่เจ้าของต้องการให้ถูกค้นพบ ซึ่งช่วยให้ค้นพบได้เร็วขึ้น การรวบรวมข้อมูลยังคงแสดงให้เห็นว่าหน้าต่างๆ เชื่อมโยงกันอย่างไร และค้นพบหน้าที่ไม่มีอยู่ในแผนผังเว็บไซต์

คำที่เกี่ยวข้อง

ใน BlackAha Store Platform Integration ช่วยให้คุณเชื่อมต่อร้านค้าเพื่อซิงค์ราคาสินค้าโดยอัตโนมัติ

กลับไปที่พจนานุกรมราคา