การรวบรวมข้อมูลเว็บไซต์ (Site Crawl) คือการไล่สำรวจเว็บไซต์แบบอัตโนมัติ โดยโปรแกรมที่เรียกว่าครอว์เลอร์หรือสไปเดอร์จะเริ่มจากหน้าหนึ่งหรือหลายหน้า แล้วติดตามลิงก์เพื่อค้นพบหน้าที่เหลือ พร้อมทำรายการหน้าที่พบและรายละเอียด เช่น รหัสสถานะ ชื่อหน้า และลิงก์ เครื่องมือค้นหา การตรวจสอบ SEO และการสำรวจราคาล้วนอาศัยกระบวนการนี้
ครอว์เลอร์เคลื่อนที่ผ่านเว็บไซต์อย่างไร
การรวบรวมข้อมูลเริ่มต้นจากที่อยู่ตั้งต้น ซึ่งมักเป็นหน้าแรกหรือแผนผังเว็บไซต์ ครอว์เลอร์ร้องขอหน้าเว็บ บันทึกสิ่งที่ได้รับกลับมา รวบรวมทุกลิงก์ในหน้านั้น และเพิ่มที่อยู่ใหม่ลงในคิว จากนั้นจึงนำที่อยู่ถัดไปจากคิวมาทำซ้ำ โดยข้ามหน้าที่เคยเห็นแล้ว กระบวนการดำเนินต่อไปจนกว่าคิวจะว่างหรือถึงขีดจำกัด
- ที่อยู่ตั้งต้น: ที่อยู่เริ่มต้น ซึ่งมักเสริมด้วยแผนผังเว็บไซต์แบบ XML
- คิว: รายการที่อยู่ที่ค้นพบแล้วแต่ยังรอการเข้าชม
- กฎขอบเขต: โดเมน โฟลเดอร์ หรือประเภทหน้าที่การรวบรวมข้อมูลเข้าไปได้
- ขีดจำกัด: ความลึกสูงสุด จำนวนหน้า และอัตราการร้องขอ
ลำดับของคิวกำหนดผลลัพธ์ การรวบรวมข้อมูลแบบกว้างก่อน (breadth-first) จะเข้าชมทุกหน้าที่ห่างจากจุดเริ่มต้นหนึ่งคลิกก่อนลงลึกไป ซึ่งช่วยวางแผนผังส่วนหลักได้อย่างรวดเร็ว การรวบรวมข้อมูลแบบลึกก่อน (depth-first) จะไล่ตามสาขาหนึ่งจนสุดก่อนย้อนกลับ สำหรับร้านค้า มักนิยมแบบกว้างก่อน เพราะหน้าหมวดหมู่และหน้ารายการสินค้าที่อยู่ใกล้ด้านบนนำไปสู่สินค้าได้อย่างมีประสิทธิภาพ
การรวบรวมข้อมูลเทียบกับการดึงข้อมูล
การรวบรวมข้อมูลเกี่ยวกับการค้นพบและโครงสร้าง ส่วนการดึงข้อมูลเกี่ยวกับการแยกค่าที่เจาะจงออกมา ครอว์เลอร์ตอบคำถามว่ามีหน้าใดบ้างและเชื่อมโยงกันอย่างไร ส่วนสเครเปอร์ตอบว่าหน้านั้นๆ ระบุอะไร เช่น ราคา ในโครงการติดตามราคาคู่แข่ง การรวบรวมข้อมูลจะค้นหาหน้าสินค้าในหมวดหมู่ของคู่แข่ง แล้วสเครเปอร์จึงอ่านราคาจากแต่ละหน้าที่พบ
สองขั้นตอนนี้ยังทำงานตามกำหนดเวลาที่ต่างกัน รายการสินค้าเปลี่ยนช้ากว่าราคา ทีมจึงอาจรวบรวมข้อมูลหมวดหมู่ของคู่แข่งสัปดาห์ละครั้งเพื่ออัปเดตรายการหน้า ขณะที่อ่านราคาจากหน้าที่รู้จักแล้วทุกวัน การแยกงานกันช่วยให้งานที่ทำบ่อยเบาลงและไม่ต้องค้นพบหน้าเดิมซ้ำแล้วซ้ำเล่า
การใช้งานด้าน SEO และความสมบูรณ์ของเว็บไซต์
เจ้าของเว็บไซต์รวบรวมข้อมูลร้านค้าของตัวเองเพื่อมองเห็นแบบเดียวกับที่เครื่องมือค้นหามองเห็น การรวบรวมข้อมูลเผยให้เห็นลิงก์เสีย การเปลี่ยนเส้นทางต่อกันหลายทอด ชื่อหน้าซ้ำ คำอธิบายที่ขาดหาย หน้าที่ถูกทิ้งไว้โดยไม่มีลิงก์ภายในชี้มา และหน้าที่ถูกบล็อกไม่ให้จัดทำดัชนีโดยไม่ตั้งใจ
สำหรับร้านค้าออนไลน์ ผลการรวบรวมข้อมูลมักแสดงหน้าสินค้าที่เข้าถึงได้ยาก หากสินค้าอยู่ห่างจากหน้าแรกห้าหรือหกคลิก หรือปรากฏผ่านตัวกรองเท่านั้น เครื่องมือค้นหาอาจเข้าชมน้อยครั้ง การแก้ไขลิงก์ภายในช่วยให้หน้าเหล่านั้นกลับมาเป็นที่มองเห็นได้
การรวบรวมข้อมูลยังเป็นการตรวจสอบที่มีประโยชน์หลังการย้ายแพลตฟอร์มหรือการนำเข้าแคตตาล็อกขนาดใหญ่ การเปรียบเทียบรายการหน้าก่อนและหลังแสดงให้เห็นว่าที่อยู่เดิมใดตอนนี้แสดงข้อผิดพลาดและต้องตั้งค่าการเปลี่ยนเส้นทาง ซึ่งช่วยปกป้องทั้งการมองเห็นในการค้นหาและลูกค้าที่เข้ามาจากลิงก์ที่บันทึกไว้หรือเว็บไซต์เปรียบเทียบราคา
การใช้งานในการสำรวจราคาและกลุ่มสินค้า
การรวบรวมข้อมูลหน้าหมวดหมู่สาธารณะของคู่แข่งแสดงให้เห็นว่าคู่แข่งขายอะไร ไม่ใช่แค่ตั้งราคาเท่าใด การเปรียบเทียบสินค้าที่ค้นพบกับแคตตาล็อกของคุณเองอาจเผยให้เห็นช่องว่าง คือสินค้าที่คู่แข่งมีแต่คุณไม่มี ฟีเจอร์ ตัวค้นหาช่องว่างสินค้า ของ BlackAha ถูกสร้างขึ้นมาสำหรับการเปรียบเทียบลักษณะนี้
การค้นพบยังช่วยให้การเปรียบเทียบราคาเป็นปัจจุบันอยู่เสมอ คู่แข่งเพิ่มสินค้าใหม่ เลิกขายสินค้าเก่า และเปลี่ยนที่อยู่หน้าเว็บ การรวบรวมข้อมูลส่วนที่เกี่ยวข้องเป็นระยะช่วยอัปเดตรายการหน้าที่ต้องเฝ้าดู เพื่อไม่ให้การตรวจราคาอ่านหน้าที่ถูกลบไปแล้วหรือพลาดหน้าใหม่
การประเมินขนาดการรวบรวมข้อมูล: ตัวอย่าง
สมมติเป็นตัวอย่างว่าร้านค้าปลีกอุปกรณ์ทำสวนแห่งหนึ่งต้องการทำแผนผังหมวดเฟอร์นิเจอร์กลางแจ้งของคู่แข่ง หมวดนี้มีหน้ารายการ 12 หน้า หน้าละ 40 สินค้า จึงมีหน้าสินค้าประมาณ 480 หน้า บวกกับหน้ารายการเอง ที่อัตราการร้องขออย่างสุภาพคือหนึ่งครั้งทุกสองวินาที การไล่ครบหนึ่งรอบใช้เวลาราว 16 นาที การรวบรวมข้อมูลทั้งร้าน ซึ่งอาจมี 30,000 หน้า ในอัตราเดียวกันจะใช้เวลามากกว่า 16 ชั่วโมง ซึ่งแสดงให้เห็นว่าทำไมกฎขอบเขตจึงสำคัญ
การจำกัดขอบเขตช่วยประหยัดเวลาทั้งสองฝ่าย การรวบรวมข้อมูลที่จำกัดเฉพาะหมวดที่คุณแข่งขันอยู่จริงให้ผลลัพธ์ที่เร็วและสะอาดกว่า และสร้างภาระให้เว็บไซต์ที่ถูกอ่านน้อยลง
รวบรวมข้อมูลอย่างรับผิดชอบ
- เคารพไฟล์กฎ robots และข้อกำหนดการใช้บริการของเว็บไซต์
- รักษาอัตราการร้องขอให้ต่ำ และหลีกเลี่ยงช่วงที่มีผู้ใช้หนาแน่นหากทำได้
- ไม่เข้าไปในพื้นที่ที่ต้องเข้าสู่ระบบ ตะกร้าสินค้า และหน้าบัญชีผู้ใช้
- ระบุตัวตนของครอว์เลอร์อย่างตรงไปตรงมา แทนการปลอมตัวเป็นผู้ใช้เบราว์เซอร์
- หยุดหรือชะลอลงหากเว็บไซต์เริ่มแสดงข้อผิดพลาด
กฎเกี่ยวกับการเข้าถึงแบบอัตโนมัติแตกต่างกันไปในแต่ละประเทศ และขึ้นอยู่กับวิธีใช้ข้อมูลที่เก็บมา เมื่อรวบรวมข้อมูลจากเว็บไซต์ที่คุณไม่ได้เป็นเจ้าของ ควรขอคำปรึกษาทางกฎหมายสำหรับแผนงานเฉพาะของคุณ
ปัญหาที่พบบ่อยในการรวบรวมข้อมูล
- พื้นที่ไม่สิ้นสุด เช่น ปฏิทินหรือชุดตัวกรองที่สร้างที่อยู่ใหม่ได้ไม่รู้จบ
- หน้าซ้ำที่เข้าถึงผ่านพารามิเตอร์การติดตามหรือตัวเลือกการเรียงลำดับ
- เนื้อหาที่ปรากฏหลังสคริปต์ทำงานเท่านั้น ซึ่งครอว์เลอร์แบบง่ายมองไม่เห็น
- หน้าที่แสดงผลต่างกันตามภูมิภาค ภาษา หรือสกุลเงิน
- การรวบรวมข้อมูลที่ใช้เวลานานจนหน้าแรกๆ ล้าสมัยไปแล้วเมื่อหน้าสุดท้ายเสร็จ
การปรับที่อยู่ให้เป็นมาตรฐาน การตัดพารามิเตอร์ที่ไม่จำเป็นออก และการกำหนดขีดจำกัดจำนวนหน้าที่ชัดเจน แก้ปัญหาเหล่านี้ได้เกือบทั้งหมด สำหรับงานด้านราคา การบันทึกวันที่รวบรวมข้อมูลไว้ในแต่ละหน้าที่ค้นพบก็ช่วยได้เช่นกัน เพื่อให้ตรวจรายการที่ล้าสมัยก่อน
สุดท้าย ให้ตรวจผลลัพธ์ว่ามีช่องโหว่หรือไม่ หากหมวดที่ควรมีสินค้าหลายร้อยรายการแสดงผลเพียงไม่กี่รายการ ครอว์เลอร์อาจพลาดรูปแบบการแบ่งหน้าหรือรายการที่โหลดด้วยสคริปต์ และต้องปรับกฎขอบเขตก่อนนำข้อมูลไปใช้
ประเด็นสำคัญ
- การรวบรวมข้อมูลเว็บไซต์ติดตามลิงก์โดยอัตโนมัติเพื่อค้นพบหน้าต่างๆ ของเว็บไซต์
- การรวบรวมข้อมูลใช้ค้นหาหน้า ส่วนการดึงข้อมูลใช้อ่านค่าที่เจาะจง เช่น ราคา จากหน้าเหล่านั้น
- เจ้าของร้านค้ารวบรวมข้อมูลเว็บไซต์ของตัวเองเพื่อหาลิงก์เสียและสินค้าที่เข้าถึงยาก
- การรวบรวมข้อมูลหมวดของคู่แข่งเผยให้เห็นช่องว่างของกลุ่มสินค้าและช่วยให้การเปรียบเทียบราคาเป็นปัจจุบัน
- ขอบเขตที่แคบ อัตราการร้องขอที่ต่ำ และการเคารพกฎของเว็บไซต์ ทำให้การรวบรวมข้อมูลเร็วขึ้นและเป็นธรรมขึ้น
คำถามที่พบบ่อย
การรวบรวมข้อมูลเว็บไซต์กับการจัดทำดัชนีต่างกันอย่างไร
การรวบรวมข้อมูลคือขั้นตอนการค้นพบ ซึ่งเข้าชมหน้าต่างๆ และติดตามลิงก์ การจัดทำดัชนีเป็นขั้นตอนถัดมา ซึ่งเครื่องมือค้นหาจัดเก็บและจัดระเบียบเนื้อหาของหน้าเพื่อให้ปรากฏในผลการค้นหาได้ หน้าหนึ่งอาจถูกรวบรวมข้อมูลแล้วแต่ยังไม่ถูกจัดทำดัชนีก็ได้
ควรรวบรวมข้อมูลร้านค้าของตัวเองบ่อยแค่ไหน
ร้านค้าจำนวนมากรวบรวมข้อมูลทั้งเว็บไซต์เดือนละครั้ง และตรวจแบบเบาๆ หลังการเปลี่ยนแปลงครั้งใหญ่ เช่น การอัปเดตธีมหรือการนำเข้าแคตตาล็อก ร้านค้าขนาดใหญ่ที่เปลี่ยนแปลงทุกวันอาจรวบรวมข้อมูลส่วนสำคัญบ่อยกว่านั้น
แผนผังเว็บไซต์ (sitemap) ใช้แทนการรวบรวมข้อมูลได้หรือไม่
ไม่ได้ แต่ช่วยได้ แผนผังเว็บไซต์แสดงรายการหน้าที่เจ้าของต้องการให้ถูกค้นพบ ซึ่งช่วยให้ค้นพบได้เร็วขึ้น การรวบรวมข้อมูลยังคงแสดงให้เห็นว่าหน้าต่างๆ เชื่อมโยงกันอย่างไร และค้นพบหน้าที่ไม่มีอยู่ในแผนผังเว็บไซต์
คำที่เกี่ยวข้อง
ใน BlackAha Store Platform Integration ช่วยให้คุณเชื่อมต่อร้านค้าเพื่อซิงค์ราคาสินค้าโดยอัตโนมัติ