การดึงข้อมูลเว็บ (Web Scraping)

การดึงข้อมูลเว็บ (Web Scraping) คือการดึงข้อมูลที่เจาะจงจากหน้าเว็บแบบอัตโนมัติมาเป็นรูปแบบที่มีโครงสร้าง เช่น ตารางหรือฐานข้อมูล โปรแกรมจะโหลดหน้าเว็บ ค้นหาองค์ประกอบ เช่น ชื่อสินค้า ราคา และสถานะสต็อก แล้วบันทึกไว้ ในด้านการตั้งราคา การดึงข้อมูลเว็บเก็บราคาสาธารณะของคู่แข่งในระดับที่การตรวจด้วยมือทำไม่ได้

จากหน้าเว็บสู่ตาราง

หน้าเว็บสร้างขึ้นให้คนอ่าน โดยมีเลย์เอาต์ รูปภาพ และเมนูนำทางล้อมรอบข้อเท็จจริง การดึงข้อมูลตัดสิ่งเหล่านั้นออกไป โปรแกรมจะร้องขอหน้าเว็บ อ่านมาร์กอัปเบื้องหลัง ค้นหาฟิลด์ที่ได้รับคำสั่งให้หา แล้วเขียนออกมาเป็นค่าที่สะอาด ได้แก่ ชื่อ ตัวเลข สกุลเงิน วันที่และเวลา

  1. ดึงหน้า: ร้องขอหน้าเว็บ บางครั้งต้องรันสคริปต์เพื่อให้ราคาที่โหลดภายหลังปรากฏด้วย
  2. แยกวิเคราะห์: อ่านโครงสร้างหน้าและค้นหาฟิลด์จากตำแหน่ง ป้ายกำกับ หรือข้อมูลสินค้าที่ฝังอยู่
  3. แยกค่า: ดึงค่าออกมาและแปลงรูปแบบ เช่น เปลี่ยนราคาที่มีสัญลักษณ์สกุลเงินให้เป็นตัวเลข
  4. จัดเก็บ: บันทึกแต่ละค่าพร้อมหน้าต้นทางและเวลาที่เก็บข้อมูล

การดึงข้อมูล การรวบรวมข้อมูล และ API

การดึงข้อมูลมักถูกสับสนกับการรวบรวมข้อมูล ครอว์เลอร์ค้นพบหน้าเว็บด้วยการติดตามลิงก์ทั่วเว็บไซต์ ส่วนสเครเปอร์ดึงข้อมูลจากหน้าที่รู้จักอยู่แล้ว หลายโครงการใช้ทั้งสองอย่าง โดยรวบรวมข้อมูลเพื่อหาหน้าสินค้าและดึงข้อมูลเพื่ออ่านหน้าเหล่านั้น

API เป็นอีกเส้นทางหนึ่งโดยสิ้นเชิง เมื่อเว็บไซต์หรือแพลตฟอร์มมีอินเทอร์เฟซอย่างเป็นทางการสำหรับข้อมูลของตน อินเทอร์เฟซนั้นมักเสถียรกว่าและได้รับอนุญาตอย่างชัดเจน การดึงข้อมูลเว็บมักใช้ในกรณีที่ไม่มี API ที่เหมาะสมสำหรับข้อมูลนั้น

หน้าสินค้าจำนวนมากยังมีข้อมูลสินค้าแบบมีโครงสร้างอยู่ในมาร์กอัป ซึ่งมีไว้สำหรับเครื่องมือค้นหา โดยทั่วไปจะระบุชื่อ แบรนด์ ราคา สกุลเงิน และสถานะสินค้าในรูปแบบที่สม่ำเสมอ เมื่อมีอยู่และถูกต้อง ข้อมูลนี้อ่านได้ง่ายและน่าเชื่อถือกว่าเลย์เอาต์ที่มองเห็น แม้อาจล้าหลังราคาที่แสดงจริงอยู่บ้าง

ทำไมทีมตั้งราคาจึงพึ่งพาการดึงข้อมูลเว็บ

ราคาของคู่แข่งเปลี่ยนบ่อย และแคตตาล็อกสินค้าไม่กี่พันรายการในร้านคู่แข่งหลายร้านก็ใหญ่เกินกว่าจะตรวจด้วยมือได้อย่างรวดเร็ว การเก็บข้อมูลอัตโนมัติทำให้เปรียบเทียบได้อย่างสม่ำเสมอ ซึ่งสนับสนุนดัชนีราคา การแจ้งเตือน และการตัดสินใจปรับราคาต่อไป

ยกตัวอย่าง สมมติร้านอะไหล่จักรยานแห่งหนึ่งติดตามสินค้า 600 รายการจากคู่แข่งห้าราย และต้องการราคาวันละสองครั้ง นั่นคือการอ่านหน้าเว็บ 6,000 ครั้งต่อวัน หากทำด้วยมือ แม้ใช้เพียง 20 วินาทีต่อการตรวจหนึ่งครั้ง ก็จะใช้เวลามากกว่า 33 ชั่วโมงต่อวัน ระบบอัตโนมัติเปลี่ยนให้เป็นงานเบื้องหลัง และบริการอย่าง การติดตามราคา รวบรวมการเก็บข้อมูลนี้เป็นบริการสำเร็จรูปสำหรับผู้ค้า

กฎสำหรับการดึงข้อมูลอย่างรับผิดชอบ

  • อ่านและเคารพข้อกำหนดการใช้บริการของเว็บไซต์ ซึ่งอาจจำกัดการเข้าถึงแบบอัตโนมัติ
  • ตรวจไฟล์กฎ robots ซึ่งเจ้าของเว็บไซต์ระบุว่าเอเจนต์อัตโนมัติควรหลีกเลี่ยงเส้นทางใด
  • จำกัดอัตราการร้องขอและกระจายการร้องขอตามช่วงเวลา เพื่อไม่ให้เว็บไซต์ช้าลงสำหรับผู้เข้าชมจริง
  • ระบุตัวตนของเอเจนต์อย่างตรงไปตรงมา แทนการอำพรางทราฟฟิกอัตโนมัติ
  • เก็บเฉพาะข้อมูลสาธารณะที่คุณต้องการ และหลีกเลี่ยงหน้าที่ต้องเข้าสู่ระบบ
  • หลีกเลี่ยงข้อมูลส่วนบุคคล เว้นแต่จะมีฐานทางกฎหมายที่ชัดเจน เพราะกฎด้านความเป็นส่วนตัวมีผลบังคับใช้กับข้อมูลเหล่านี้

นิสัยเหล่านี้เป็นมารยาทที่ดี และยังช่วยลดความเสี่ยงทางเทคนิคและทางกฎหมายด้วย

ความถูกกฎหมายต่างกันไป

การดึงข้อมูลเว็บถูกกฎหมายหรือไม่ขึ้นอยู่กับประเทศ ประเภทข้อมูล วิธีเข้าถึง และสิ่งที่ทำกับข้อมูลภายหลัง อาจมีคำถามเกิดขึ้นภายใต้เงื่อนไขสัญญา กฎหมายว่าด้วยการใช้คอมพิวเตอร์ในทางที่ผิด สิทธิในฐานข้อมูล ลิขสิทธิ์ และกฎการคุ้มครองข้อมูล ราคาสาธารณะมักถูกมองต่างจากข้อมูลส่วนบุคคลหรือเนื้อหาที่มีลิขสิทธิ์ แต่ไม่มีคำตอบเดียวที่ใช้ได้ทั่วโลก ผู้ที่วางแผนโครงการดึงข้อมูลเว็บควรขอคำปรึกษาจากนักกฎหมายที่คุ้นเคยกับตลาดที่เกี่ยวข้อง

ข้อผิดพลาดด้านคุณภาพข้อมูล

  • การเปลี่ยนเลย์เอาต์ที่ทำให้การดึงข้อมูลพังโดยไม่รู้ตัว จนฟิลด์ส่งค่าว่างหรือค่าผิด
  • ราคาที่แตกต่างกันตามภูมิภาค สกุลเงิน สถานะการเข้าสู่ระบบ หรือตัวเลือกสินค้าที่เลือก
  • เก็บราคาลดโดยไม่มีราคาเดิม หรือในทางกลับกัน
  • นำราคาชุดสินค้าหรือแพ็กรวมไปเปรียบเทียบกับสินค้าชิ้นเดียว
  • หน้าสินค้าหมดที่ยังแสดงราคาอยู่

สเครเปอร์ที่ดีจะตรวจสอบความถูกต้องของสิ่งที่เก็บมา ราคาที่ลดลง 90 เปอร์เซ็นต์อย่างกะทันหันมีแนวโน้มเป็นข้อผิดพลาดในการดึงข้อมูลมากกว่าการเปลี่ยนแปลงจริง และควรถูกตั้งธงไว้ก่อนที่ใครจะลงมือ การเก็บเวลาและแหล่งที่มาไว้กับทุกค่าทำให้ตรวจสอบเช่นนี้ได้

การจับคู่คืออีกครึ่งหนึ่งของคุณภาพ สเครเปอร์อาจอ่านราคาได้อย่างสมบูรณ์แบบแต่ยังทำให้เข้าใจผิดได้ หากหน้านั้นเป็นของสินค้าที่ต่างออกไปเล็กน้อย เช่น รุ่นใหม่กว่า ขนาดต่างกัน หรือเครื่องรีเฟอร์บิช การเปรียบเทียบรหัสระบุ เช่น หมายเลขรุ่นหรือบาร์โค้ดเมื่อมี และการตรวจทานคู่ที่ไม่แน่ใจด้วยมือ ช่วยให้การเปรียบเทียบเป็นธรรม

เริ่มต้นอย่างมีหลักการ

เริ่มจากรายการสินค้าและคู่แข่งที่ชัดเจน กำหนดให้แน่ชัดว่าฟิลด์ใดสำคัญ และตกลงกันว่าต้องรีเฟรชบ่อยเพียงใด สินค้าจำนวนมากไม่จำเป็นต้องตรวจทุกชั่วโมง ชุดข้อมูลขนาดพอเหมาะที่ตรวจสอบมาอย่างดีมีประโยชน์กว่าชุดข้อมูลขนาดใหญ่ที่เต็มไปด้วยสัญญาณรบกวน และสร้างภาระให้เว็บไซต์ของผู้อื่นน้อยกว่ามาก

วางแผนการบำรุงรักษาตั้งแต่วันแรก เว็บไซต์เปลี่ยนเลย์เอาต์ เพิ่มการป้องกันใหม่ และย้ายหน้าสินค้า กฎการดึงข้อมูลจึงต้องได้รับการตรวจสอบอย่างสม่ำเสมอ การติดตามสัดส่วนของหน้าที่ให้ราคาที่ถูกต้องในแต่ละวันเป็นตัวชี้วัดสุขภาพที่ง่าย การลดลงอย่างกะทันหันของเว็บไซต์หนึ่งมักหมายความว่าเลย์เอาต์เปลี่ยนและต้องอัปเดตกฎ

ประเด็นสำคัญ

  • การดึงข้อมูลเว็บดึงข้อมูลที่เจาะจงจากหน้าเว็บโดยอัตโนมัติมาเป็นระเบียนที่มีโครงสร้าง
  • ช่วยให้ทีมตั้งราคาเปรียบเทียบราคาของคู่แข่งในระดับที่การตรวจด้วยมือไปไม่ถึง
  • เคารพข้อกำหนดการใช้บริการ กฎ robots และขีดจำกัดอัตราการร้องขอ และหลีกเลี่ยงข้อมูลส่วนบุคคล
  • ความถูกต้องตามกฎหมายแตกต่างกันตามประเทศและการใช้งาน จึงควรขอคำปรึกษาทางกฎหมายก่อนเริ่ม
  • ตรวจสอบค่าที่ดึงมาและเก็บเวลาไว้ เพื่อให้จับข้อผิดพลาดได้ก่อนตัดสินใจ

คำถามที่พบบ่อย

การดึงข้อมูลเว็บถูกกฎหมายหรือไม่

ขึ้นอยู่กับเขตอำนาจศาล ประเภทข้อมูล และวิธีเก็บและใช้ข้อมูล ข้อมูลราคาสาธารณะมักได้รับการปฏิบัติต่างจากข้อมูลส่วนบุคคลหรือเนื้อหาที่มีลิขสิทธิ์ เคารพข้อกำหนดของเว็บไซต์และขอคำปรึกษาทางกฎหมายสำหรับกรณีเฉพาะของคุณ

การดึงข้อมูลเว็บกับการรวบรวมข้อมูลเว็บ (web crawling) ต่างกันอย่างไร

การรวบรวมข้อมูลค้นพบหน้าเว็บด้วยการติดตามลิงก์ ส่วนการดึงข้อมูลแยกข้อมูลที่เจาะจงออกจากหน้าเว็บ ระบบติดตามราคามักรวบรวมข้อมูลเพื่อหาหน้าสินค้า แล้วดึงข้อมูลราคาและสถานะสต็อกจากแต่ละหน้า

ควรดึงข้อมูลราคาคู่แข่งบ่อยแค่ไหน

บ่อยเท่าที่การตัดสินใจต้องการ หมวดหมู่ที่เคลื่อนไหวเร็วอาจสมควรตรวจหลายครั้งต่อวัน ขณะที่สินค้าที่ราคานิ่งตรวจรายวันหรือรายสัปดาห์ก็ได้ ความถี่ที่ต่ำลงยังช่วยลดภาระของเว็บไซต์ที่ถูกอ่านด้วย

คำที่เกี่ยวข้อง

ใน BlackAha Store Platform Integration ช่วยให้คุณเชื่อมต่อร้านค้าเพื่อซิงค์ราคาสินค้าโดยอัตโนมัติ

กลับไปที่พจนานุกรมราคา