Quét website là một lượt tự động đi qua website, trong đó một chương trình gọi là crawler hay spider bắt đầu từ một hoặc nhiều trang và lần theo liên kết để phát hiện phần còn lại, liệt kê các trang tìm được cùng các chi tiết như mã trạng thái, tiêu đề và liên kết. Công cụ tìm kiếm, kiểm tra SEO và nghiên cứu giá đều dựa vào nó.
Crawler di chuyển qua một site như thế nào
Lượt quét bắt đầu từ các địa chỉ gốc, thường là trang chủ hoặc sitemap. Crawler yêu cầu một trang, ghi lại nội dung trả về, thu thập mọi liên kết trên đó và thêm các địa chỉ mới vào hàng đợi. Sau đó nó lấy địa chỉ tiếp theo trong hàng đợi và lặp lại, bỏ qua những trang đã thấy. Quá trình tiếp tục cho tới khi hàng đợi trống hoặc chạm giới hạn.
- Địa chỉ gốc: các địa chỉ khởi đầu, thường được bổ sung bằng một sitemap XML.
- Hàng đợi: danh sách các địa chỉ đã phát hiện nhưng còn chờ được truy cập.
- Quy tắc phạm vi: những tên miền, thư mục hoặc loại trang mà lượt quét được phép vào.
- Giới hạn: độ sâu tối đa, số trang và tốc độ gửi yêu cầu.
Thứ tự của hàng đợi định hình kết quả. Quét theo chiều rộng truy cập mọi trang cách điểm bắt đầu một lần nhấp trước khi đi sâu hơn, nhờ đó nhanh chóng vẽ ra các khu vực chính. Quét theo chiều sâu đi hết một nhánh rồi mới quay lại. Với cửa hàng, quét theo chiều rộng thường được ưu tiên, vì các trang danh mục và trang danh sách ở gần đầu dẫn tới sản phẩm một cách hiệu quả.
So sánh quét website với cào dữ liệu
Quét là để khám phá và nắm cấu trúc; cào dữ liệu là để trích xuất các giá trị cụ thể. Crawler trả lời câu hỏi có những trang nào và chúng kết nối ra sao. Công cụ cào dữ liệu trả lời một trang cụ thể nói gì, chẳng hạn giá của nó. Trong một dự án theo dõi giá đối thủ, lượt quét tìm các trang sản phẩm trong một danh mục của đối thủ, rồi công cụ cào dữ liệu đọc giá từ từng trang tìm được.
Hai bước này cũng chạy theo lịch khác nhau. Danh sách sản phẩm thay đổi chậm hơn nhiều so với giá, nên một đội có thể quét các danh mục của đối thủ mỗi tuần một lần để làm mới danh sách trang, trong khi đọc giá từ các trang đã biết hằng ngày. Tách riêng hai việc giúp tác vụ chạy thường xuyên được nhẹ và tránh phải phát hiện lại cùng những trang đó hết lần này đến lần khác.
Ứng dụng trong SEO và sức khỏe website
Chủ site quét chính cửa hàng của mình để nhìn nó như công cụ tìm kiếm nhìn. Lượt quét làm lộ ra liên kết hỏng, chuỗi chuyển hướng, tiêu đề trùng lặp, thiếu mô tả, các trang mồ côi không có liên kết nội bộ nào trỏ tới, và các trang vô tình bị chặn lập chỉ mục.
Với cửa hàng online, kết quả quét thường cho thấy những trang sản phẩm khó tiếp cận. Nếu một sản phẩm cách trang chủ năm hoặc sáu lần nhấp, hoặc chỉ xuất hiện qua bộ lọc, công cụ tìm kiếm có thể hiếm khi ghé thăm. Sửa liên kết nội bộ có thể đưa những trang đó trở lại tầm nhìn.
Quét website cũng là bước kiểm tra hữu ích sau khi chuyển nền tảng hoặc nhập một danh mục lớn. So sánh danh sách trang trước và sau cho thấy địa chỉ cũ nào giờ trả về lỗi và cần chuyển hướng, bảo vệ cả độ hiển thị trên tìm kiếm lẫn khách hàng đến từ liên kết đã lưu hoặc trang so sánh giá.
Ứng dụng trong nghiên cứu giá và danh mục hàng
Quét các trang danh mục công khai của đối thủ cho thấy họ bán gì, không chỉ họ bán giá bao nhiêu. So sánh các sản phẩm phát hiện được với danh mục của chính bạn có thể làm lộ ra khoảng trống, những mặt hàng họ có mà bạn không có. Tại BlackAha, công cụ tìm sản phẩm còn thiếu được xây dựng xoay quanh chính kiểu so sánh này.
Việc khám phá cũng giữ cho các phép so sánh giá luôn cập nhật. Đối thủ thêm sản phẩm mới, ngừng sản phẩm cũ và thay đổi địa chỉ trang. Quét định kỳ các khu vực liên quan sẽ cập nhật danh sách trang cần theo dõi, để việc kiểm tra giá không tiếp tục đọc những trang đã bị xóa hoặc bỏ sót trang mới.
Ước lượng quy mô lượt quét: một ví dụ
Giả sử, để minh họa, một cửa hàng đồ làm vườn muốn lập bản đồ khu vực nội thất ngoài trời của một đối thủ. Khu vực này có 12 trang danh sách, mỗi trang 40 sản phẩm, tức khoảng 480 trang sản phẩm cộng với chính các trang danh sách. Với tốc độ lịch sự là một yêu cầu mỗi hai giây, một lượt đầy đủ mất khoảng 16 phút. Quét toàn bộ cửa hàng, có thể tới 30,000 trang, với cùng tốc độ sẽ mất hơn 16 giờ, cho thấy vì sao quy tắc phạm vi quan trọng.
Phạm vi hẹp tiết kiệm thời gian cho cả hai phía. Một lượt quét giới hạn trong những khu vực bạn thực sự cạnh tranh cho kết quả nhanh hơn, sạch hơn và gây ít tải hơn cho site được đọc.
Quét có trách nhiệm
- Tôn trọng tệp quy tắc robots và điều khoản dịch vụ của site.
- Giữ tốc độ gửi yêu cầu thấp và tránh giờ cao điểm khi có thể.
- Tránh xa các khu vực cần đăng nhập, giỏ hàng và trang tài khoản.
- Khai báo crawler một cách trung thực thay vì giả làm người dùng trình duyệt.
- Dừng hoặc giảm tốc nếu site bắt đầu trả về lỗi.
Quy định về truy cập tự động khác nhau giữa các quốc gia và phụ thuộc vào cách dữ liệu thu thập được sử dụng. Khi quét những site không thuộc sở hữu của bạn, nên tham khảo ý kiến pháp lý cho kế hoạch cụ thể của mình.
Lỗi quét thường gặp
- Không gian vô hạn, chẳng hạn lịch hoặc tổ hợp bộ lọc sinh ra vô số địa chỉ mới
- Trang trùng lặp được truy cập qua tham số theo dõi hoặc tùy chọn sắp xếp
- Nội dung chỉ xuất hiện sau khi script chạy, mà crawler đơn giản bỏ sót
- Trang hiển thị khác nhau theo khu vực, ngôn ngữ hoặc đơn vị tiền tệ
- Lượt quét chạy lâu đến mức các trang đầu tiên đã lỗi thời khi các trang cuối cùng xong
Chuẩn hóa địa chỉ, loại bỏ tham số không cần thiết và đặt giới hạn số trang chặt chẽ sẽ giải quyết phần lớn các vấn đề này. Với công việc về giá, ghi lại ngày quét trên mỗi trang được phát hiện cũng hữu ích, để các mục cũ có thể được kiểm tra lại trước.
Cuối cùng, hãy kiểm tra kết quả xem có thiếu sót không. Nếu một khu vực lẽ ra có hàng trăm sản phẩm chỉ trả về vài cái, nhiều khả năng crawler đã bỏ sót một kiểu phân trang hoặc một danh sách được tải bằng script, và cần điều chỉnh quy tắc phạm vi trước khi dùng dữ liệu.
Điểm chính cần nhớ
- Quét website tự động lần theo các liên kết để phát hiện các trang của một website.
- Quét tìm ra trang; cào dữ liệu đọc các giá trị cụ thể như giá từ những trang đó.
- Chủ cửa hàng quét chính site của mình để tìm liên kết hỏng và sản phẩm khó tiếp cận.
- Quét các khu vực của đối thủ làm lộ ra khoảng trống trong danh mục hàng và giữ cho phép so sánh giá luôn cập nhật.
- Phạm vi hẹp, tốc độ yêu cầu thấp và tôn trọng quy tắc của site giúp lượt quét nhanh hơn và công bằng hơn.
Câu hỏi thường gặp
Quét website và lập chỉ mục khác nhau thế nào?
Quét là bước khám phá, khi các trang được truy cập và liên kết được lần theo. Lập chỉ mục là bước sau, khi công cụ tìm kiếm lưu và sắp xếp nội dung trang để nó có thể xuất hiện trong kết quả. Một trang có thể đã được quét mà vẫn chưa được lập chỉ mục.
Nên quét cửa hàng của chính mình bao lâu một lần?
Nhiều cửa hàng chạy quét toàn bộ hằng tháng và một lượt kiểm tra nhẹ hơn sau các thay đổi lớn, chẳng hạn cập nhật giao diện hoặc nhập danh mục. Các cửa hàng lớn thay đổi hằng ngày có thể quét các khu vực chủ chốt thường xuyên hơn.
Sơ đồ trang web (sitemap) có thay thế được việc quét không?
Không, nhưng nó có ích. Sitemap liệt kê những trang chủ site muốn được tìm thấy, giúp phát hiện nhanh hơn. Việc quét vẫn cho thấy các trang liên kết với nhau thế nào và tìm ra những trang không có trong sitemap.
Thuật ngữ liên quan
Trong BlackAha, Store Platform Integration giúp bạn kết nối cửa hàng để tự động đồng bộ giá sản phẩm.