Web scraping

Web scraping to automatyczne pobieranie konkretnych danych ze stron internetowych do uporządkowanej postaci, np. tabeli lub bazy danych. Program wczytuje stronę, znajduje elementy takie jak nazwa produktu, cena i stan magazynowy, i zapisuje je. W wycenie pozwala zbierać publiczne ceny konkurencji na skalę, której ręczne sprawdzanie nie osiągnie.

Od strony do tabeli

Strona internetowa jest zrobiona do czytania przez ludzi: wokół faktów są układ, zdjęcia i nawigacja. Scraping to wszystko usuwa. Program pobiera stronę, odczytuje jej kod, odnajduje wskazane pola i zapisuje je jako czyste wartości: nazwę, liczbę, walutę, datę i godzinę.

  1. Pobranie: zażądaj strony, czasem uruchamiając skrypty, aby pojawiły się też ceny ładowane później.
  2. Parsowanie: odczytaj strukturę strony i znajdź pola po ich położeniu, etykietach lub osadzonych danych produktu.
  3. Ekstrakcja: wyciągnij wartości i przekształć je, np. zamieniając cenę z symbolem waluty na liczbę.
  4. Zapis: zapisz każdą wartość wraz ze stroną źródłową i czasem pobrania.

Scraping, crawling i API

Scraping często myli się z crawlingiem. Crawler odkrywa strony, podążając za linkami w witrynie; scraper pobiera dane ze stron, które już zna. Wiele projektów korzysta z obu: crawlingu, by znaleźć strony produktów, i scrapingu, by je odczytać.

API to zupełnie inna droga. Gdy witryna lub platforma udostępnia oficjalny interfejs do swoich danych, jest on zwykle stabilniejszy i wyraźnie dozwolony. Scrapingu używa się na ogół tam, gdzie dla danych nie ma odpowiedniego API.

Wiele stron produktów zawiera też w kodzie uporządkowane dane produktu przeznaczone dla wyszukiwarek. Zwykle podają one nazwę, markę, cenę, walutę i dostępność w spójnym formacie. Jeśli są obecne i poprawne, łatwiej i pewniej je odczytać niż widoczny układ, choć mogą nie nadążać za faktycznie wyświetlaną ceną.

Dlaczego zespoły cenowe na nim polegają

Ceny konkurencji często się zmieniają, a katalog kilku tysięcy produktów w kilku konkurencyjnych sklepach szybko staje się zbyt duży, by sprawdzać go ręcznie. Automatyczne zbieranie umożliwia regularne porównania, a te wspierają indeksy cen, alerty i decyzje o zmianie cen.

Załóżmy na przykład, że sklep z częściami rowerowymi śledzi 600 produktów u pięciu konkurentów i chce mieć ceny dwa razy dziennie. To 6 000 odczytów stron dziennie. Ręcznie, nawet przy 20 sekundach na sprawdzenie, zajęłoby to ponad 33 godziny każdego dnia. Automatyzacja zamienia to w zadanie w tle, a usługi takie jak śledzenie cen dostarczają sprzedawcom takie dane w gotowej postaci.

Zasady odpowiedzialnego scrapingu

  • Przeczytaj i przestrzegaj regulaminu witryny, który może ograniczać automatyczny dostęp.
  • Sprawdź plik z regułami robots, w którym właściciele witryn wskazują ścieżki, których automatyczni agenci powinni unikać.
  • Ogranicz częstotliwość zapytań i rozłóż je w czasie, aby witryna nie zwalniała dla prawdziwych odwiedzających.
  • Uczciwie przedstawiaj swojego agenta zamiast ukrywać automatyczny ruch.
  • Zbieraj tylko potrzebne dane publiczne i unikaj stron wymagających logowania.
  • Unikaj danych osobowych, jeśli nie masz jasnej podstawy prawnej, bo obowiązują je przepisy o prywatności.

Te nawyki są uprzejme, a przy tym zmniejszają ryzyko techniczne i prawne.

Legalność bywa różna

To, czy scraping jest legalny, zależy od kraju, rodzaju danych, sposobu dostępu i tego, co się z nimi potem robi. Wątpliwości mogą pojawić się na gruncie warunków umownych, przepisów o nadużyciach komputerowych, praw do baz danych, prawa autorskiego i ochrony danych. Publiczne ceny często postrzega się inaczej niż dane osobowe lub treści chronione prawem autorskim, ale nie ma jednej globalnej odpowiedzi. Każdy, kto planuje projekt scrapingu, powinien zasięgnąć porady prawnika znającego dane rynki.

Pułapki jakości danych

  • Zmiany układu, które po cichu psują ekstrakcję, przez co pole zwraca puste lub błędne wartości
  • Ceny różniące się w zależności od regionu, waluty, stanu zalogowania lub wybranego wariantu
  • Ceny promocyjne pobrane bez ceny pierwotnej lub odwrotnie
  • Ceny zestawów lub wielopaków porównywane z pojedynczymi sztukami
  • Strony produktów niedostępnych, które nadal pokazują cenę

Dobre scrapery weryfikują to, co zbierają. Cena, która nagle spada o 90 procent, to raczej błąd ekstrakcji niż prawdziwa zmiana i należy ją oznaczyć, zanim ktoś na nią zareaguje. Zapisywanie znacznika czasu i źródła przy każdej wartości umożliwia takie kontrole.

Dopasowanie to druga połowa jakości. Scraper może idealnie odczytać cenę i mimo to wprowadzać w błąd, jeśli strona dotyczy nieco innego produktu, np. nowszego modelu, innego rozmiaru lub egzemplarza odnowionego. Porównywanie identyfikatorów, takich jak numery modeli czy kody kreskowe, jeśli są dostępne, i ręczny przegląd niepewnych dopasowań sprawiają, że porównania są rzetelne.

Rozsądny początek

Zacznij od jasnej listy produktów i konkurentów, dokładnie określ, które pola są ważne, i ustal, jak często trzeba je odświeżać. Wiele produktów nie wymaga sprawdzania co godzinę. Skromny, dobrze zweryfikowany zbiór danych jest bardziej przydatny niż ogromny i zaszumiony, a przy tym znacznie mniej obciąża cudze witryny.

Od pierwszego dnia planuj utrzymanie. Witryny zmieniają układy, dodają nowe zabezpieczenia i przenoszą strony produktów, więc reguły ekstrakcji wymagają regularnych kontroli. Prostą miarą kondycji jest codzienny odsetek stron zwracających poprawną cenę: nagły spadek dla jednej witryny zwykle oznacza, że zmienił się jej układ i reguły trzeba zaktualizować.

Kluczowe wnioski

  • Web scraping automatycznie pobiera konkretne dane ze stron internetowych do uporządkowanych rekordów.
  • Pozwala zespołom cenowym porównywać ceny konkurencji na skalę nieosiągalną przy ręcznym sprawdzaniu.
  • Przestrzegaj regulaminów, reguł robots i limitów zapytań oraz unikaj danych osobowych.
  • Legalność zależy od kraju i zastosowania, więc przed startem zasięgnij porady prawnej.
  • Weryfikuj pobrane wartości i zapisuj znaczniki czasu, aby wychwycić błędy przed podjęciem decyzji.

Najczęściej zadawane pytania

Czy web scraping jest legalny?

To zależy od jurysdykcji, rodzaju danych oraz sposobu ich zbierania i wykorzystania. Publiczne dane cenowe często traktuje się inaczej niż dane osobowe lub treści chronione prawem autorskim. Przestrzegaj regulaminów stron i zasięgnij porady prawnej w swojej konkretnej sprawie.

Czym różni się web scraping od web crawlingu?

Crawling odkrywa strony, podążając za linkami, a scraping pobiera ze stron konkretne dane. System monitorowania cen często najpierw przeszukuje witrynę, aby znaleźć strony produktów, a potem z każdej z nich pobiera cenę i stan magazynowy.

Jak często pobierać ceny konkurencji?

Tak często, jak wymaga tego decyzja. W szybko zmieniających się kategoriach uzasadnione może być kilka sprawdzeń dziennie, a stabilne produkty można sprawdzać codziennie lub co tydzień. Rzadsze sprawdzanie zmniejsza też obciążenie odczytywanych witryn.

Powiązane pojęcia

W BlackAha, Store Platform Integration pomaga połączyć sklep, aby automatycznie synchronizować ceny produktów.

Wróć do Słownika cen