Web scraping

El web scraping es la extracción automatizada de datos concretos de páginas web a un formato estructurado, como una tabla o una base de datos. Un programa carga una página, localiza elementos como el título del producto, el precio y el estado de existencias, y los guarda. En precios, recoge los precios públicos de la competencia a una escala que las comprobaciones manuales no pueden igualar.

De la página a la tabla

Una página web está hecha para que la lean personas, con diseño, imágenes y navegación alrededor de los datos. El scraping elimina todo eso. El programa solicita una página, lee su código subyacente, localiza los campos que se le ha pedido encontrar y los escribe como valores limpios: un nombre, un número, una moneda, una fecha y una hora.

  1. Obtener: solicitar la página, a veces ejecutando scripts para que también aparezcan los precios que se cargan después.
  2. Analizar: leer la estructura de la página y localizar los campos por su posición, sus etiquetas o los datos de producto incrustados.
  3. Extraer: sacar los valores y convertirlos, por ejemplo transformar un precio con símbolo de moneda en un número.
  4. Almacenar: guardar cada valor con la página de origen y el momento en que se recogió.

Scraping, crawling y API

El scraping se confunde a menudo con el crawling. Un crawler descubre páginas siguiendo enlaces por un sitio; un scraper extrae datos de páginas que ya conoce. Muchos proyectos usan ambos: el crawling para encontrar páginas de producto y el scraping para leerlas.

Una API es una vía completamente distinta. Cuando un sitio o una plataforma ofrece una interfaz oficial para sus datos, esa interfaz suele ser más estable y estar claramente permitida. El scraping se usa en general cuando no existe una API adecuada para los datos en cuestión.

Muchas páginas de producto también incluyen en su código datos de producto estructurados, pensados para los buscadores. Suelen indicar el nombre, la marca, el precio, la moneda y la disponibilidad en un formato uniforme. Cuando están presentes y son exactos, es más fácil y fiable leerlos que el diseño visible, aunque pueden ir con retraso respecto al precio que se muestra realmente.

Por qué los equipos de precios dependen de él

Los precios de la competencia cambian a menudo, y un catálogo de unos pocos miles de productos en varias tiendas rivales se vuelve rápidamente demasiado grande para comprobarlo a mano. La recogida automatizada hace posible una comparación periódica, que a su vez sustenta los índices de precios, las alertas y las decisiones de repricing.

Por ejemplo, supongamos que una tienda de recambios para bicicletas sigue 600 productos en cinco competidores y quiere los precios dos veces al día. Son 6.000 lecturas de páginas diarias. A mano, incluso a 20 segundos por comprobación, llevaría más de 33 horas cada día. La automatización lo convierte en una tarea en segundo plano, y servicios como el seguimiento de precios ofrecen esta recogida lista para los comercios.

Reglas para un scraping responsable

  • Lee y respeta las condiciones de servicio del sitio web, que pueden restringir el acceso automatizado.
  • Consulta el archivo de reglas robots, donde los propietarios del sitio indican qué rutas deben evitar los agentes automatizados.
  • Limita la frecuencia de las solicitudes y repártelas en el tiempo para no ralentizar el sitio a los visitantes reales.
  • Identifica tu agente con honestidad en lugar de disfrazar el tráfico automatizado.
  • Recoge solo los datos públicos que necesitas y evita las páginas que requieren inicio de sesión.
  • Evita los datos personales salvo que tengas una base jurídica clara, ya que se les aplican las normas de privacidad.

Estos hábitos son una cuestión de cortesía y, además, reducen el riesgo técnico y legal.

La legalidad varía

Que el scraping sea legal depende del país, del tipo de datos, de cómo se accede a ellos y de qué se hace después con ellos. Pueden surgir cuestiones relacionadas con las condiciones contractuales, las leyes sobre uso indebido de sistemas informáticos, los derechos sobre bases de datos, los derechos de autor y las normas de protección de datos. Los precios públicos suelen verse de forma distinta a los contenidos personales o protegidos por derechos de autor, pero no hay una respuesta única a nivel mundial. Quien planee un proyecto de scraping debería consultar a un profesional del derecho que conozca los mercados implicados.

Errores en la calidad de los datos

  • Cambios de diseño que rompen la extracción sin avisar, de modo que un campo devuelve valores vacíos o erróneos
  • Precios que varían según la región, la moneda, si se ha iniciado sesión o la variante seleccionada
  • Precios de oferta recogidos sin el precio original, o al revés
  • Precios de packs o lotes comparados con unidades sueltas
  • Páginas sin existencias que siguen mostrando un precio

Un buen scraper valida lo que recoge. Un precio que de repente cae un 90 por ciento es más probablemente un error de extracción que un movimiento real, y debe marcarse antes de que nadie actúe en consecuencia. Guardar una marca de tiempo y el origen con cada valor hace posibles estas comprobaciones.

El emparejamiento es la otra mitad de la calidad. Un scraper puede leer un precio a la perfección y aun así inducir a error si la página corresponde a un producto ligeramente distinto, como un modelo más nuevo, otra talla o una unidad reacondicionada. Comparar identificadores como los números de modelo o los códigos de barras, cuando los haya, y revisar a mano los emparejamientos dudosos mantiene las comparaciones justas.

Empezar con sensatez

Empieza con una lista clara de productos y competidores, define exactamente qué campos importan y acuerda con qué frecuencia hay que actualizarlos. Muchos productos no necesitan comprobaciones cada hora. Un conjunto de datos modesto y bien validado es más útil que uno enorme y con ruido, y supone mucha menos carga para las webs de los demás.

Planifica el mantenimiento desde el primer día. Los sitios web cambian su diseño, añaden nuevas protecciones y mueven páginas de producto, así que las reglas de extracción necesitan revisiones periódicas. Vigilar el porcentaje de páginas que devuelven un precio válido cada día es una medida de salud sencilla: una caída repentina en un sitio suele indicar que su diseño ha cambiado y que hay que actualizar las reglas.

Ideas clave

  • El web scraping extrae automáticamente datos concretos de páginas web en registros estructurados.
  • Permite a los equipos de precios comparar los precios de la competencia a una escala que las comprobaciones manuales no pueden alcanzar.
  • Respeta las condiciones de servicio, las reglas robots y los límites de frecuencia, y evita los datos personales.
  • La legalidad varía según el país y el uso, así que busca asesoramiento jurídico antes de empezar.
  • Valida los valores obtenidos y guarda marcas de tiempo para detectar los errores antes de tomar decisiones.

Preguntas frecuentes

¿Es legal el web scraping?

Depende de la jurisdicción, de los datos y de cómo se recogen y se usan. Los datos públicos de precios suelen tratarse de forma distinta a los contenidos personales o protegidos por derechos de autor. Respeta las condiciones de los sitios y busca asesoramiento jurídico para tu caso concreto.

¿Qué diferencia hay entre el web scraping y el web crawling?

El crawling descubre páginas siguiendo enlaces, mientras que el scraping extrae datos concretos de las páginas. Un sistema de monitorización de precios suele rastrear para encontrar páginas de producto y luego hace scraping de cada una para obtener su precio y su estado de existencias.

¿Con qué frecuencia conviene hacer scraping de los precios de la competencia?

Con la frecuencia que exija la decisión. Las categorías con mucho movimiento pueden justificar varias comprobaciones al día, mientras que los productos estables pueden comprobarse a diario o cada semana. Una frecuencia menor también reduce la carga en los sitios que se leen.

Términos relacionados

En BlackAha, Store Platform Integration te ayuda a conectar tu tienda para sincronizar automáticamente los precios de los productos.

Volver al Diccionario de precios