Un rastreo de sitio es un recorrido automático por una web en el que un programa, llamado rastreador o araña, parte de una o varias páginas y sigue los enlaces para descubrir el resto, y enumera las páginas que encuentra con datos como códigos de estado, títulos y enlaces. Los buscadores, las auditorías SEO y los estudios de precios se basan en él.
Cómo se mueve un rastreador por un sitio
Un rastreo empieza con direcciones semilla, normalmente la página de inicio o un sitemap. El rastreador solicita una página, registra lo que devuelve, recoge todos sus enlaces y añade las direcciones nuevas a una cola. Después toma la siguiente dirección de la cola y repite, saltándose las páginas que ya ha visto. El proceso continúa hasta que la cola se vacía o se alcanza un límite.
- Semillas: las direcciones de partida, a menudo complementadas con un sitemap XML.
- Cola: la lista de direcciones descubiertas que aún esperan ser visitadas.
- Reglas de alcance: en qué dominios, carpetas o tipos de página puede entrar el rastreo.
- Límites: profundidad máxima, número de páginas y frecuencia de solicitudes.
El orden de la cola determina el resultado. Un rastreo en anchura visita todas las páginas a un clic del inicio antes de profundizar, lo que mapea rápidamente las secciones principales. Un rastreo en profundidad sigue una rama hasta el final antes de retroceder. Para las tiendas se suele preferir el rastreo en anchura, porque las páginas de categoría y de listado cercanas a la parte alta llevan de forma eficiente a los productos.
Rastreo frente a scraping
El rastreo trata de descubrir y estructurar; el scraping, de extraer valores concretos. Un rastreador responde a qué páginas existen y cómo se conectan. Un scraper responde a qué dice una página concreta, como su precio. En un proyecto de precios de la competencia, el rastreo encuentra las fichas de producto dentro de una categoría del rival, y después el scraper lee el precio de cada página encontrada.
Los dos pasos también siguen calendarios distintos. Las listas de productos cambian despacio en comparación con los precios, así que un equipo podría rastrear las categorías de un competidor una vez por semana para actualizar la lista de páginas y leer a diario los precios de esas páginas ya conocidas. Separar las tareas mantiene ligera la más frecuente y evita redescubrir las mismas páginas una y otra vez.
Usos en SEO y en la salud del sitio
Los propietarios rastrean sus propias tiendas para verlas como lo haría un buscador. Un rastreo revela enlaces rotos, cadenas de redirecciones, títulos duplicados, descripciones que faltan, páginas huérfanas sin enlaces internos que apunten a ellas y páginas bloqueadas para la indexación por error.
En una tienda online, los resultados del rastreo suelen mostrar fichas de producto difíciles de alcanzar. Si un producto está a cinco o seis clics de la página de inicio, o solo aparece a través de un filtro, los buscadores pueden visitarlo rara vez. Corregir los enlaces internos puede devolver esas páginas a la vista.
Los rastreos también son una comprobación útil tras una migración de plataforma o una gran importación de catálogo. Comparar la lista de páginas de antes y de después muestra qué direcciones antiguas devuelven ahora errores y necesitan redirecciones, lo que protege tanto la visibilidad en buscadores como a los clientes que llegan desde enlaces guardados o comparadores.
Usos en el estudio de precios y surtido
Rastrear las páginas de categoría públicas de un competidor muestra lo que vende, no solo lo que cobra. Comparar los productos descubiertos con tu propio catálogo puede revelar huecos: artículos que ellos tienen y tú no. El Product Gap Finder de BlackAha está pensado precisamente para este tipo de comparación.
El descubrimiento también mantiene al día las comparaciones de precios. Los competidores añaden productos nuevos, retiran otros antiguos y cambian las direcciones de sus páginas. Un rastreo periódico de las secciones relevantes actualiza la lista de páginas que vigilar, para que las comprobaciones de precio no sigan leyendo páginas eliminadas ni se pierdan las nuevas.
Dimensionar un rastreo: un ejemplo
Supongamos, a modo de ejemplo, que una tienda de jardinería quiere mapear la sección de muebles de exterior de un competidor. La sección tiene 12 páginas de listado con 40 productos cada una, así que unas 480 fichas de producto más las propias páginas de listado. A un ritmo prudente de una solicitud cada dos segundos, un recorrido completo lleva unos 16 minutos. Rastrear toda la tienda, quizá 30.000 páginas, al mismo ritmo llevaría más de 16 horas, lo que muestra por qué importan las reglas de alcance.
Un alcance reducido ahorra tiempo a ambas partes. Un rastreo limitado a las secciones en las que realmente compites da un resultado más rápido y limpio, y supone menos carga para el sitio que se lee.
Rastreo responsable
- Respeta el archivo de reglas robots y las condiciones de servicio del sitio.
- Mantén bajas las frecuencias de solicitud y evita las horas punta cuando sea posible.
- No entres en zonas con inicio de sesión, carritos ni páginas de cuenta.
- Identifica el rastreador con honestidad en lugar de imitar a un usuario con navegador.
- Para o ve más despacio si el sitio empieza a devolver errores.
Las normas sobre el acceso automatizado varían de un país a otro y dependen de cómo se usen los datos recogidos. Cuando rastrees sitios que no son tuyos, es prudente pedir asesoramiento legal sobre tus planes concretos.
Problemas de rastreo
- Espacios infinitos, como calendarios o combinaciones de filtros que generan direcciones nuevas sin fin
- Páginas duplicadas a las que se llega mediante parámetros de seguimiento u opciones de ordenación
- Contenido que solo aparece tras ejecutarse scripts, que los rastreadores simples no ven
- Páginas que cambian según la región, el idioma o la divisa
- Rastreos que duran tanto que las primeras páginas están desfasadas cuando terminan las últimas
Normalizar las direcciones, eliminar parámetros innecesarios y fijar un límite de páginas estricto resuelve la mayoría de estos problemas. Para el trabajo con precios, también ayuda registrar la fecha de rastreo en cada página descubierta, para poder volver a comprobar primero las entradas desfasadas.
Por último, revisa el resultado en busca de huecos. Si una sección que debería tener cientos de productos devuelve solo unos pocos, probablemente el rastreador no detectó un patrón de paginación o una lista cargada por script, y hay que ajustar las reglas de alcance antes de usar los datos.
Ideas clave
- Un rastreo de sitio sigue enlaces automáticamente para descubrir las páginas de una web.
- El rastreo encuentra páginas; el scraping lee de ellas valores concretos, como los precios.
- Los propietarios de tiendas rastrean sus propios sitios para encontrar enlaces rotos y productos difíciles de alcanzar.
- Rastrear las secciones de la competencia revela huecos de surtido y mantiene al día las comparaciones de precios.
- Un alcance ajustado, frecuencias de solicitud bajas y el respeto a las reglas del sitio hacen los rastreos más rápidos y justos.
Preguntas frecuentes
¿Qué diferencia hay entre rastreo e indexación?
El rastreo es la fase de descubrimiento, en la que se visitan páginas y se siguen enlaces. La indexación es una fase posterior, en la que un buscador almacena y organiza el contenido de la página para que pueda aparecer en los resultados. Una página puede rastrearse y aun así no indexarse.
¿Con qué frecuencia debo rastrear mi propia tienda?
Muchas tiendas hacen un rastreo completo al mes y una revisión más ligera tras cambios importantes, como una actualización del tema o una importación de catálogo. Las tiendas grandes que cambian a diario pueden rastrear las secciones clave con más frecuencia.
¿Un sitemap sustituye al rastreo?
No, pero ayuda. Un sitemap enumera las páginas que el propietario quiere que se encuentren, lo que acelera el descubrimiento. El rastreo sigue mostrando cómo se enlazan las páginas entre sí y encuentra páginas que faltan en el sitemap.
Términos relacionados
En BlackAha, Store Platform Integration te ayuda a conectar tu tienda para sincronizar automáticamente los precios de los productos.