사이트 크롤링

사이트 크롤링은 크롤러 또는 스파이더라고 부르는 프로그램이 하나 이상의 페이지에서 시작해 링크를 따라가며 나머지 페이지를 찾아내고, 찾은 페이지를 상태 코드, 제목, 링크 같은 세부 정보와 함께 목록으로 만드는 자동화된 과정입니다. 검색 엔진, SEO 감사, 가격 조사가 모두 이에 의존합니다.

크롤러가 사이트를 탐색하는 방식

크롤링은 보통 홈페이지나 사이트맵인 시작 주소에서 출발합니다. 크롤러는 페이지를 요청하고, 반환된 내용을 기록하고, 그 페이지의 모든 링크를 모아 새 주소를 대기열에 추가합니다. 그런 다음 대기열에서 다음 주소를 꺼내 반복하며, 이미 본 페이지는 건너뜁니다. 이 과정은 대기열이 비거나 한도에 도달할 때까지 계속됩니다.

  • 시작 주소: 출발점이 되는 주소로, XML 사이트맵으로 보완하는 경우가 많습니다.
  • 대기열: 발견했지만 아직 방문하지 않은 주소 목록입니다.
  • 범위 규칙: 크롤링이 들어갈 수 있는 도메인, 폴더, 페이지 유형입니다.
  • 한도: 최대 깊이, 페이지 수, 요청 속도입니다.

대기열의 순서가 결과를 좌우합니다. 너비 우선 크롤링은 더 깊이 들어가기 전에 시작점에서 한 번 클릭으로 갈 수 있는 모든 페이지를 방문하므로 주요 영역을 빠르게 파악합니다. 깊이 우선 크롤링은 한 갈래를 끝까지 따라간 뒤 되돌아옵니다. 스토어에는 보통 너비 우선이 선호됩니다. 상위에 있는 카테고리와 목록 페이지가 상품으로 효율적으로 이어지기 때문입니다.

크롤링과 스크래핑 비교

크롤링은 발견과 구조에 관한 것이고, 스크래핑은 특정 값을 추출하는 것입니다. 크롤러는 어떤 페이지가 있고 어떻게 연결되는지에 답합니다. 스크래퍼는 특정 페이지에 가격 같은 무엇이 적혀 있는지에 답합니다. 경쟁사 가격 프로젝트에서는 크롤링으로 경쟁사 카테고리 안의 상품 페이지를 찾고, 스크래퍼가 찾은 각 페이지에서 가격을 읽습니다.

두 단계는 실행 주기도 다릅니다. 상품 목록은 가격에 비해 천천히 바뀌므로, 팀은 경쟁사 카테고리를 일주일에 한 번 크롤링해 페이지 목록을 갱신하고, 이미 알고 있는 페이지에서는 매일 가격을 읽을 수 있습니다. 작업을 분리하면 자주 하는 작업이 가벼워지고 같은 페이지를 반복해서 다시 찾는 일을 피할 수 있습니다.

SEO와 사이트 상태 점검에서의 활용

사이트 소유자는 검색 엔진의 눈으로 보기 위해 자기 스토어를 크롤링합니다. 크롤링을 하면 깨진 링크, 리디렉션 체인, 중복 제목, 누락된 설명, 내부 링크가 하나도 연결되지 않은 고립된 페이지, 실수로 색인이 차단된 페이지가 드러납니다.

온라인 스토어의 크롤링 결과에서는 접근하기 어려운 상품 페이지가 자주 발견됩니다. 상품이 홈페이지에서 대여섯 번 클릭해야 나오거나 필터를 통해서만 나타난다면, 검색 엔진이 거의 방문하지 않을 수 있습니다. 내부 링크를 정비하면 이런 페이지를 다시 노출시킬 수 있습니다.

크롤링은 플랫폼 이전이나 대규모 카탈로그 가져오기 후의 점검에도 유용합니다. 전후 페이지 목록을 비교하면 어떤 이전 주소가 이제 오류를 반환해 리디렉션이 필요한지 알 수 있어, 검색 노출과 저장된 링크나 비교 사이트를 통해 들어오는 고객을 모두 지킬 수 있습니다.

가격 및 상품 구색 조사에서의 활용

경쟁사의 공개 카테고리 페이지를 크롤링하면 경쟁사가 얼마를 받는지뿐 아니라 무엇을 파는지도 알 수 있습니다. 찾아낸 상품을 자사 카탈로그와 비교하면, 경쟁사는 취급하지만 나는 취급하지 않는 공백이 드러날 수 있습니다. BlackAha의 상품 공백 탐색 도구 기능은 바로 이런 비교를 중심으로 만들어졌습니다.

발견 작업은 가격 비교를 최신 상태로 유지해 줍니다. 경쟁사는 신상품을 추가하고, 기존 상품을 단종하고, 페이지 주소를 바꿉니다. 관련 영역을 주기적으로 크롤링하면 지켜볼 페이지 목록이 갱신되어, 가격 확인이 삭제된 페이지를 계속 읽거나 새 페이지를 놓치는 일이 없습니다.

크롤링 규모 잡기: 예시

예를 들어 원예 용품 소매점이 경쟁사의 야외 가구 영역을 파악하려 한다고 가정해 보겠습니다. 이 영역에는 상품이 각각 40개씩 있는 목록 페이지가 12개 있으므로, 목록 페이지 외에 상품 페이지가 약 480개입니다. 이 초에 한 번 요청하는 예의 바른 속도라면 전체를 한 번 도는 데 약 16분이 걸립니다. 같은 속도로 스토어 전체, 예컨대 30,000페이지를 크롤링하면 16시간 넘게 걸리는데, 범위 규칙이 중요한 이유가 여기에 있습니다.

범위를 좁히면 양쪽 모두 시간을 아낍니다. 실제로 경쟁하는 영역으로 크롤링을 한정하면 더 빠르고 깔끔한 결과를 얻고, 읽히는 사이트에도 부담을 덜 줍니다.

책임감 있게 크롤링하기

  • robots 규칙 파일과 사이트 이용약관을 준수하세요.
  • 요청 속도를 낮게 유지하고 가능하면 사용량이 많은 시간대를 피하세요.
  • 로그인이 필요한 영역, 장바구니, 계정 페이지에는 들어가지 마세요.
  • 브라우저 사용자를 흉내 내지 말고 크롤러임을 정직하게 밝히세요.
  • 사이트가 오류를 반환하기 시작하면 중단하거나 속도를 줄이세요.

자동화된 접근에 관한 규정은 국가마다 다르고, 수집한 데이터를 어떻게 쓰는지에 따라 달라집니다. 소유하지 않은 사이트를 크롤링할 때는 구체적인 계획에 대해 법률 자문을 받는 것이 좋습니다.

흔한 크롤링 문제

  • 달력이나 필터 조합처럼 새 주소를 끝없이 만들어 내는 무한 공간
  • 추적 매개변수나 정렬 옵션을 통해 도달하는 중복 페이지
  • 스크립트가 실행된 뒤에만 나타나 단순한 크롤러가 놓치는 콘텐츠
  • 지역, 언어, 통화에 따라 다르게 보이는 페이지
  • 크롤링이 너무 오래 걸려 마지막 페이지를 마칠 때쯤 처음 페이지가 이미 낡은 정보가 되는 경우

주소를 정규화하고, 불필요한 매개변수를 제거하고, 확실한 페이지 한도를 정하면 대부분 해결됩니다. 가격 작업에서는 발견한 각 페이지에 크롤링 날짜를 기록해 두면, 오래된 항목부터 다시 확인할 수 있어 도움이 됩니다.

마지막으로 결과에 빠진 부분이 없는지 확인하세요. 수백 개의 상품이 있어야 할 영역에서 몇 개만 나왔다면, 크롤러가 페이지 넘김 패턴이나 스크립트로 불러오는 목록을 놓쳤을 가능성이 크므로 데이터를 쓰기 전에 범위 규칙을 조정해야 합니다.

핵심 요약

  • 사이트 크롤링은 링크를 자동으로 따라가며 웹사이트의 페이지를 찾아냅니다.
  • 크롤링은 페이지를 찾고, 스크래핑은 그 페이지에서 가격 같은 특정 값을 읽습니다.
  • 스토어 소유자는 깨진 링크와 찾기 어려운 상품을 발견하려고 자기 사이트를 크롤링합니다.
  • 경쟁사 영역을 크롤링하면 구색의 공백이 드러나고 가격 비교가 최신 상태로 유지됩니다.
  • 좁은 범위, 낮은 요청 속도, 사이트 규칙 준수는 크롤링을 더 빠르고 공정하게 만듭니다.

자주 묻는 질문

사이트 크롤링과 색인은 어떻게 다른가요?

크롤링은 페이지를 방문하고 링크를 따라가는 발견 단계입니다. 색인은 그 이후 단계로, 검색 엔진이 페이지 내용을 저장하고 정리해 검색 결과에 나타날 수 있게 합니다. 크롤링되었더라도 색인되지 않는 페이지가 있을 수 있습니다.

내 스토어는 얼마나 자주 크롤링해야 하나요?

많은 스토어가 매달 전체 크롤링을 하고, 테마 업데이트나 카탈로그 가져오기 같은 큰 변경 뒤에는 가벼운 점검을 합니다. 매일 바뀌는 대형 스토어는 핵심 영역을 더 자주 크롤링하기도 합니다.

사이트맵이 크롤링을 대신하나요?

아니요, 하지만 도움이 됩니다. 사이트맵은 소유자가 찾기를 원하는 페이지를 나열해 발견 속도를 높입니다. 그래도 페이지들이 어떻게 연결되는지 보여 주고 사이트맵에 빠진 페이지를 찾는 것은 크롤링입니다.

관련 용어

BlackAha에서는 Store Platform Integration 기능으로 스토어를 연결해 상품 가격을 자동으로 동기화할 수 있습니다.

가격 용어 사전으로 돌아가기