サイトクロールとは、クローラーやスパイダーと呼ばれるプログラムが一つまたは複数のページから出発し、リンクをたどって残りのページを発見していく、Webサイト全体の自動的な巡回です。見つけたページを、ステータスコード、タイトル、リンクなどの情報とともに一覧にします。検索エンジン、SEO監査、価格調査はいずれもこれに依存しています。
クローラーがサイトを巡回する仕組み
クロールは、通常はホームページやサイトマップといったシードアドレスから始まります。クローラーはページをリクエストし、返ってきた内容を記録し、そのページ上のすべてのリンクを集めて、新しいアドレスをキューに追加します。次にキューから次のアドレスを取り出して同じことを繰り返し、すでに見たページは飛ばします。この処理は、キューが空になるか上限に達するまで続きます。
- シード:出発点となるアドレス。XMLサイトマップで補うことがよくあります。
- キュー:発見済みで、まだ訪問を待っているアドレスの一覧。
- スコープのルール:クロールが立ち入ってよいドメイン、フォルダー、ページの種類。
- 制限:最大の深さ、ページ数、リクエストの頻度。
キューの順序が結果を左右します。幅優先のクロールは、深く進む前に出発点からワンクリックのページをすべて訪問するため、主要なセクションを素早く把握できます。深さ優先のクロールは、一つの枝を最後までたどってから戻ります。ストアでは通常、幅優先が好まれます。上位にあるカテゴリーページや一覧ページから効率よく商品にたどり着けるからです。
クロールとスクレイピングの比較
クロールは発見と構造に関わり、スクレイピングは特定の値の抽出に関わります。クローラーは、どんなページが存在し、どうつながっているかという問いに答えます。スクレイパーは、あるページに何が書かれているか、たとえば価格はいくらかに答えます。競合価格のプロジェクトでは、クロールでライバルのカテゴリー内の商品ページを見つけ、スクレイパーが見つかった各ページから価格を読み取ります。
この二つのステップは、実行するスケジュールも異なります。商品一覧は価格に比べてゆっくり変わるため、チームは競合のカテゴリーを週に一度クロールしてページ一覧を更新し、既知のページからの価格読み取りは毎日行う、といった運用ができます。作業を分けることで頻繁に行う処理を軽く保ち、同じページを何度も発見し直すのを避けられます。
SEOとサイトの健全性での活用
サイト運営者は、検索エンジンと同じ視点で見るために自分のストアをクロールします。クロールによって、リンク切れ、リダイレクトの連鎖、重複したタイトル、欠けている説明文、内部リンクが一つも向いていない孤立ページ、誤ってインデックスからブロックされたページが明らかになります。
オンラインストアでは、クロール結果から、たどり着きにくい商品ページが見つかることがよくあります。ホームページから五、六クリック先にある商品や、絞り込み経由でしか表示されない商品は、検索エンジンがめったに訪れないかもしれません。内部リンクを修正すると、そうしたページを再び見つけてもらえるようになります。
クロールは、プラットフォームの移行や大規模なカタログのインポートの後の確認にも役立ちます。前後のページ一覧を比べると、どの旧アドレスがエラーを返し、リダイレクトが必要かがわかり、検索での露出も、保存したリンクや比較サイトから訪れる顧客も守れます。
価格と品揃えの調査での活用
競合の公開カテゴリーページをクロールすると、価格だけでなく何を販売しているかがわかります。発見した商品を自社のカタログと比べると、競合が扱っていて自社が扱っていない商品、つまり品揃えのギャップが見えてきます。BlackAhaの 商品ギャップ検出ツール は、まさにこうした比較を軸に設計されています。
発見は、価格比較を最新に保つことにもつながります。競合は新商品を追加し、古い商品を廃止し、ページのアドレスを変更します。関連するセクションを定期的にクロールすれば監視対象のページ一覧が更新され、価格チェックが削除済みのページを読み続けたり、新しいページを見逃したりせずに済みます。
クロールの規模を見積もる:例
例として、園芸用品の小売店が競合のアウトドア家具セクションの全体像を把握したいとします。このセクションには一覧ページが12ページあり、各ページに40商品が載っているので、一覧ページそのものに加えて約480の商品ページがあります。二秒に一回という控えめなリクエスト頻度なら、一巡するのにおよそ16分かかります。同じ頻度でストア全体、たとえば30,000ページをクロールすると16時間以上かかります。スコープのルールが重要な理由がここにあります。
スコープを絞ると、双方の時間を節約できます。実際に競合しているセクションに限ってクロールすれば、より速く整った結果が得られ、読み取られる側のサイトにかかる負荷も小さくなります。
責任あるクロール
- robotsルールファイルとサイトの利用規約を尊重する。
- リクエスト頻度を低く保ち、できるだけ混雑する時間帯を避ける。
- ログインが必要なエリア、カート、アカウントページには立ち入らない。
- ブラウザのユーザーを装わず、クローラーであることを正直に名乗る。
- サイトがエラーを返し始めたら、停止するか速度を落とす。
自動アクセスに関するルールは国によって異なり、収集したデータの使い方にも左右されます。自社が所有していないサイトをクロールする場合は、具体的な計画について法的な助言を受けるのが賢明です。
クロールでよくある問題
- カレンダーや絞り込みの組み合わせのように、新しいアドレスを際限なく生成する無限空間
- トラッキングパラメータや並べ替えオプション経由でたどり着く重複ページ
- スクリプトの実行後にしか表示されず、単純なクローラーが見逃すコンテンツ
- 地域、言語、通貨によって表示が変わるページ
- 実行時間が長すぎて、最後のページが終わる頃には最初のページの情報が古くなっているクロール
アドレスの正規化、不要なパラメータの除去、明確なページ数の上限設定で、これらの大半は解決します。価格調査では、発見した各ページにクロール日を記録しておくと、古い項目から優先的に再チェックできて便利です。
最後に、出力に抜けがないか確認しましょう。数百の商品があるはずのセクションでわずかしか返ってこない場合、クローラーがページ送りのパターンやスクリプトで読み込まれる一覧を見逃している可能性が高く、データを使う前にスコープのルールを調整する必要があります。
要点
- サイトクロールは、リンクを自動的にたどってWebサイトのページを発見します。
- クロールはページを見つけ、スクレイピングはそこから価格などの特定の値を読み取ります。
- ストア運営者は自社サイトをクロールして、リンク切れやたどり着きにくい商品を見つけます。
- 競合のセクションをクロールすると、品揃えのギャップがわかり、価格比較を最新に保てます。
- 狭いスコープ、低いリクエスト頻度、サイトのルールの尊重によって、クロールはより速く公正になります。
よくある質問
サイトクロールとインデックスの違いは何ですか?
クロールは発見の段階で、ページを訪問してリンクをたどります。インデックスはその後の段階で、検索結果に表示できるよう検索エンジンがページの内容を保存・整理します。クロールされてもインデックスされないページもあります。
自分のストアはどのくらいの頻度でクロールすべきですか?
多くのストアでは、月に一度フルクロールを行い、テーマの更新やカタログのインポートなど大きな変更の後に軽いチェックを行っています。毎日変化する大規模ストアでは、主要なセクションをより頻繁にクロールすることもあります。
サイトマップがあればクロールは不要ですか?
いいえ、ただし役には立ちます。サイトマップは所有者が見つけてほしいページの一覧で、発見を早めます。それでもクロールによって、ページ同士のリンク構造がわかり、サイトマップから漏れたページも見つかります。
関連用語
BlackAhaでは、 Store Platform Integration を使えば、ストアを連携して商品価格を自動で同期できます。