「新しく公開したページが、なかなか検索結果に表示されない」「Search Consoleで『検出 – インデックス未登録』のページが増えている」と悩むWeb担当者は少なくありません。こうした場面でよく話題になるのが、Googleがサイトを巡回できる量の目安を示す「クロールバジェット」です。
一方で、クロールバジェットは、すべてのサイトが気にすべきものではありません。Googleは、主に大規模なサイトや更新頻度の高いサイトに向けた考え方だと説明しています。自社のサイトに関係があるのかを見極めたうえで、必要な対策を行うことが大切です。
本記事では、クロールバジェットの意味と仕組み、意識すべきサイト、クロールバジェットを無駄にする要因、状況の確認方法、最適化の方法、やってはいけない対策、小規模なサイトで優先すべきことまでを順番に解説します。
| 確認したいポイント | 結論 | 詳細 |
|---|---|---|
| クロールバジェットとは何？ | Googleが巡回できて巡回が必要なURLの量 | クロール能力の上限とクロールの必要性の2つで決まります。巡回の量が多いほど順位が上がるわけではありません。 |
| 自社サイトも気にすべき？ | 主に大規模サイトや更新頻度の高いサイトが対象 | Googleは100万ページ以上や1万ページ以上で毎日更新のサイトなどを目安に挙げています。小〜中規模なら基本的に不要です。 |
| どう最適化すればよい？ | 価値の低いURLを減らし重要ページを巡回させる | 重複の統合、robots.txtでのブロック、404や410の返却、サイトマップの更新、リダイレクト連鎖の解消などに取り組みます。 |
クロールバジェットとは？Googleが巡回できるURLの量の目安
クロールバジェットとは、Googleのクローラー（Googlebot）が、一定の期間にサイトの中で巡回できる、かつ巡回する必要があると判断したURLの量のことです。Googleの資源には限りがあるため、どのサイトのどのページを、どの程度の頻度で巡回するかには上限と優先順位があります。
ここでは、Googleによる定義と、クロールバジェットを決める2つの要素を整理します。
Googleによるクロールバジェットの定義
Google検索セントラルのクロールバジェットの管理に関するページでは、クロールバジェットは、Googleによるクロールが可能であり、かつクロールが必要なURLの集まりと定義されています。
このクロールバジェットは、「クロール能力の上限」と「クロールの必要性」という2つの要素で決まると説明されています。サイトがどれだけの巡回に耐えられるかと、Googleがそのサイトをどれだけ巡回したいかの組み合わせで、実際に巡回される量が決まると考えると分かりやすくなります。
クロール能力の上限
クロール能力の上限とは、サイトのサーバーに過度な負担をかけずに、Googlebotが巡回できる量の上限です。Googlebotは、サイトのサーバーに迷惑をかけないよう、同時に行う接続の数や、巡回の間隔を調整しています。
サーバーの応答が速く安定していれば上限は上がり、応答が遅かったり、サーバーのエラーが続いたりすると上限は下がります。サーバーの性能や安定性が、巡回の量に直接影響するということです。
クロールの必要性
クロールの必要性とは、Googleがそのサイトのページをどれだけ巡回したいかを示すものです。サイトで見つかったURLの数、ページの人気、情報の古さなどによって決まります。
多くのユーザーに見られている人気のページや、内容が頻繁に更新されるページは、より頻繁に巡回されます。反対に、重複したページや価値の低いページが多いと、巡回の時間がそうしたページに使われ、重要なページの巡回が後回しになることがあります。
クロールバジェットを意識すべきサイト
クロールバジェットは、すべてのサイトが気にする必要のあるものではありません。自社のサイトが対象になるのかを確認してから、対策に取り組みましょう。
Googleが対象として示しているサイト
Googleは、クロールバジェットの管理が必要になるサイトの目安として、次のようなサイトを挙げています。1つ目は、重複のないページが100万以上あり、週に1回程度更新されるサイトです。2つ目は、重複のないページが1万以上あり、ほぼ毎日更新されるサイトです。
3つ目は、Search ConsoleでURLの大部分が「検出 – インデックス未登録」に分類されているサイトです。大規模なECサイトや求人サイト、不動産のポータルサイト、ニュースサイトなどが、主な対象になります。これらの数値は目安であり、正確な基準ではないとされています。
ページ数が少なくても、絞り込みやパラメータによってURLが大量に生まれている場合は、実際に巡回の対象となるURLの数が想定よりはるかに多くなっていることがあります。管理しているページの数だけでなく、Googleが見つけているURLの数も確認しておきましょう。
小〜中規模のサイトは基本的に気にしなくてよい
数百から数千ページ程度のサイトや、更新の頻度がそれほど高くないサイトでは、クロールバジェットが問題になることはほとんどありません。Googleも、ページを公開した当日に巡回されるようなサイトは、クロールバジェットについて気にする必要はないと説明しています。
小〜中規模のサイトで新しいページが検索結果に表示されない場合は、クロールバジェットよりも、ページの品質やインデックスの設定に原因があることが多いと考えましょう。インデックスされない原因の確認方法は「Googleにインデックスされない原因と対処法」で解説しています。
クロールバジェットは順位を決める要素ではない
クロールバジェットについて、よくある誤解が、「巡回される量が多いほど検索順位が上がる」という考え方です。巡回はページがインデックスされるための前提ですが、巡回の量そのものが順位を決めるわけではありません。
クロールバジェットの最適化は、重要なページを確実に、早く巡回してもらうための取り組みであり、順位を直接上げる施策ではないと理解しておきましょう。巡回された後に評価されるかどうかは、ページの内容で決まります。
クロールバジェットを無駄にする主な要因
クロールバジェットに関わる問題の多くは、価値の低いURLが大量に存在し、Googlebotの巡回の時間がそうしたURLに使われてしまうことで起こります。ここでは、クロールバジェットを無駄にする代表的な要因を紹介します。
絞り込みやパラメータで生まれる大量のURL
ECサイトの絞り込み機能や並べ替え機能は、条件の組み合わせごとに別のURLを作ることがあります。色、サイズ、価格帯、並び順などの組み合わせが増えると、ほぼ同じ内容のURLが膨大な数になります。
閲覧の記録を管理するためのセッションIDや、広告の計測用のパラメータがURLに付く場合も、同じ内容のページが別のURLとして大量に生まれる原因になります。
重複したページ
同じ内容のページが、wwwの有無やhttpとhttps、末尾のスラッシュの有無など、複数のURLで表示される状態も、巡回の無駄につながります。印刷用のページや、内容のほぼ同じ商品ページが多数ある場合も同様です。
重複したページは、巡回の無駄になるだけでなく、検索エンジンの評価が分散する原因にもなります。内容が重なるページの考え方は「重複コンテンツとは？SEOへの影響」で解説しています。
ソフト404やエラーのページ
内容が空白やエラーの案内だけのページが、正常を示す200のステータスを返している状態を、ソフト404と呼びます。Googleはこうしたページも巡回し続けるため、巡回の時間が無駄になります。
削除したページや存在しないページは、404や410のステータスを正しく返すようにしましょう。サーバーのエラー（5xx）が頻繁に発生すると、Googleはサーバーに負担がかかっていると判断し、巡回の量を減らします。
無限に生成されるページ
カレンダーの「次の月」のリンクのように、たどるたびに新しいURLが際限なく生成される仕組みがあると、Googlebotが価値の低いURLを延々と巡回してしまうことがあります。こうした状態は「無限のスペース」と呼ばれます。
サイト内検索の結果ページが、検索語句ごとに大量のURLとして生まれる場合も、同じような問題につながります。
低品質なページやハッキングされたページ
内容の薄いページや、自動で大量に作られたページが多いと、サイト全体の巡回の必要性が下がることがあります。第三者にサイトを改ざんされ、スパムのページが大量に作られている場合も、巡回の無駄になるだけでなく、サイトの評価にも深刻な影響を与えます。
価値の低いページは、改善するか、統合するか、削除するかを判断しましょう。ハッキングの被害は、Search Consoleの「セキュリティの問題」で確認できます。
遅いサーバーとリダイレクトの連鎖
サーバーの応答が遅いと、Googlebotが一定の時間内に巡回できるページの数が減ります。リダイレクトが何段階も連続する状態（リダイレクトチェーン）も、1つのページにたどり着くまでに余計なリクエストが必要になり、巡回の効率を下げます。
ページの表示速度の改善は、ユーザーの体験だけでなく、巡回の効率の向上にもつながります。表示が遅くなる原因と改善方法は「Webサイトの表示が遅い原因と改善方法」で解説しています。
| 【大規模サイトの技術的なSEOを見直したい方へ】 「ページ数が多く、新しいページがなかなかインデックスされない」という方に向けて、合同会社楽々Editではサービス内容や支援実績を整理した資料を無料で提供しています。社内での検討資料としてご活用ください。 → サービス資料を無料でダウンロードする |
クロールの状況を確認する方法
クロールバジェットに問題があるかどうかは、データで確認できます。対策を始める前に、現在の巡回の状況を把握しましょう。
Search Consoleのクロールの統計情報を確認する
Google Search Consoleの「設定」にある「クロールの統計情報」では、Googlebotがサイトに送ったリクエストの総数、ダウンロードしたデータの量、サーバーの平均応答時間などの推移を確認できます。
レスポンスの種類ごとの内訳を見ると、404やリダイレクト、サーバーのエラーに多くのリクエストが使われていないかが分かります。ホストの状態の項目では、robots.txtの取得やサーバーの接続に問題がなかったかも確認できます。
ページのインデックス登録のレポートを確認する
「ページのインデックス登録」のレポートでは、インデックスに登録されていないURLと、その理由を確認できます。特に、「検出 – インデックス未登録」に分類されたURLが多い場合は、Googleがページの存在を知っているものの、まだ巡回していない状態を示しています。
「検出 – インデックス未登録」のURLの中に、重要なページが多く含まれているかどうかを確認しましょう。価値の低いURLばかりであれば、巡回させる必要のないURLを減らす対策が有効です。
サーバーのログを分析する
大規模なサイトでは、サーバーのアクセスの記録（ログ）を分析すると、Googlebotが実際にどのURLを、どの頻度で巡回しているかを詳しく確認できます。
重要なページがほとんど巡回されていない一方で、パラメータ付きのURLや古いページが頻繁に巡回されている場合は、巡回の無駄が発生しているサインです。ログの分析には専用のツールを使うと効率的です。
クロールバジェットを最適化する方法
クロールバジェットの最適化の基本は、価値の低いURLを減らし、重要なページを効率よく巡回してもらえる状態を作ることです。Googleの公式な説明に沿って、次の7つの方法に取り組みましょう。
重複したページを統合する
同じ内容のページが複数のURLで表示されている場合は、1つのURLに統合しましょう。URLの表記の揺れは、301リダイレクトで正規のURLに転送します。
内容がほぼ同じページは、1つのページに統合するか、canonicalタグで正規のURLを伝えましょう。統合によって、巡回の無駄を減らすと同時に、評価を1つのページに集められます。
巡回させる必要のないURLはrobots.txtでブロックする
絞り込みの組み合わせや並べ替え、サイト内検索の結果など、検索結果に表示させる必要がなく、巡回させる必要もないURLは、robots.txtでクロールを禁止しましょう。
ただし、robots.txtでブロックしたURLは、内容を読み取られなくなるため、インデックスへの登録などにも影響します。ブロックする対象は、検索から集客する必要がないことを確認したURLに限りましょう。
削除したページは404や410を返す
削除したページや存在しないページは、404または410のステータスを返すようにしましょう。正しいステータスを返すことで、Googleはそのページを再び巡回する必要がないと判断しやすくなります。
ソフト404と判断されているページは、Search Consoleの「ページのインデックス登録」のレポートで確認し、正しいステータスを返すように修正します。
サイトマップを最新の状態に保つ
XMLサイトマップには、インデックスさせたい重要なページだけを含め、ページの追加や削除にあわせて最新の状態に保ちましょう。内容を更新したページには、更新日を示すlastmodの情報を正しく設定します。
サイトマップは、Googleに重要なページを伝える手段の1つです。重複したページや、リダイレクトするページ、エラーのページをサイトマップに含めないよう注意しましょう。
リダイレクトの連鎖を解消する
リダイレクトが何段階も連続している場合は、最初のURLから最終的なURLへ直接転送されるように修正しましょう。サイトの中のリンクも、リダイレクトを経由せずに、最終的なURLに直接向けておくことが大切です。
サイトのリニューアルを何度も行っているサイトでは、古いリダイレクトの上に新しいリダイレクトが重なり、連鎖が起きていることがよくあります。
サーバーの応答とページの読み込みを速くする
サーバーの応答時間を短くし、ページの読み込みを速くすると、Googlebotが同じ時間でより多くのページを巡回できるようになります。サーバーの性能の見直しや、キャッシュの活用、不要なリソースの削減に取り組みましょう。
内容が変わっていないページには、変更がないことを示す304のステータスを返す仕組みを使うと、巡回の負担を減らせます。
内部リンクで重要なページを示す
重要なページには、トップページやカテゴリのページなど、サイトの中の多くのページからリンクを設置しましょう。内部リンクが多く集まるページは、Googleにとっても見つけやすく、重要なページだと伝わりやすくなります。
どこからもリンクされていない孤立したページは、巡回されにくくなるため、サイトの構造の中に正しく組み込むことが大切です。リンクの文言の考え方は「アンカーテキストとは？」で解説しています。
| 【クロールとインデックスの問題を含む技術的なSEOを支援します】 「大規模なサイトの巡回やインデックスの問題を解決したい」という方に向けて、楽々EditのSEOコンサルティングでは、サイトの技術的な分析から改善の優先順位づけ、コンテンツの改善までを一貫して支援します。順位ではなく問い合わせや売上をゴールにした設計が特長です。 → SEOコンサルティングの詳細を見る |
クロールバジェットの対策でやってはいけないこと
クロールバジェットの対策として紹介されている方法の中には、効果がないものや、逆効果になるものもあります。Googleの説明をもとに、避けるべき対策を確認しておきましょう。
noindexでクロールバジェットを節約しようとする
noindexは、ページを検索結果に表示しないための設定です。noindexを設定したページも、Googleはnoindexの指定を確認するために巡回するため、クロールバジェットの節約にはなりません。
Googleも、noindexはクロールバジェットを節約する手段にはならないと説明しています。巡回そのものを減らしたい場合は、robots.txtでのブロックや、URLの数そのものを減らす対策を選びましょう。
robots.txtで一時的にバジェットを配分しようとする
一部のページをrobots.txtで一時的にブロックすれば、その分のクロールバジェットがほかのページに回されると考える人もいます。しかし、Googleは、サイトがクロール能力の上限に達していない限り、ブロックした分がほかのページに回されることはないと説明しています。
robots.txtは、恒久的に巡回させたくないページをブロックするために使うものと考えましょう。
CSSやJavaScriptなど重要なファイルをブロックする
巡回の量を減らそうとして、ページの表示に必要なCSSやJavaScriptのファイルをrobots.txtでブロックすると、Googleがページを正しく表示して内容を理解できなくなるおそれがあります。
ページの表示に必要なファイルはブロックせず、巡回させる必要のないURLだけを対象にすることが大切です。
インデックス登録のリクエストを繰り返す
Search ConsoleのURL検査から、インデックス登録のリクエストを何度も送っても、巡回の量が大きく増えるわけではありません。リクエストには1日あたりの上限もあります。
リクエストは、新しく公開した重要なページや、内容を大きく更新したページに限って活用しましょう。根本的な改善には、サイトの構造や品質を見直すことが必要です。
小〜中規模のサイトで優先すべきこと
クロールバジェットを気にする必要のない規模のサイトでも、巡回とインデックスを確実にするための基本は大切です。小〜中規模のサイトでは、次の3つに優先して取り組みましょう。
ページの品質を高める
小〜中規模のサイトで新しいページがインデックスされない場合、多くはページの品質に原因があります。検索する人の役に立つ独自の内容になっているか、ほかのページと内容が重なっていないかを見直しましょう。
内容の薄いページが多い場合は、加筆して充実させるか、関連するページと統合することを検討しましょう。既存のページの改善方法は「コンテンツリライトの方法」で解説しています。
サイトマップと内部リンクの基本を整える
XMLサイトマップをSearch Consoleから送信し、新しいページを公開したら関連するページから内部リンクを設置しましょう。サイトの構造が分かりやすく、すべてのページにリンクでたどり着ける状態を作ることが基本です。
新しいページを、トップページや関連する記事からリンクしておくと、Googleに早く見つけてもらいやすくなります。
技術的な問題を定期的に確認する
小〜中規模のサイトでも、リンク切れや重複したページ、エラーのページが少しずつ増えていくことがあります。月に1回程度、Search Consoleのレポートを確認し、半年に1回程度はサイト全体を点検しましょう。
問題が小さいうちに対処しておくと、サイトが大きくなったときにも巡回の効率を保ちやすくなります。サイト全体の点検の方法は「SEOチェックのやり方」で紹介しています。
| 【インデックスやクロールの問題を無料で確認します】 「新しいページが検索結果に表示されない」「『検出 – インデックス未登録』が増えている」という方は、楽々Editの無料相談をご活用ください。サイトの現状を確認し、成果につながる改善策をご提案します。 → 無料相談を申し込む |
まとめ
クロールバジェットとは、Googleがサイトの中で巡回できる、かつ巡回する必要があると判断したURLの量のことで、クロール能力の上限とクロールの必要性の2つの要素で決まります。主に大規模なサイトや更新頻度の高いサイト、「検出 – インデックス未登録」が多いサイトが意識すべきもので、小〜中規模のサイトでは基本的に気にする必要はありません。
最適化の基本は、重複したページの統合、巡回させる必要のないURLのrobots.txtでのブロック、削除したページでの404や410の返却、サイトマップの更新、リダイレクトの連鎖の解消、サーバーの応答の改善、内部リンクによる重要なページの明示です。noindexではクロールバジェットを節約できない点にも注意しましょう。
Search Consoleのクロールの統計情報とページのインデックス登録のレポートで状況を確認し、価値の低いURLを減らして重要なページを効率よく巡回してもらえるサイトを目指しましょう。