クローラーとは？SEOにおける対策方法と重要性について解説
検索意図に合致した高品質なコンテンツを作成したとしても、Googoleなどの検索エンジンにクロールされインデックスされなければ検索上位に表示されることはありません。
更に、クロールは単発ではなく高頻度で何回もクロールされることで、より正確にインデックスされることで検索評価にも影響することになります。
この記事では以下の内容についてまとめました。
- SEO対策におけるクロールとは？
- SEO対策におけるクローラーの重要性
- クローラーの巡回を促す対策
- ウェブページをクロールさせない方法
そこで当記事をご覧になれば、SEO対策におけるクロールや対策方法など理解することができるでしょう。
ぜひ最後までご覧ください。
SEO対策におけるクロールとは？
SEOでは、クローラーと呼ばれるロボットがWebページを発見し巡回することで、そのページの内容を読み込みます。
クロールとは、コンテンツや画像やファイルなどを収集すること、またはクローリングと言います。
SEOにおいて必要不可欠なことは、クロールされることがあげられ、いかに最適にクロールされるようにするかが重要です。
クロールについて、以下のようにまとめました。
- インデックス
- クローラーの種類
- Googlebot
この項目では、クロールについて解説します。
インデックス
インデックスとは、WebページがGoogleなどの検索エンジンのデータベースに登録されることを意味します。
また「インデックスされる」とは、Googleなどの検索エンジンがWebページに記載されたテキストや画像、動画ファイルなどが解析され、検索アルゴリズムに適した状態でデータベースに登録することです。
クローラーの種類
クローラーは、それぞれの検索エンジンごとに存在します。
- Googleのクローラー：Googlebot
- Bingのクローラー：Bingbot
- Yahoo!のクローラー：日本ではGooglebot、海外ではBingbot
- 百度（Baidu）のクローラー：Baiduspider
日本では、Googleの検索エンジンがシェアの多数を占めているので、Googlebotのしくみを十分に理解しておくことが重要です。
Googlebot
Googlebotとは、GoogleのWebクローラーの総称です。
クローラーには、デスクトップ用のクローラーとスマートフォン用のモバイルクローラーの2種類が存在します。
Googleでは、モバイルファーストインデックス（MFI）を導入しているため、現在は大半ののサイトがスマートフォン用Googlebotでクロールされています。
そのため、Webページをモバイルに対応させておくことが重要です。
SEO対策におけるクローラーの重要性
クローラーはSEOにおいて重要な役割を果たしています。
クローラーが収集した情報をもとに形成されたデータベースをもとに検索結果は作られるため、クローラーの役割は重要と言えます。
Webページの内容が素晴らしいコンテンツであったとしても、クローラーに認知されなければ、検索結果に表示されません。
つまり、せっかく作った自社サイトが検索結果に表示されないことで、ユーザーに閲覧してもらう機会がないということになり、集客につなげることも難しくなってしまいます。
クローラーはサイト内の全ての情報を、一度のクローリングで解析できるわけではなく、複数回に分けてサイトに訪れ解析するのです。
そのため、常に正確な情報が掲載されている有益なサイトには、何度もクローラーが訪れ、結果としてコンテンツが評価されるようになり、順位の向上も見込めることになります。
このように、Webサイト運営者にとっては、まずはクローラーに自社サイトを見つけてもらうことで自社サイトのコンテンツ内容を高く評価してもらうSEOとしての施策が重要となります。
クローラーの巡回を促す対策
クローラーの巡回を促す対策として、検索エンジンのクローラー見つけやすく理解しやすいサイトやコンテンツにする必要があります。
このことを、クローラビリティといいます。
クローラビリティを向上させる7つのポイントをまとめました。
- クロールをリクエストする
- URLを見直す
- XMLサイトマップを作成する
- robots.txtを設置する
- 内部リンクを最適化する
- リンクが切れているWebページを減らす
- パンくずリストを設定する
この項目では、7つのポイントについて解説します。
クロールをリクエストする
自社サイトに新しくページを追加したりページを更新した場合、Googleの検索エンジンに関しては、クロールをリクエストすることが可能なので、リスエストを行いましょう。
まずはGoogleサーチコンソールへの登録をおこなう必要があります。
Googleサーチコンソールへの登録に関しては、下記よりご覧ください。
URLを見直す
URLを見直す具体的な方法は、「301リダイレクト」というHTTPステータスコードの実装することです。
参考：301リダイレクトとは？設定・確認方法やSEOへの効果を解説
XMLサイトマップを作成する
XMLサイトマップとは、検索エンジンに任意のWebサイトのページ内容を理解してもらうため、サイト全体を一覧できる設計図のようなものです。
クローラーは基本的に適切に内部リンクが張り巡らされているサイトであれば、ほとんどのページをクローリングしますが、インターネット空間にある膨大なページを理解するには時間が必要となります。
そこで、サーバーに作成したXMLサイトマップを設置し、Googleサーチコンソールを使ってサイトマップを送信することで、XMLサイトマップのデータを参考にWebサイト内をクロールし情報収集をするのです。
参考：XMLサイトマップとは？役割やSEO効果、作成方法を解説
robots.txtを設置する
省略することも可能とされている項目となりますが、サイトマップを記述することで指定したクローラーが早く自社サイトを巡回してくれる可能性があります。
robots.txtにはサイトマップのURLを記述することが可能です。
自社サイトのクローラビリティを高めるためにも記述しておきましょう。
内部リンクを最適化する
クローラーはリンクを辿ってサイト内を巡回するので、内部リンクが張り巡らされているサイトは、それだけ多くのページへクローラーがたどり着きやすくなります。
内部リンクについては、SEOにおいても重要な施策です。
サイトの網羅性を高めたり特定のトピックにおける関連性を強めたりする施策として、関連するコンテンツをリンクでつなぐことで可能になります。
設置するリンクはユーザーの興味を持てる関連コンテンツで問題ありません。
リンクが切れているWebページを減らす
リンク切れとは、リンク先のURLの変更やサイトの削除や閉鎖などの理由によりアクセスできない状態のことを指します。
リンク切れは以下の点に注意する必要があります。
- クローラビリティの低下
- ユーザビリティの低下
クローラーにとって、クローリングできないページが散乱するサイトでは、クローラビリティがよい状態とは言えず、ユーザーにとっても閲覧できない状態になっていればストレスもかかります。
Googleサーチコンソールからリンク切れのページは確認可能ですので、定期的にチェックしてみましょう。
パンくずリストを設定する
クローラーはリンクをたどっていくため、パンくずリストを設置することで回遊率の向上が期待できます。
パンくずリスト（英：Breadcrumb List）とは、現在閲覧しているページがサイト内のどの位置にあるかを階層構造を示したリンク付きのリストのことです。
上位ページの箇所にはリンクが貼られており、クリックすると上位階層に瞬時に戻ることもできます。
また、検索エンジンから見てもWebサイト内のどの階層にいるのかを認識しやすくなるため、「理解しやすいサイト」になるでしょう。
サイトにアクセスしたユーザーにとっても視覚的にわかりやすく表示されるため、ユーザビリティの向上も見込めます。
ウェブページをクロールさせない方法
クローラーに巡回を促すだけでなく、逆にクローラーの巡回をブロックすることもできます。
例えば、検索結果に表示させる必要性がないサイトのテスト表示やサーバーに負荷をかけるファイルや意図的に表示させたくないページに対し、ブロック制御の指示を出すことが可能です。
Webページでクロールさせない方法について、以下のようにまとめました。
- robot.txtを使う
- Basic認証を使う
この項目では、2つの点について解説します。
robot.txtを使う
robot.txtは、検索エンジンのクローラーに対して、どのページやディレクトリをクロールするかを制御するためのテキストファイルです。
robot.txtでは、クロール自体を完全に拒否することができます。
noindexを設定してあるページでもクロールを止めてしまうため、検索エンジンはnoindex自体を検知できずインデックスを制御する目的にはあまり有効ではないため注意して利用してください。
Basic認証を使う
Basic認証とは特定ページやディレクトリにアクセス制限をかける方法で、ページにパスワードを設定することで、検索エンジンはそのページをクロールできなくなります。
「.htaccessファイル」を利用する方法がBasic認証には、一般的です。
この方法は手軽にアクセス制限ができますが、セキュリティとしては脆弱なものですので、簡易的なアクセス制限目的の利用にとどめておいた方がよいでしょう。
重要な情報の保護目的には使わないことをおすすめします。
クローラーがWebサイトを巡回したか確認する方法
クローラーがWebサイトを巡回したか確認するには以下の2つの方法があります。
- 「site：」で検索する
- Googleサーチコンソールで確認する
この項目では、2つの方法について解説します。
「site：」で検索する
URLやドメイン名の前に「site:」を入れて検索エンジンの検索窓で検索すると、サイトのインデックスの状況を簡易的に確認することができます。
また、PC検索であれば「ツール」からインデックスの期間を絞り込むことで、該当の期間内にインデックスされたページの件数を調べることもできます。
インデックスされていれば検索結果に表示されますが、簡易計測であることに注意しましょう。
Googleサーチコンソールで確認する
Googleサーチコンソールを使用すれば、ページがインデックスされているかどうか調べることができます。
Googleサーチコンソールは、ユーザーがどのキーワードで検索したときに結果としてどのように表示されたかなど、サイトのアクセス前のデータを取得できるのが特長です。
Googleサーチコンソールを使えば、ページがインデックスされているかどうか簡単に調べることができます。
まとめ
本記事では、SEO対策におけるクローラーの重要性や対策方法について、以下のように解説しました。
- SEO対策におけるクロールとは？
- SEO対策におけるクローラーの重要性
- クローラーの巡回を促す対策
- ウェブページをクロールさせない方法
検索順位が上がれば自社サイトへのクリック数の増加が期待できますが、検索順位があがるだけでは不十分です。
検索結果ページの中でユーザーの注目をひくことで、クリックしてもらえるような対策ができているかを考える必要があります。
Google Search Consoleなどのツール活用しながら定期的に自サイトのクリック率を調査し、検索順位に対して著しく低いという場合は注意が必要です。
タイトルやメタディスクリプションの最適化など、今回ご紹介したSEO対策を行って、クリック率の上昇を目指しましょう。