検索エンジンのロボットが、Webサイトを巡回する「クロール」の促進はSEOにおいて、必ず取り組むべき施策の1つです。
しかし、クロールが何なのかが分かっていない人や、クロールを促進する方法が分からない人も多いのではないでしょうか。
本記事では、クロールの概要を解説するとともに、クロール状況の確認の仕方や、クロールを促す方法について解説します。
SEOにおいて、必須の内容となっているので、ぜひ参考にしてください。
目次
クロール（クローリング）とは
クロールとは、検索エンジンのロボットが、Webサイトを巡回しHTMLファイルなどの読みこみを行い、Webページを検索結果として表示させるためのデータベースに登録することです。
クロールを行うロボットのことを、「クローラー」と言い、クローラーはできる限りWebサイトから情報を収集します。
収集する情報としては、HTMLファイルやPHPファイルはもちろんのこと、その中に記載されているリンク先の情報も含まれます。
これらの情報を基に、サイトの構造を把握した状態でデータベースへの登録を行うのです。
当然ながら、クローリングされていないWebサイトは検索結果に表示されないため、クローラーがWebサイトを見つけられるようにリクエストを送ったり、Webサイトをクロールしやすい状態に整えたりすることが必要です。
なお、Webサイトをクロールしやすい状態に整えることを「クローラビリティを高める」と言います。
関連記事
・クローラビリティーを考慮してSEO効果を上げるコンテンツ設計について
・SEOとは？SEO対策の基礎知識と具体的な方法を詳しく解説
クローラーの種類
一口にクローラーと言っても、検索エンジンによってクローラーの種類は異なります。
それぞれの検索エンジンにおける、クローラーは以下のとおりです。
・ Google：Googlebot
・ Bing：bingbot
・ 百度：Baiduspider
・ NAVER：Yetibot
なお、日本でSEOを行う場合は、Googlebotのみを考慮してサイトを制作する形で問題ありません。
なぜなら、日本では、Googleが検索エンジンのシェアNo.1であるうえに、2番目のシェアを誇るYahoo!もGoogleのクローラーとアルゴリズムに則って、検索結果を表示しているからです。
つまり、Googlebotに評価されることが、国内での検索順位を高めることに直結するのです。
関連記事
・クローラーとは？検索エンジンの仕組みを解説します！
・BingのSEO対策は意外にも重宝されるその理由とは！Bing集客を徹底解説！
クローラーはHTMLファイル以外も読み込む
先述したように、クローラーはWebサイト上の様々な情報を読みこみます。
HTMLファイル以外で、クローラーが読みこむファイルや情報の代表例は以下のとおりです。
・ PHPファイル
・ Flash内やJavaScriptによって生成されたリンク
・ PDFファイル
・ WordやPowerPointなどによって作成されたファイル
ここで押さえるべきことは、クローラーは文字を認識して、その情報を基に検索順位を決めているということです。
つまり、Webサイト内に入っている画像や音声などを認識することはありません。
そのため、画像にはAlt属性などの代替テキストを入れるなどの施策を行いましょう。
関連記事：Alt属性（オルト属性）とは？正しい書き方とSEO対策への影響度合いを解説！
クローリングを確認する方法
クローリングを確認する方法は、以下のとおりです。
・ Googleサーチコンソールを開く
・ 実際にデータを確認する
それぞれ順番に解説します。
Googleサーチコンソールを開く
Googleサーチコンソールとは、Googleが提供している無料ツールのことです。
Googleサーチコンソールでは、Webサイトがどれだけクロールされているかを確認したり、クロールのリクエストを行えます。
Googleサーチコンソールで、Webサイトのクロール状況を確認する方法は以下のとおりです。
・ Googleサーチコンソールにログインし、左サイドバーから「設定」を選択する
・ 「クロールの統計情報」から「レポートを開く」を選択する
上記の手順を踏むことで、クロールの統計情報のグラフが表示され、どの程度クロールしているのかを視覚的に確認できます。
関連記事：Google Search Console（サーチコンソール）とは？設定方法や使用用途を解説
実際にデータを確認する
Googleサーチコンソールを使わずに、クローリングを確認する方法があります。
Googleの検索窓に、クロールの有無を確認したいWebサイトのURLを入力し、検索結果として該当するWebサイトが検索結果として出てくれば、クロールされている証です。
また、キャッシュを表示することで、いつGoogleが情報を更新したのかを確認できます。
もし、Webサイトを更新したつもりであるにも関わらず、キャッシュの表示が更新前の日付である場合は、サーチコンソールからクロールのリクエストを送りましょう。
クローラーにクローリングさせるためには
クローラーにクローリングさせるためには、以下の手順を踏むことが大切です。
・ サイトマップを送信する
・ URL検査でURLを送信する
・ Webサイトの記事数を増やす
・ 内部リンクを相互に結ぶ
それぞれ順番に解説します。
サイトマップを送信する
クロールリクエストを送るためには、サイトマップをGoogleに送信する必要があります。
サイトマップとは、Webサイト全体の構成を一覧するものであり、XMLサイトマップをGoogleに送信することで、Googleはサイト全体の構成を認識します。
サイトマップをGoogleに送信することで、新規ページや更新したページをGoogleが認識しやすくなるため、インデックスされるまでの期間の短縮が可能です。
サイトマップを送信する方法は以下のとおりです。
・ Googleサーチコンソールにログインする
・ サイドバーの「インデックス」から「サイトマップ＞新しいサイトマップの追加」を選択
・ あらかじめ作成し、本番環境にアップロード済みのサイトマップファイル（sitemap.xml）のURLを記述し、送信する
なお、Webサイトの更新の度に、自動的にサイトマップを更新し、Googleに送信されるようなシステムを組んでおくと非常に便利です。
WordPressでWebサイトを運用している人は、プラグインなどで設定が可能なので、確認してみると良いでしょう。
関連記事
・サイトマップ（構成図）の作り方を解説！SEO対策に適したサイトマップとは
・インデックスとは？Google検索におけるSEO効果と登録方法、重要性を解説
URL検査でURLを送信する
GoogleサーチコンソールのURL検査の機能を使えば、URLがインデックスされているかを確認するとともに、クロールのリクエストを行えます。
URL検査でURLを送信し、クロールのリクエストを行う方法は以下のとおりです。
・ Googleサーチコンソールの左サイドバーの「URL検査」を選択
・ 送信したいURLを入力する
・ インデックスされている記事の場合は、「URLはGoogleに登録されています」の文言が現れます。その右下にある「インデックス登録をリクエスト」を選択することで、クロールのリクエストが可能です。
また、インデックスされていない場合は、「URLはGoogleに投稿されていません」の文言が現れるものの、「インデックス登録をリクエスト」を選択することで、インデックス登録を促せます。
Webサイトの記事数を増やす
Webサイトがインデックスされていない要因の1つとして、Webサイト内のコンテンツが少ないことが挙げられます。
コンテンツが少ない場合、クローラーがWebサイトを回遊しにくくなるため、Webサイトの記事数を増やすことで、クロールを促すことができる可能性があります。
関連記事：コンテンツの正しい意味合いを理解しましょう！良質なコンテンツとは何か
内部リンクを相互に結ぶ
内部リンクを相互に結ぶことも、クロールの促進には有効です。なぜなら、先述したとおり、クローラーはHTMLファイルに記載されたリンク先の情報も収集するからです。
相互に内部リンクを結ぶことで、すでに繋がれたページがクロールされたタイミングでそのページもクロールされる可能性があるため、結果としてクローリングの促進に繋がります。
クローリングはSEOの第一歩
クローリングはSEOの第一歩です。クローリングについて押さえておくべきことは、以下のとおりです。
・ クローリングされなければインデックスされない
・ クロール頻度が多くなるほどインデックス速度は速まる
それぞれ順番に解説します。
クローリングされなければインデックスされない
先述したとおり、クロールとはクローラーがWebサイト内の情報を読み取り、Googleの検索結果として表示させるデータベースに登録することです。
そのため、クローリングされなければ、インデックスされることもないため、検索結果として表示されることもありません。
Webサイトに新しいページを作ったり、更新したりしたタイミングでインデックスリクエストを行い、クローリングを促しましょう。
クロール頻度が多くなるほどインデックス速度は速まる
クロールの頻度が多くなるほど、ページの更新や追加後のインデックス速度は速まります。
なぜなら、頻度が多いほどGoogleは更新されたWebページの情報を、素早くデータベースに登録できるからです。
そのため、インデックス速度を早めたい場合は、クロール頻度を高められるようなSEOの取り組みを行うことをおすすめします。
関連記事
・SEOとは？10個の基本的なSEOと注意点
・SEO対策をまずは自分でやるには？初心者がすぐに取り組める手法を解説！
・SEO対策の費用と料金相場を解説します！費用早見表もご紹介
robots.txtとクローリングの関係性
robots.txtとは、Webサイトのルートディレクトリに設置することで、クローリングを阻害するファイルのことです。
robots.txtに、インデックスさせる必要のないページをインデックスさせない記述をすることで、効率よく重要性の高いページをクロールさせることが可能になります。
結果的に、クロールを促したいページのSEO評価が上がり、検索順位の向上やインデックスまでのスピードの向上にもつながるのです。
まとめ
本記事では、クロールの概要を網羅的に解説しました。
クローラビリティを高めることは、SEOにおいて重要なことであり、インデックスまでの速度や検索順位の向上に大きく貢献します。
そのため、常にWebサイトがクロールされているかの確認や、クロール頻度の確認を行うべきでしょう。
SEOにおいて、クロールの確認までできていなかった方は、ぜひ本記事を参考に確認してみてはいかがでしょうか。
