SEO対策を行う際に、クローラビリティを高めることでクローラーにインデックスされることが重要になってきます。
クロールはこちらが狙ったタイミングで行われるわけではありません。そのため、クローラビリティの向上を意識した戦略的なアプローチが必要です。
どのようにクローラーと付き合っていくべきなのか？クローラビリティを向上させるための具体的なポイントについて考えてみることにしましょう。
ウェブサイトのクロール効率を最大化するには、クローラビリティの改善に関する複数の施策を組み合わせることが重要です。クローラーが効率よくサイト内を巡回できる環境を整えることで、検索エンジンでの可視性が大幅に向上します。
単にコンテンツを量産するだけではなく、クローラビリティ対策を含めた総合的なSEO戦略が求められます。検索エンジンに適切にクロールしてもらうための基盤づくりが、その後の様々なSEO施策の効果を大きく左右するため、クローラビリティの最適化は極めて重要な課題なのです。
人事・経営層のキーパーソンへのリーチが課題ですか？
BtoBリード獲得・マーケティングならProFutureにお任せ！
目次
クローラー（Crawler）ってそもそもなに？
SEO対策を行っているとよく耳にする「クローラー」という言葉は、検索エンジン最適化において非常に重要な概念です。
クローラーは検索エンジンがネット上のウェブページのデータ（画像やテキスト）を自動的に収集するためのプログラムで、別の言い方では「スパイダー」という言い方をする場合もあります。このクローラビリティに大きく影響するプログラムの動作を理解することは、SEO対策の基本となります。
Googleのクローラーはネット上のウェブサイトやSNSのリンクから、さらにそのリンクをたどり別のウェブサイトの存在を把握し、データを収集することもあります。しかしクローラーの巡回を待つ以外に、自分から「私のウェブサイトが新しくできました！」と申告し、クローラビリティを高めることでより迅速にクローラーに巡回してもらうことも可能です。
Googleの場合は「サーチコンソール」、Bingの場合は「ウェブマスターツール」で、クローラビリティを向上させるためにウェブサイトのアドレスを登録します。
クローラーは登録されたアドレスから各ページへのリンクをたどり、各ページのデータを収集していきます。しかしURLを設定するだけでクローラビリティが効率よく高まり、クロールされるわけではありません。
ではどのようにウェブサイトの隅々までしっかりクロールするのでしょうか？クローラビリティの促進を実現するための具体的な方法について、次項で確認してみましょう。
関連記事：SEOとは？SEO対策の基礎知識と具体的な方法を詳しく解説
クローラビリティを促進させるために
サイトマップを活用する
基本ですがサーチコンソールやBingのウェブマスターツールでクローラビリティを促進させるためには「サイトマップ」を活用する方法があります。
サイトマップとはXML形式のファイルでサイト内の各ページのURLや、プライオリティ（優先度）更新頻度や更新日時を記述できるファイルです。
WordPressではAll in one seo packなどのプラグインでサイトマップを自動生成する機能を追加することが出来ます。
生成されたサイトマップのアドレスを先のウェブマスターツールに登録すれば、クローラーがそれらのページを巡回しデータの収集を開始します。クローラビリティを高めるためには、サイトマップにおいて更新頻度を適切に設定することも重要です。
URLの正規化を行う
サイトマップもそうですがリンクの設定に「http」から始まるもの、「https」から始まるもの、はたまた「www」の有無などさまざまなパターンのURLが混ざっている場合、特に「www」の有無は、クローラーは別のサーバのリンクとして誤認識する可能性があります。
何気なく「www」を使っていると思いますが、たとえば
Yahoo!の公式ページ「https://www.yahoo.co.jp/」とYahoo!ニュース「https://news.yahoo.co.jp/」があるように
ドメインの左側「www」や「news」などはホスト名と呼ばれ、同じドメインでも役割に応じて別のサーバを割り当てる際に使用するものです。
SearchConsoleなどもホスト名や「http」「https」の違いによって別々に登録を促されるのはこのようにしばし別のサーバのコンテンツとして解釈される為です。URLの正規化によるクローラビリティの向上は、検索エンジンのクローラビリティを最適化させるうえで不可欠な施策といえます。
クローラーに正しいHTTPステータスコードを返す
すでに削除されたページや移動したページはそれぞれ正しいHTTPステータスコード（削除は410 移動は恒久的には301一時的には302）を返すことが望ましいです。
もし正しいステータスコードを返さない場合はエラーとして認識される為、これらが多発するサイトではクローラビリティを低下させる恐れがあります。適切なHTTPステータスコードの返却は、クローラビリティの改善につながり、結果的にサイトのインデックス効率向上に寄与します。
ナビゲーションやリンクを改善する
クローラーはページ内のリンクを辿ってサイト内のページを巡回し、データ収集を行います。
クローラーが巡回しデータ収集を行う際、リンク切れが多発していたり適切なリンクが設定されておらず辿れないページがある場合は、インデックスから除外されてしまいます。
通常はHTMLのAタグでリンクを設定しますが、javaScriptなどで動的にリンクを生成する場合、クローラーでうまくjavaScriptが解釈できずリンクがないと見なされることもあるのです。
万全を期すためには、従来通り適切なアンカーテキストを設定した静的なHTMLでリンク・ナビゲーションを設定する方がよいでしょう
まとめ
クローラーがいかにウェブサイトの中を巡回しやすいかを表す「クローラビリティ」は、SEO対策の根幹を成すファクターです。
検索エンジンにクロールされてインデックスされることは、SEO対策としては初歩中の初歩であり、この「クローラビリティ」を高めることは必須の工程です。
適切なクローラビリティ対策を施さずに検索エンジンにクロールされずインデックスされない状態では、後に施すさまざまなSEO対策の効果を大幅に低下させる恐れがあります。
単なるコンテンツの量産だけに気をとらわれず、ウェブサイト内のナビゲーション構造が適切であるか、ページの階層構造は分かりやすいか、そして各ページへのリンク配置はクローラーが効率よく巡回できる設計になっているかということに丁寧に気を配ることが、確実なSEO成果へつながるのです。
