SEO対策を行う際にクローラーにインデックスされることが重要になってきます。
クロールはこちらが狙ったタイミングで行われるわけではありません。
どのようにクローラーと付き合っていくべきなのか？クローラビリティを促進するポイントについて考えてみることにしましょう。
クローラー（Crawler）ってそもそもなに？
SEO対策を行っているとよく耳にする「クローラー」。
クローラーは検索エンジンがネット上のウェブページのデータ（画像やテキスト）を収集するためのプログラムで、別の言い方では「スパイダー」という言い方をする場合もあります。
Googleのクローラーはネット上ウェブサイトやSNSのリンクから、さらにSNSのリンクをたどり別のウェブサイトの存在を把握し、データを収集することもありますが、クローラーの巡回を待つ以外に、自分から「僕ウェブサイトが新しくできました！」と申告しクローラーに巡回してもらうことも可能です。
Googleの場合「サーチコンソール」
Bingの場合「ウェブマスターツール」
でクロールしてもらうようにウェブサイトのアドレスを登録します。
クローラーは登録されたアドレスから各ページへのリンクをたどり、各ページのデータを収集していきます。
しかしURLを設定するだけで効率よくクロールされるわけではありません。
ではどのようにウェブサイトの隅々までしっかりクロールするのでしょうか？
次項でクローラビリティ（クロールのしやすさ）を向上させる方法について確認してみましょう。
関連記事：SEOとは？SEO対策の基礎知識と具体的な方法を詳しく解説
クローラビリティを促進させるために
-
サイトマップを活用する
基本ですがサーチコンソールやBingのウェブマスターツールでクローラビリティを促進させるためには「サイトマップ」を活用する方法があります。
サイトマップとはXML形式のファイルでサイト内の各ページのURLや、プライオリティ（優先度）更新頻度や更新日時を記述できるファイルです。
WordPressではAll in one seo packなどのプラグインでサイトマップを自動生成する機能を追加することが出来ます。
生成されたサイトマップのアドレスを先のウェブマスターツールに登録すれば、クローラーがそれらのページを巡回しデータの収集を開始します。
-
URLの正規化を行う
サイトマップもそうですがリンクの設定に「http」から始まるもの、「https」から始まるもの、はたまた「www」の有無などさまざまなパターンのURLが混ざっている場合、特に「www」の有無は、クローラーは別のサーバのリンクとして誤認識する可能性があります。
何気なく「www」を使っていると思いますが、たとえば
Yahoo!の公式ページ「https://www.yahoo.co.jp/」とYahoo!ニュース「https://news.yahoo.co.jp/」があるように
ドメインの左側「www」や「news」などはホスト名と呼ばれ、同じドメインでも役割に応じて別のサーバを割り当てる際に使用するものです。
SearchConsoleなどもホスト名や「http」「https」の違いによって別々に登録を促されるのはこのようにしばし別のサーバのコンテンツとして解釈される為です。
-
クローラーに正しいHTTPステータスコードを返す
すでに削除されたページや移動したページはそれぞれ正しいHTTPステータスコード（削除は410 移動は恒久的には301一時的には302）を返すことが望ましいです。
もし正しいステータスコードを返さない場合はエラーとして認識される為、これらが多発するサイトではクローラビリティを低下させる恐れがあります。
-
ナビゲーションやリンクを改善する
クローラーはページ内のリンクを辿ってサイト内のページを巡回し、データ収集を行います。
クローラーが巡回しデータ収集を行う際、リンク切れが多発していたり適切なリンクが設定されておらず辿れないページがある場合は、インデックスから除外されてしまいます。
通常はHTMLのAタグでリンクを設定しますが、javaScriptなどで動的にリンクを生成する場合、クローラーでうまくjavaScriptが解釈できずリンクがないと見なされることもあるのです。
万全を期すためには、従来通り適切なアンカーテキストを設定した静的なHTMLでリンク・ナビゲーションを設定する方がよいでしょう
まとめ
クローラーがいかにウェブサイトの中を巡回しやすいかを表す「クローラビリティ」
SEO対策としては検索エンジンにクロールされてインデックスされることは初歩中の初歩です。
検索エンジンにクロールされてインデックスされる基本部分で挫折してしまうのは、後に施すさまざまなSEO対策の効果を低下させる恐れもあります。
コンテンツの量産だけに気をとらわれずクロールしやすいナビゲーションや階層構造か？ということにも気を配ることが大切です。
