検索エンジンとは
検索エンジン（Search Engine）とは、GoogleやYahooに代表されるインターネット上のコンテンツを検索するサービスの総称です。インターネットの黎明期には、人の手でサイトの情報を集めカテゴリーごとに分類する「ディレクトリ型」が主流でしたが、現在では「ロボット型」と呼ばれる方式に進化してきました。
ロボット型検索エンジンは、3つのプログラムで構成されています。
・Webサイトの情報（HTMLや画像など）を集めてデータベース化する、ロボットや クローラーと呼ばれるプログラム
・クローラーが収集してきた情報を分析し、評価（ランクづけ）するプログラム
・検索サイトで入力されたキーワードに対して、評価に基づき検索結果（検索順位）を表示 するプログラム
上記の各プログラムが連動して動き、検索結果をユーザーに示すのが検索エンジンです。
クローラーとは
クローラーとは検索エンジンが検索の順位を決めるための要素を、サイトを巡回して収集してくるロボット（bot）のことです。這い回るという意味の【crawl】から、このように呼ばれています。
クローラーは検索エンジンごとに種類が違います。たとえばGoogleならGooglebot、BingならBingbot、中国のBaidu（百度）はBaiduspiderと呼ばれるクローラーを使っています。その他にもSEOツールのクローラーや、AIアシスタント専用のクローラー（AppleBot）などが存在します。
中でもGoogleは検索エンジンのシェアが世界でトップ、日本でのシェアは80％以上にもなります。Yahoo JapanもGoogleの検索エンジンを使用しており、クローラーに対する各種施策はGooglebot向けであることがほとんどです。
クローラーは、既にデータベース化されているWebサイトからリンクをたどって自動的に移動（クローリング）していきます。移動先ではページの解析（パーシング）を行い、以下のようなファイルを収集し、検索アルゴリズムが扱いやすいデータに変換して、結果をデータベースに登録していきます。
・HTML
・テキストファイル
・CSSファイル
・JavaScriptファイル
・画像
・PDF
クローラーが一度も巡回に来ないで上記のファイルが収集されないサイトは、当然のことながら検索エンジンに表示されることはありません。このような場合は、いくらSEO対策を行ったとしても無駄になってしまいます。SEO対策の第一歩は、クローラーに検索されやすいサイトを作ることなのです。
参考記事
・検索エンジン上位でなければ選択肢にもならない／B to BビジネスにSEOが必要な理由
・SEO対策－Googleだけ対策すればいいの？日本の検索エンジンについて
関連用語
・HTML
・bot
・SEO
・CSS
