POINTクローラーとは

クローラーとは、検索エンジンへのインデックス作業のために、インターネット上に存在する様々なWebページを巡回し、情報収集してデータベースに登録するプログラム（ロボット）のことを指します。クローラーが機能することをクローリングと言います。

クローラーとは、ロボットが定期的に、サイトの新しいページや更新された箇所を読み、検索結果ページに最新データを反映する仕組みなので、クロールされなければインデックスされることもなく、更新した情報も反映されません。

また、公開してすぐのWebページはクローラーもなかなか見つけにくいので、こちらから見つけやすくすることで、いち早く検索結果に表示されるようになります。
このようにクローラーが「ページを見つけやすくなる」ことを”クローラビリティを高める”と言います。SEOにおいてもクローラビリティは重要な要素になります。

クローラーの種類

クローラーにはいくつかの種類がありますが、大きく分けてGooglebotとそれ以外のクローラーに分類できます。

・Googlebot
Googlebotは、Googleの検索エンジンに利用されているクローラー（別名：スパイダー）です。世界中のインターネット上を巡回しており、膨大なデータを収集・保存しています。
ほかにもGoogleが持つクローラーには目的に応じた複数のクローラーがあります。
例えばWeb検索では「Googlebot」、画像検索には「Googlebot-Image」、モバイル検索には「Googlebot-Mobile」といったように、用途に分けて様々なクローラーが存在します。

・その他のクローラー
Google以外の主に有名なクローラーが下記になります。
・Yahoo Slurp：日本以外のYahooのクローラー
・Baiduspider：中国の検索サイトのBaiduのクローラー
・bingbot：マイクロソフトが運営するBingのクローラー

クローラビリティとは

クローラーがサイト内を巡回しやくなるように、サイトの内の構造を最適化することです。

ロボットは必ずしも全てのWebページをもれなく巡回できるわけではありませんし、公開したページをすぐに発見してくれるとも限りません。SEOを実施する際は、クローラーがWebサイトを巡回しやすくなるように工夫する必要があります。
また、サイトの内のコンテンツの量が増え、規模が大きくなるほど、クローラビリティの改善の必要性は高くなります。

クローラビリティを最適化させうポイント

クローラビリティを向上させるポイントは主に6つあります。

・リンク設定
クローラーはリンクを辿りながらクローリングします。
外部リンクや内部リンクは、クローラーを導く”導線”として活用できます。

・テキストリンクの設定
クローラーの巡回率はテキストリンクの方が高いと言われているので、画像リンクではなくテキストリンクを設定するとよいでしょう。

・パンくずリストの設定
パンくずリストとは、ユーザーがサイト内のどの位置にいるか、階層構造を視覚的にわかりやすくしたリンクのことを指します。
パンくずリストがあるとクローラーが現在Webサイト内のどの階層にいるのかを認識しやすくなり、結果的にクローラーの回遊率の向上を期待できます。

・アンカーテキストの改善
アンカーテキストとは、リンクが貼られている部分のテキストのことで、リンク先がどのようなページなのかを伝える役割があります。

・ページネーションの設定
ページネーションとは、検索結果一覧など、内容の多いページを複数のWebページに分割し、各ページへのリンクを並べてアクセスしやすくするために設置するものです。

・サイトマップの送信（Googleサーチコンソール）
Googleが提供しているGoogle サーチコンソールの機能を活用すれば、Googleにページの存在を伝えクローリングしてもらうことが可能です。
（Googleサーチコンソールには、WebサイトにどんなページがあるのかをGoogleに知らせ　る、サイトマップ送信機能があります。）

クローキングとは

クローキングとは、検索エンジンのクローラからのアクセスがあった際、人間によるアクセス時に表示するWebページとは異なるWebページを見せるようにすることです。
クローキングはブラックハットSEOとして利用されますが、Googleに発見された場合は検索エンジンか対象のサイトにペナルティが課されます。

ただし、「アクセスしてきた人の所在地（国など）によって適切なコンテンツを表示する」「時間帯によって異なるコンテンツを表示する」といった、ユーザーにとって有益となる表示の変更はクローキングだとはみなされないことが多いです。

クローラーに関係した気になる話題

robots.txtを利用することでクローラーのアクセスをコントロールできる

robots.txt とは、検索エンジンのロボット（クローラー）を制御するためのファイルです。
クローラーのアクセスはユーザー同様、サーバに負荷がかかります。 ページ数が多く、更新頻度が高いサイトであれば、クローラーが多くのページを頻繁に巡回するため、結構な負荷になります。

クローラーが原因でサーバーに負荷がかかっている場合、robots.txtを使用して不要なコンテンツへのアクセスを制限（禁止）し、サーバー負荷軽減と巡回効率化をおこなうことができます。

Google Search Consoleを利用することでサイトのクロール状況を確認できる

Googleサーチコンソールを用いることで「クロールの統計情報」を閲覧することが可能です。「クロールの統計情報」という項目では、一日に何回クローラーがページをクロールしたか、クローラーのサイトに対しての動きを確認することができます。
このように、Googleサーチコンソールを用いることで、クローラーの行動に関して詳細な情報を入手することが可能です。