閉じる

Googleサーチコンソールの「クロール」リクエスト方法・レポート機能

新しいGoogleサーチコンソールのクロールに関する機能についてまとめました。特に「ページのクロールをリクエストする方法」や「サイトのインデックス状況のレポートを作成する方法」について、初心者にもわかりやすいように画像付きで説明します。

「きちんとクロールされているのかチェックしたい」「特定のページを早くクロールしてほしい」という方に活用してほしいのがサーチコンソールのクロールに関する機能です。

クロールとは、ページがGoogleの検索結果に表示されるために必要な情報収集のことです。SEOでは、そのクロール状況について把握することはとても大切です。 そこで今回はクロールやインデックスとは何か、また新しいサーチコンソールのクロールに関する機能について詳しくご紹介します。

クロールとは?

クロールとは、クローラーと呼ばれるロボットがインターネットのページを巡回し、情報収集することです。クローラーによって収集された情報は検索データーベースに登録されます。このデータのことをインデックスと呼びます。サイトがインデックスされることで初めてサイトは検索結果に表示されます。 つまり、検索結果に表示されるためにはサイトがクロールされる必要があります。

クロールは基本的に自動でおこなわれる

通常、クロールはクローラーと呼ばれるロボットによって自動的におこなわれ、ユーザーがリクエストをしなくても自動的にインデックスされます。そのため、Webサイトを更新する度にクロールをリクエストする必要はありません。

しかし、次のような場合は、サーチコンソールなどを用いて、インデックスをリクエストした方がいいでしょう。

・いち早くページの変更を反映したい場合 新商品のリリースやニュースなど、いち早く検索結果に表示されて多くのユーザーの流入を狙いたいときに効果的です。

・数日経ってもページがクロールされない場合 何らかの原因でページがクロールされないとき、クロールをリクエストする過程で、そのページがクロールされない原因(noindexタグやペナルティなど)を知ることができる場合もあります。

このように、クロールは本来自動的におこなわれるものですが、サイトの目的や必要に応じてクロールをリクエストすることで、効果的にWebサイトの運用ができます

サーチコンソールのクロールに関する機能

サーチコンソールには、クロールに関する様々な機能が備わっています。 以下がサーチコンソールでのクロールに関する機能です。

・ページのURLごとにインデックス状況を確認 ・クロール済みページの詳細を確認 ・サイト全体のインデックス状況のレポートを作成 ・URLのクロールをリクエスト

それでは、それぞれ見ていきましょう。

URLのクロールをリクエスト

インデックスされていないページを見つけた場合や、ページを更新して再クロールを依頼したい場合は、サーチコンソールからURLのクロールをGoogleに直接リクエストすることができます。

サーチコンソールでクロールをリクエストする方法は、「URL検査ツールを使用する方法(URLが少ない場合)」と「サイトマップを送信する方法(一度に扱うURLが多い場合)」の2通りあります。

URL検査ツールを使用する方法(URLが少ない場合)

URL検査ツールを使用して、URLのクロールをリクエストします。この方法では、URLを1つずつリクエストする必要があるため、クロールをリクエストしたいURLの数が少ない場合に効果的です。

URL検査ツールを使用してクロールをリクエストをするには以下の手順でおこないます。

①サーチコンソールにログインし、左のメニューバーの「URL検査」をクリックし、上部の検索窓にクロールをリクエストするURLを入力します。

②URL検査結果画面で、「インデックス登録をリクエスト」をクリックします。

③インデックス登録のテストがおこなわれます。この操作には1~2分かかる場合があります。

④インデックスリクエストが完了すると以下の画面が表示されます。エラーが出た場合は、エラー内容を訂正してもう一度リクエストを送信しましょう。

サイトマップを送信する方法(一度に扱うURLが多い場合)

一度に大量のURLのクロールをリクエストしたい場合、個々のURLをリクエストするには膨大な手間と時間がかかってしまいます。 そこで、一度に多数のURLのクロールをリクエストするには「サイトマップを送信する方法」が便利です。

サイトマップとは、ユーザーや検索エンジンに向けて、サイトのページ構成をわかりやすく目次のようにリスト形式で一覧にしたものです。 特に、検索エンジン向けのXMLサイトマップは、クローラーがサイトをクロールすることを助け、インデックスを早める効果があります。

サイトマップの作成や送信方法については、以下のページで詳しく解説していますので、ぜひ参考にしてください。

新サーチコンソールでサイトマップの作成・登録方法を詳しく解説

ページのURLごとにインデックス状況を確認

インデックス状況を確認したいURLが少ない場合、サーチコンソールの「URL検査」で個々のURLごとにインデックス状況を確認することができます。 (これは、旧サーチコンソールの「fetch as google」と同様の機能です。)

「URL検査」を利用してインデックス状況を確認するには、以下の手順でおこないます。

①サーチコンソールにログインし、左のメニューバーの「URL検査」をクリックし、上部の検索窓に検査したいURLを入力します。

②入力したURLについて、検査結果が表示されます。

URL検査結果の見方

URL検査結果の画面では、以下の項目を確認できます。

・URLのインデックス状況 ・カバレッジ ・拡張(モバイルユーザビリティ等)

それぞれ詳しく解説します。

・URLのインデックス状況 URLが正常にインデックスされていれば、「URLはGoogleに登録されています」が表示されます。

また、インデックスされているものの、拡張機能などに問題がある場合は「URLはGoogleに登録されていますが問題があります」が表示されます。

URLにnoindexのタグが追加されている場合など、インデックス登録でエラーが出た場合は「URLがGoogleに登録されていません。インデックス登録エラー」が表示されます。

エラーがないものの、まだインデックスされていない場合は「URLがGoogleに登録されていません」が表示されます。

URLが発見されたものの、別のURLが正規URLにインデックスされている場合などは「URLは代替バージョンです」が表示されます。

・カバレッジ カバレッジでは、クローラーに最後にクロールされた日付や時間、参照されているサイトマップなどを確認できます。

・拡張 モバイルユーザビリティや、エラーがあった場合の警告などが表示されます。

サイト全体のインデックス状況のレポートを作成

サイト全体のインデックス状況を確認するには、「カバレッジ」からインデックスカバレッジレポートを作成します。

レポートの作成は、左のメニューバーの「ステータス」の「カバレッジ」をクリックすることで作成できます。

カバレッジ画面の見方

カバレッジレポートでは、Googleがアクセスした(アクセスを試みた)すべてのページのインデックス状況をまとめて確認できます。

ページはエラーの有無などによって、次の4つのステータスに分けられて表示されます。 ・エラー ・有効(警告あり) ・有効 ・除外

それぞれについて詳しく説明します。

・エラー 何らかの理由により、インデックスできなかったページです。「詳細」でエラーの原因を確認できます。

以下の画面では、「URLにnoindexタグが追加されていた」ことが原因でインデックスできなかったことがわかります。

・有効(警告あり) インデックスされていますが、ユーザーが意図せずインデックスされている場合もあるので注意が必要なページです。

・有効 正常にインデックスされているページです。

・除外 意図的にインデックスしていないページです。

クロール済みページの詳細を確認

サーチコンソールには、「レンダリング機能」と呼ばれる、WebサイトのHTMLファイルやCSSファイルなどの情報から、実際にユーザーに表示されるはずのWebサイトの画面を生成する機能があります。 クロールされたページが、クローラーからどのように認識されているかか「レンダリング機能」を使って確認することができます。

クロール済みページの詳細を確認する手順は以下の通りです。

①「ページのURLごとにインデックス状況を確認」と同様に、サーチコンソールにログインします。左のメニューバーの「URL検査」をクリックし、上部の検索窓に検査したいURLを入力します。

②入力したURLについての検査結果が表示されるので、「クロール済みのページを表示」をクリックします。

※なお、検査したURLがインデックス登録エラーなど、クロールが完了していない場合には「クロール済みのページを表示」ボタンがクリックできません。 前項で紹介した「URLのクロールをリクエスト」する方法などを参考に、ページのクロールをリクエストしましょう。

③すると、以下のような画面が表示されるので、「スクリーンショット」タブから「公開URLをテスト」をクリックします。

公開URLのテストが始まります。この操作には1~2分かかる場合があります。

④公開URLのテストが終わると、URL検査結果に「ライブテスト」タブが追加され、テスト済みページの「スクリーンショット」が見れるようになります。 自分が意図した通りに表示されているか確認しましょう。

また、画面上部にある「GOOGLEインデックス」と「ライブテスト」タブを切り替えることで、そのURLのインデックス情報とライブテストの情報を切り替えて閲覧することができます。

旧サーチコンソール(Fetch as google)と新サーチコンソールの機能の違い

サーチコンソールとは、Googleが無料で提供する、Webサイトの検索順位を管理・改善するのに役立つツールのことです。 2018年にアップデートされ、それまでの機能の名称や内容が変更されました。

旧サーチコンソールでは、インデックスの確認やクロールのリクエストのために「Fetch as google」という機能が使用されていましたが、新サーチコンソールでは「Fetch as google」という名前の機能はなくなってしまいました。 代わりに、新サーチコンソールで利用されるようになったのが「URL検査ツール」です。「URL検査ツール」では、「Fetch as google」と同様に、個々のURLに対しインデックスの確認やクロールのリクエストをすることができます。

「Fetch as google」と「URL検査ツール」の違いは、一度にクロールのリクエストをすることができるURLの数の違いです。「URL検査ツール」では、個々のURL単位でしかリクエストできませんが、「Fetch as google」では、あるページから直接リンクされているページを対象にリクエストするなど、複数のURLについてまとめてリクエストすることができます。 新サーチコンソールで複数のURLのクロールをリクエストしたい場合は、サイトマップの作成・送信をしましょう。

また、「URL検査ツール」では、サイトのクロール状況について「Fetch as google」よりも多くの情報を得ることができます。 例えば、「Fetch as google」ではインデックスされたページの総数しか確認できなかったのに対し、「URL検査ツール」ではインデックスされていないページの数やクロールエラーの原因などまで確認できるようになりました。 そのため、サイトに何かしらの問題が起こり、サイトの順位が大幅に変動した場合でも、新サーチコンソールではいち早く問題を見つけて解決することができます。

新サーチコンソールのクロール機能をWebサイトの運用に活用しよう

WebサイトがGoogleの検索結果に表示されるためには、クローラーにクロールされる必要があります。そのため、サイトのインデックス状況を確認し、必要に応じてクロールのリクエストをすることはSEOの観点で非常に重要です。

新サーチコンソールには、個々のURLやWebサイト全体のクロール状況やクロールされない原因を確認したり、Googleにクロールを直接リクエストしたりすることができる便利な機能が備わっています。

サーチコンソールを適切に活用し、より良いWebサイトの運用をおこないましょう。

最後までお読みいただきましてありがとうございます。ご意見・ご要望などございましたら、
以下のフォームよりお問い合わせを受けつけておりますので、よろしければご利用ください。

この記事がお役に立ちましたら、"いいね!"をお願いします
minwebの最新情報をお届けします

minweb編集部(株)セルリア

”共に考え、共に創るWebの成功戦略”というスローガンのもと、お客様と一からWeb戦略を考え、
企画し実装まで支援する伴走型Webコンサルティング会社です。

こちらの記事をお読みのかたにおすすめ!完全無料のダウンロード資料

Googleサーチコンソール使い倒し活用術  <AOHON>

ダウンロード資料画像

Googleの検索エンジンに関する情報を幅広く確認できるツール「Googleサーチコンソール」の活用方法をまとめました。新サーチコンソールの機能を網羅的に紹介するだけでなく、Webサイトを最適化できる実践的な方法までわかりやすく解説します。

サーチコンソール初心者の方が知りたい導入方法から、上級者向けのコンテンツ改善の方法まで、押さえておきたい要素を1つに集めた、SEOに力を入れたいすべてのWeb担当者におすすめの一冊です。