インデックスされない原因とはGoogleサーチコンソールで検査・解決

「サーチコンソールからクロールのリクエストを送信してもなぜかインデックスされない」「インデックスされない原因がわかったけれど対処法がわからない」など、サイトのインデックス状況について頭を悩ませている方も多いのではないでしょうか。

Googleの検索結果に更新したページが表示されるためには、クローラー(検索エンジン)にインデックスされる必要があります。そのため、インデックスされない原因を追求・対処していくことは、サイトを運営するにあたってとても重要です。

そこで、今回はインデックスされない原因や対処法、インデックスされやすいサイトの構築方法などについて詳しく解説します。インデックスに関する様々な便利な機能を持つサーチコンソールを活用し、インデックスされない原因を解決していきましょう！

インデックスの意味と必要性

具体的なインデックスされない原因と対処法の前に、まずはインデックスの意味やインデックスされる必要性について説明します。

インデックスとは、Webページの情報が検索エンジンが保有するデータベースに登録され、検索結果に表示可能な状態になることです。

Googleの検索エンジンの仕組みは以下の通りです。

①クローラー(検索エンジン)と呼ばれるロボットによって、世界中のWebページを巡回(クロール)し、情報収集する ②収集した情報をデータベースに登録(インデックス)する ③あるキーワードが検索されると、そのキーワードに関連するページをデータベースから選んで検索結果に表示する

このように、検索結果はデータベースから作成されるため、ページがデータベースに登録(インデックス)されないと、検索結果に表示されないことがわかります。

そのため、サイトのインデックス状況を定期的に確認し、検索結果に表示されたいページのインデックスを管理することはとても重要であると言えます。インデックスの管理をしっかりおこない、適切なWebサイトの運営を目指しましょう。

インデックスされない原因と対処法

ここでは、インデックスされない場合に考えられる原因とその対処方法についてご紹介します。インデックスされない原因として考えられるものは、以下の通りです。

・Webサーバーの不具合による500エラーが発生している・リダイレクトに関するエラーが発生している・robots.txtの設定によってクロールが拒否されている・noindexタグによってクロールが拒否されている・.htaccessファイルなどのX-Robots-Tagの記述によりクロールが拒否されている・Googleガイドラインに違反したペナルティを受けている・ペナルティを受けている中古ドメインを使用している・Googleの一時的な不具合によるエラーが発生している

それぞれ詳しく説明します。

Webサーバーの不具合による500エラーが発生している

動的ページやファイルの容量が大きすぎるサイトはWebサーバーに負荷がかかります。この負荷が大きすぎると、容量オーバーでサイトを閲覧できなくなることがあります。この時に送信されるのが500エラーです。このような状態が長く続くと、クローラーはそのページをうまくクロールできなくなってしまうため、インデックスされない状態になってしまいます。

このようなエラーの対処法としては、ファイルサイズを小さくして読み込み時間を低減し、過剰なページの読み込みを避けることがあげられます。

また、サーバーの再起動やメンテナンス中、Wordpressなどのサイト管理システムのアップデートのタイミングでクロールがおこなわれた場合も、同様な500エラーが返されます。短時間のサーバーの不具合は次のクロールを待てば良いですが、長時間のメンテナンスの場合は、今サイトがメンテナンス中であることをGoogleに示すための503エラーを設定するなど、サイトの評価を下げないための対策をしましょう。

リダイレクトに関するエラーが発生している

あるURLから別のURLへ遷移する仕組みをリダイレクトと言います。このエラーは、リダイレクトの回数が多すぎる、リダイレクト先のURLが無効である、リダイレクトURLの長さがURLの最大長を超えた場合などに表示されるエラーです。

Googleが推奨しているWebデバッグツールであるLighthouseや、無料で使うことのできるリダイレクトチェックツール(ohotuku.jpなど)を利用し、リダイレクトが適切におこなわれているか確認しましょう。

robots.txtの設定によってクロールが拒否されている

このエラーは、robots.txtと呼ばれるファイルの記述によって、そのページをクロールできなかった場合に起こるエラーです。サーチコンソールのエラーの型には「送信されたURLがrobots.txtによってブロックされました」と表示されます。

robots.txtは、クローラーがクロールをする際に最初に読み込むファイルです。クローラーへの指示が記述されており、その記述が誤っていると、クローラーはそのページをクロールできなくなってしまいます。

現在のrobots.txtの確認や編集はrobots.txt テスターからおこなうことができます。

robots.txt テスターのURLをクリックすると、以下の画面が表示されます。

赤枠に表示されたテキストが、現在のrobots.txtです。もし、記述に誤りがあったら変更を加え、忘れずに「送信」をクリックしましょう。

robots.txtの記述について少し説明します。

・User-agent: 対象となるクローラーです。今回はすべてのクローラーに向けた記述なので「User-agent: *」と記述されています。

・Disallow: クロールを拒否するURLを指定する記述です。すべてのURLのクロールをブロックしたい場合は「Disallow: / 」、あるディレクトリ配下のURLのクロールをブロックしたい場合は「Disallow: /example/dress/ 」、あるURLだけのクロールをブロックしたい場合は「Disallow: /example/dress/red-dress.html 」と記述します。 robots.txtの記述が原因でクロールが拒否される場合は、この「Disallow: 」の記述に間違いがある場合が多いので、必ず確認しましょう。

・Allow: クロールを許可するURLを示す記述です。「Disallow: 」でクロールを拒否したURLの中で、クロールを許可したいURLのみを記述します。記述の仕方は、「Disallow: 」と同様です。

noindexタグによってクロールが拒否されている

このエラーは、HTMLファイルのmeta robotsタグの設定に「noindex」の記述がされており、クロールが拒否されている場合に起こるエラーです。サーチコンソールのエラーの型には「送信されたURLにnoindexタグが追加されています」と表示されます。

noindexは<head>タグ内に設置され、以下のように表記されます。

このエラーの対処としては、インデックスしてほしいページのnoindexの記述を削除し、Googleに再クロールしてもらうようリクエストすることで解決できます。インデックスのリクエストには、URL検査ツールを利用する方法やサイトマップを送信する方法があります。（後述）

.htaccessファイルなどのX-Robots-Tagの記述によりクロールが拒否されている

通常はクロールを拒否するために前述の「noindex」タグを使いますが、PDFファイルなど、HTMLファイルの記述ができないコンテンツの場合は、「X-Robots-Tag」の記述によってクロールを拒否します。

noindexタグの対処と同様に、インデックスしてほしいページの.htaccessファイルなどを確認・修正し、Googleに再クロールしてもらうようリクエストするようにしましょう。

URLを統一するためのcanonicalタグの設定が間違っている

ページによっては、wwwの有無などにより、同じページを表示する複数のURLが存在する場合があります。例えば、以下の2つのURLはwwwの有無という違いがありますが、結果的には同じページを表示します。

・http://www.example.com/ ・http://example.com/

このように、同じページが複数のURLを持つ場合は、Googleからのコンテンツの評価が分散したり、コピーコンテンツとしてペナルティを受けたりすることもあるので、canonicalタグの設定などをおこない、URLを統一する必要があります。

例えば、(A)の「http://www.example.com/」のみをインデックスしてほしい場合は、(B) のページの<head>に以下のようなcanonicalタグの記述をおこないます。

こうすれば、(B)にアクセスがあった場合は、canonicalタグの指定先である(A)のページが表示され、Googleも(B)のページを(A)の重複ページであると認識し、インデックスされるのは(A)の「http://www.example.com/」のみになります。

もし逆に、(B)の「http://example.com/」をインデックスしてほしい場合は、(A)の<head>にcanonicalタグの記述追加して、(B)の<head>に記述してあったcanonicalタグを削除しましょう。

記述なし　→　<link rel="canonical" href="http://example.com/" > <link rel="canonical" href="http://www.example.com/" >　→　記述を削除

このように記述することで、(B)の「http://example.com/」のみをインデックスしてもらうことができます。

このcanonicalタグの指定先のURLが誤っていると、評価してほしいページがインデックスされない状態になってしまいます。canonicalタグを正しく設定し、サーチコンソールなどを用いてインデックスをリクエストしましょう。

ただし、canonicalタグで指定した正規URL以外の重複URLはインデックスされないことに注意してください。例えば、(B)にcanonicalタグ「<link rel="canonical" href="http://www.example.com/" >」の記述があり、(A)のみが正規URLとしてインデックスされている場合を考えましょう。このとき、(B)のページのインデックスリクエストを送信しても、「URLは代替バージョンです」と表示されるだけでインデックスのリクエストは承認されません。しかし、この場合は、(A)のページのみがインデックスされ、(B)のページはインデックスされない状態が正常なのです。そのため、(B)がインデックスされないからといってあれこれ思い悩むことのないようにしてください。

Googleガイドラインに違反したペナルティを受けている

Googleのウェブマスターガイドラインに違反すると、ペナルティとして検索順位の降下、最悪の場合、インデックスが削除されてしまうことがあります。

Googleは以下の行為を違反行為として定めています。

ペナルティを受けた場合は、ペナルティを受けた部分を改善し、サーチコンソールから再審査をリクエストしましょう。

ペナルティを受けている中古ドメインを使用している

過去にペナルティやマイナスな評価を受けている中古のドメインを使用していると、その過去の評価を引き継いで自分のページの評価まで下がってしまうことがあります。

ペナルティのせいでインデックスされない場合は、ペナルティの通知を確認し、該当する項目を確認・修正して再審査をリクエストしましょう。

ただし、再審査をリクエストしても評価がなかなか改善しない場合もあるため、中古のドメインを購入する場合は注意しましょう。

Googleの一時的な不具合によるエラーが発生している

Googleの一時的な不具合によってクロールにエラーが起こり、インデックスされなかったということもあるようです。

少し時間を置いてから再クロールをリクエストし、インデックスを促しましょう。

インデックスリクエストの送信方法

ここまで、インデックスされない原因とその対処法についてご紹介しました。インデックスされない原因を解決したら、さっそくインデックスのリクエストを送信しましょう。

Googleは自動でサイトをクロールするため、基本的には時間が経てばリクエストを送信せずともクロールされますが、インデックスを急ぎたい、確実にインデックスされたいという場合は手動でリクエストの送信をするとよいでしょう。

サーチコンソールでのクロールのリクエスト方法については、以下のページで詳しく説明していますので、よければご覧ください。ここでは、流れのみを簡単に説明します。

新サーチコンソールでクロールのリクエスト方法、レポート機能を解説

サーチコンソールでクロールをリクエストする方法は、「URL検査ツールを使用する方法(URLが少ない場合)」と「サイトマップを送信する方法(一度に扱うURLが多い場合)」の2通りあります。

URL検査ツールを使用する方法

URL検査ツールを使用する方法では、リクエストしたいURLを1つずつリクエストしていきます。そのため、インデックスのリクエストを送信したいURLの数が少ない場合に便利です。

URL検査ツールを使用する方法は、以下の手順でおこないます。 ①サーチコンソールにログインし、左のメニューバーの「URL検査」をクリックし、上部の検索窓にクロールをリクエストするURLを入力します。

②URL検査結果画面で、「インデックス登録をリクエスト」をクリックします。

③インデックス登録のテストがおこなわれます。インデックスリクエストが完了すると以下の画面が表示されます。エラーが出た場合は、エラー内容を訂正してもう一度リクエストを送信しましょう。

サイトマップを送信する方法

一度に大量のURLのクロールをリクエストしたい場合は「サイトマップを送信する方法」が便利です。

サイトマップとは、ユーザーや検索エンジンに向けて、サイトのページ構成をわかりやすく目次のようにリスト形式で一覧にしたものです。特に、検索エンジン向けのXMLサイトマップは、クローラーがサイトをクロールすることを助け、インデックスを早める効果があります。

サイトマップの作成や送信方法については、以下のページで詳しく解説していますので、ぜひ参考にしてください。

新サーチコンソールでサイトマップの作成・登録方法を詳しく解説

インデックスされやすいサイトを構築するには？

インデックスされやすいサイトの特徴として、クロールされやすいリンク構造である(クローラビリティが高い)こと、サイトの質が高いことなどが挙げられます。また、定期的にサイトマップを送信したり、ページの編集・追加をしたらその都度インデックスをリクエストしたりすることも効果的でしょう。

それぞれ詳しく見ていきます。

サイトマップの送信・インデックスリクエストの送信をおこなう

サイトマップは、クローラーに向けてサイトの構成をわかりやすく示し、クロールを助ける効果があります。正しくインデックスされるためにも、サイトマップの送信はおこなうようにしましょう。

また、新規ページを追加したり、既存のページをリライトしたりした場合は、その都度インデックスのリクエストをするのも良いでしょう。 Googleは基本的には自動でクロールをしますが、リクエストを送信することで、より早く、確実なインデックスにつながります。

クロールされやすいリンク構造のサイトを構築する

クローラーはリンクを辿ることによってサイトを巡回します。そのため、サイトの内部リンクや被リンクが極端に少ないと、クローラーはWebページを認識できず、インデックスされないことがあります。

また、サイトマップだけが送信され、サイト内でリンクされていないページは、Googleから重要視されずインデックスされないこともあるようです。

そのため、サイトマップを送信するだけではなく、インデックスされたいページはTOPページにリンクを貼るなど、内部リンクを充実させたり、SNSを活用して被リンクを増やしたりする対策も必要です。クローラーが流入し巡回しやすいサイト作りを心がけましょう。

サイト自体の質を高める

Googleは質が高いサイトを優先的にクロールします。そのため、質が低いサイトの場合、クロールの頻度が落ち、結果としてそのサイトがインデックスされないという状況に陥る可能性があります。

サイトのオリジナルコンテンツを充実させたりユーザーの検索意図を汲んだ内容を選定したりするなど、まずはサイトの質を高め、クロールされやすいサイトを目指しましょう。

サイトがインデックスされているかどうか確認する方法

ここでは、現状確認として、サイトがインデックスされているかどうか確認する方法についてご紹介します。

サイト内にインデックスされていないページがないか確認したい場合や、再度クロールリクエストを送信したページが正しくインデックスされているかどうか確認したい場合などに使ってください。

サイトがインデックスされているかどうか確認する方法として、以下の3つをあげます。・サーチコンソールの「カバレッジレポート」を使用する方法・サーチコンソールの「URL検査」を使用する方法・Google検索で「site:検査したいURL」を検索する方法

オススメはサーチコンソールを使用している上2つの方法です。サーチコンソールを使用する方法では、インデックスされているかいないかだけでなく、インデックスされない原因についても確認できるのでとても便利です。

サーチコンソールはGoogleが無料で提供しているツールです。サーチコンソールを登録していない方は、以下のページを参照し、サーチコンソールに登録しましょう。

初心者でも失敗しない！Googleサーチコンソールの登録方法

それでは、それぞれの方法について詳しく見ていきましょう。

サーチコンソールの「カバレッジレポート」を使用する方法

サーチコンソールの「カバレッジレポート」を使えば、自サイト全体のインデックス状況やインデックスされない原因について確認することができます。

サーチコンソールの「カバレッジレポート」を使用するには、サーチコンソールにログインし、左メニューの「インデックス」→「カバレッジ」をクリックします。

すると、以下のような画面が表示され、サイト全体でインデックスされているページやインデックスに関するエラーがあったページを確認することができます。

カバレッジレポートでは、ページはエラーの有無などによって次の4つのステータスに分けられて表示されます。

・エラー 何らかの理由により、インデックスできなかったページです。「詳細」の「型」からエラーの原因を確認できます。

ここでは、「送信されたURLにnoindexタグが追加されています」というエラーが表示されています。他にも様々なエラーの型が表示される可能性がありますが、エラーの種類や対処については次の章で説明します。

・有効(警告あり) インデックスされていますが、ユーザーが意図せずインデックスされている場合もあるので注意が必要なページです。

・有効 正常にインデックスされているページです。

・除外 意図的にインデックスしていないページです。

サーチコンソールの「URL検査」を使用する方法

サーチコンソールの「URL検査」を使えば、個々のURLごとにインデックス状況を確認することができます。 「URL検査」では、インデックス状況を確認したいURLが少ない場合や1つのURLに対してより詳しい情報を見たい場合などに便利です。

URL検査を使用してインデックス状況を見るには以下の手順でおこないます。

①サーチコンソールにログインし、左メニューの「URL検査」をクリックし、上部の検索窓に検査したいURLを入力します。

②入力したURLについての検査結果が表示されます。

1番上に表示されている結果が、インデックスの状況を示しています。

URLが正常にインデックスされていれば、「URLはGoogleに登録されています」が表示されます。

また、インデックスされているものの、拡張機能などに問題がある場合は「URLはGoogleに登録されていますが問題があります」が表示されます。

URLにnoindexのタグが追加されている場合など、インデックス登録でエラーが出た場合は「URLがGoogleに登録されていません。インデックス登録エラー」が表示されます。

エラーがないものの、まだインデックスされていない場合は「URLがGoogleに登録されていません」が表示されます。

URLが発見されたものの、別のURLが正規URLにインデックスされている場合などは「URLは代替バージョンです」が表示されます。

また、インデックス時にエラーがあった場合、URL検査結果の「カバレッジ」からエラーの詳細について確認できます。

エラーの種類や対処法についてはあとで説明します。

Google検索で「site:検査したいURL」を検索する方法

この方法は、サーチコンソールを使わずに、Google検索機能を使ってインデックス状況を調べる方法です。ただし、この方法では、ページがインデックスされているかいないか確認できますが、インデックスされない原因など、サーチコンソールほど詳細な情報を得ることができないことに注意してください。

Googleの検索機能を使って確認するには、以下の手順でおこないます。

①まず、Googleの検索窓に「site:検査したいURL」を入力し検索します。