Search ConsoleでのXMLサイトマップ「取得できませんでした・読み込めませんでした」エラーの正体

Last Edited Time
Nov 4, 2021 10:38 AM
Category
SEO
Not yet (Unpublish)
Podcast
Super Published

Notion製ブログ公開時、Super.soで生成されたsitemap.xmlをSearch Consoleに提出しようとしたところ、「取得できませんでした」というエラー。

の記事でも言及している、Notion製ブログはXMLサイトマップをSearch Consoleに提出できない、という問題です。

ほとんどの場合、Search ConsoleでのXMLサイトマップ「取得できませんでした・読み込めませんでした」エラーの正体は、「保留中」が本来のステータスであるところが、誤って異なるメッセージのエラーとして表示されてしまっているというもの。Search Console側でのバグのようです。

ただし、robot.txtにDisallow設定でクローラに辿らせない設定をしている場合などは別。Search Consoleライブテスト等で確認しましょう。

以下、状況と調査内容について詳細を書き残しておきます。

image

Search ConsoleでのXMLサイトマップ提出時「取得できませんでした・読み込めませんでした」エラーが発生

下画像のように、XMLサイトマップを提出したところ、「取得できませんでした」が表示されました。

image

さらにクリックして詳細を見てみると、「サイトマップが読み込めませんでした」というエラー表示となっています。

image

ブラウザからアクセスした際にはXML形式でのサイトマップを閲覧することができているので、Search Consoleからの読み取り時に何か起きているのでは、と推察。

XMLサイトマップをブラウザから閲覧した画面
XMLサイトマップをブラウザから閲覧した画面

まずはライブテストでサイトマップが本当に読み込み不可かどうかを確認

まずは「サイトマップが読み取れない仕様になっていないか?」をSearch Consoleのライブテスト機能を使ってチェックします。

たとえばrobot.txtにサイトマップファイルを辿らせない設定(Disallow)をしていると、GoogleのクローラがXMLサイトマップをたどることができません。

検索パフォーマンス > 上欄のURLでsitemap.xmlファイルのURL > 右上の「公開URLをテスト」

image

結果は登録の可否詳細が

クロールを許可?: はい(robot.txtなどでブロックされている訳ではない)

ページの取得: 成功

となっており、sitemap.xml側を設置しているホスト側に何か問題があるようでもありませんでした。

image

Search Console上にあるXMLサイトマップを一旦すべて削除

Search Console上に複数のXMLサイトマップが登録されている場合、他のサイトマップが優先されてしまい後から追加したサイトマップが読み取られない、ということがあるとのこと。

提出済サイトマップを削除するには、サイトマップ詳細画面へ進み、画面右上の三点リーダを選択。

サイトマップの削除、で削除することが可能です。

image

複数個のサイトマップを提出している方は、一旦すべて削除してから再提出するというステップを試してみてもいいでしょう。

Cloudflareのファイアウォールログを確認するも、ブロックされた形式なし

私はCDNとしてCloudflareを挟む形で公開しています。ライブテストでは確かに成功しているものの、もしかしたらCloudflareのファイアウォールにGoogleのボットが引っかかってしまったのかもしれない、と思いCloudflareを確認しましたが、ログにそのような形跡は検出できませんでした。

念の為、"Rules"タブからsitemap.xmlドメインのページルールを変更し、「セキュリティをOFF」へとマッチした際の挙動を変更しましたが、「取得できませんでした」エラーに変化はなし。

ここはライブテストで成功しているなら、まずあまり問題にはならないポイントでした。

「取得できませんでした・読み込めませんでした」メッセージは本来は「保留中」。Search Console側での表示エラー

That the new console says 'couldnt fetch' is a bug in the console. Pending is the real status!

ということのようです。「ペンディング(保留中)が本来のステータスだよ!」とのこと。

How to fix Couldn't fetch sitemap error on Search Console - BetterStudio の記事にも解説がありましたが、ライブテストで「ページの取得: 成功」となっているようなら、上記のように保留中ステータス。

ということで、今回は誤ったエラーメッセージが表示されていただけ、ということのようです。直してほしいところ…

どうしても解決を急ぎたい、という方はSearch Consoleのフィードバック機能でGoogleに問い合わせをするというのも一つの手。

なお、XMLサイトマップの保留中ステータスは、解決するまでに数週間以上を要することがあります。

サイトマップ以外に早急にサイトの存在と構成、更新ステータスを知らせる方法として、GCPの"Indexing API"なるものがあるようなので、近日中にそちらを試してみたいと思います。

category: