Web Tips!!!

普段は、SEO対策でWebマーケティングをしている人が、睡眠、引越し、不動産、ミステリーについて記事をまとめたサイト

はてなブログでクローラーが来なくなった時の対処法

f:id:amber_owl:20171121082511j:plain



 

クローラーが全然来ない!

 

題名の通りなんですけど、11月11日で11月5日からクローラーが来ていません。
インデックスもその日を境に出来なくなりました…

さらに、クローラーの統計情報も100分の1になってしまいました…

結構順調に伸びていたんですけどねーこういうこともありますね。

 

f:id:amber_owl:20171114191329p:image


ただ、特にアクセスが減ったりクローラーのエラーも特に出ていないんですよね。
手動による対策もでていませんし。

原因が起こったと考えられるのは、11月5日!
何かしたかなと考えた時に、ありました。
AMPを対応をやめました。
この記事を書いた時に。
【はてなブログ】「amp」って何?デザインやカスタマイズが反映されない場合は確認しよう - Web Tips!!!

 

それのせいかなーと思いつつ、1週間以上たっても保留のままというのは問題かなと思い、
サイトマップを変更することにしました。

 

サイトマップの変更

 

サイトマップを/sitemap.xmlから/sitemap_index.xmlに変更してみました。
なんか、もともとはてなブログのサイトマップは/sitemap.xmlだ!という方も居るし
/sitemap_index.xmlだ!という方もいるし、はたまた両方入れたほうが良い!という方もいますね。


私は最初/sitemap.xmlだったのですが、今回で調子が少し悪いので、/sitemap_index.xmlに変更してみました。

 

すると数分で/sitemap.xmlの時は処理日がずっと「保留」のままだったのですが処理はされているようでした。


あとはちょっと様子見ですねー

結果が出次第更新をします。

または、何か同様の問題を抱えている人がいらっしゃいましたら
解決した方でも、していない方でも構いません。
情報をいただけたらうれしいです。

 

11/13日追記

 

全く改善されないので
/sitemap_index.xmlと/sitemap.xmlの両方を登録してみることに.

 

 


11/16日追記

 

サイトマップを追加してみてから改善が見られる。
/sitemap.xml?page=1というサイトマップを追加してみることに。
これなんなのかというと、今まで追加していた
sitemap.xmlや/sitemap_index.xmlといったサイトマップの下層部にあるもので、
それを、指名で登録してみました。
すると、大きく改善する傾向が見えてきました。

 

なので、クローラーが全然来ないという場合は

①/sitemap_index.xmlか/sitemap.xmlを登録してみる。
②上記の両方を登録してみる。
③それでも、ダメなら/sitemap.xml?page=1 を登録してみる

という感じですね。
実際に改善したので、お悩みの方はやってみてはいかがでしょうか?

 

 

クロールが来ているかGoogleSearchConsoleで確認

 

11/11 追記

f:id:amber_owl:20171120124123p:plain

クロールの統計情報はまだ上がらず。
不安になる。

 

11/13 追記

f:id:amber_owl:20171120124155p:plain

本当に少しではあるが、少し改善される

 

11/18 追記

f:id:amber_owl:20171120124214p:plain

微増ながら改善はしているのかなと言えるほどに。

 

最後までありがとうございました。