Webクロールの巡回数を確認する方法

20160510-198
  • このエントリーをはてなブックマークに追加

Search Console では、本来なら専門家に依頼してコストのかかるクローラーの計測情報を無料で提供している。正確性はその専門家のサーバーモニタリングに劣るかもしれないが、現状どれほどのクロール頻度があるかの参考値になる。

クロール頻度が増加していくと検索流入数が増えていくという相関性もあることから、サイト運用の中で定期的にチェックするのをお勧めする。

それでは、クロールの統計情報のチェックについてご紹介しよう。

注:ウェブマスターツールの名称が変更
Google は2015年5月20日にウェブマスター ツールの名称を Google Search Console に変更している。

1.クロールの統計情報のチェック方法

Search Console にログインして対象のサイトURLをクリックする。そして左メニューより「クロール → クロールの統計情報」の順にクリックしよう。

これで上図の通り画面にアクセスできる。

ここにはあなたのサイトに過去90日分、クローラーが巡回した情報が掲載される。この統計情報には、クローラーがダウンロードしたWEB上のすべてのファイルタイプ(HTML、CSS、JavaScript、画像など)が含まれる。またデータは Google ニュース、Google 画像検索など Google のサービスで取得された情報が含まれている。

1−1.1日にクロールされるページ数

あなたのサイトをクローラーが巡回した結果、1日に巡回したページの総数が表示される。

画面右上には最高値、平均値、最低値が表示される。クロールの巡回頻度はSEOにとって重要であり、たいていクロール頻度が1日に100回以上を超えると徐々に検索上位を獲得できるようになってくる(もちろんコンテンツが良ければの話だが)。

クローラーの巡回数を正確に計測するなら専門家によるサーバーのモニタリングが必要となり、またコストもかかる。通常なら敷居の高い計測ツールを Search Console では無料で提供しているのだ。定期的にチェックする手はない。

クロール最適化については『robots.txtの書き方と効果的な活用法』を参考にしよう。

1−2.1日にダウンロードされるデータ量

Google の検索エンジンがあなたのサイトをクロールした結果、1日にダウンロードしたデータサイズ(キロバイト)が記録される。

このデータサイズが大きい場合、サイトの表示速度に影響してくる。これはユーザビリティを下げるのでSEO対策上、好ましくない。まずは画像サイズが大きくないかをチェックし、最適化を施すと効果が高いだろう。

1−3.ページのダウンロード時間

クローラーがサイトを巡回した結果、ページのダウンロード時間(ミリ秒)が記録される。

上図の例では30万以上のアクセスがあっても1ページあたり0.5秒ほどでサーバーが返答していることになる。アクセス数の増加に伴いこれが数秒かかる場合、サーバーの処理速度に問題がある可能性ある。スペックの高いサーバーを検討しても良いだろう。

  • このエントリーをはてなブックマークに追加

無料EBook:バズ部式マーケティング
PPC広告費を1/10にして売上を倍増させる全手法

PPCに頼り切ったマーケティングの打開策としてコンテンツマーケティングについて調べているがよく分からないと悩んでいませんか?

本書は弊社やクライアント様がコンテンツマーケティングに取り組み

  • ・SEOのみで月間100万PV集めた方法
  • ・平均6.92%のコンバージョン率が出た新規顧客獲得法
  • ・CPLやCPAを大幅に改善した方法とそのからくり

など、コンテンツマーケティングの効果と、具体的な施策内容を全94ページに渡って詳細に解説しているものです。

是非、貴社のWEBマーケティングにもご活用下さい。


EBookをダウンロード

最新の記事情報が取得できます

Facebook

「いいね!」ボタンを押すと、最新情報がすぐに確認できるようになります。

Twitter

「フォローする」ボタンを押すと、最新情報がすぐにツイート上で確認できるようになります。

コメントはこちらから

  1. クローラーの更新頻度のキーワードでGoogleから来ました。
    趣味でhttp://worldreview.jp/というサイトを作っております。
    Googleのツールでクローラーの頻度を見ると一日に平均300、多い時は2000回ほどクローラーが来ています。

    記事には「たいていクロール頻度が1日に100回以上を超えると月間10万アクセスほどの規模になる。」と書かれておりますが、私のサイトのアクセス数は月間3000ほどです。

    書かれている事と私のケースがあまりにも違いがあったので書き込みさせて頂きました。
    クローラーが頻繁に来てもこういったケースもあるのでしょうか。

    よろしくお願い致します。

    1. Yamasitaさん、コメントありがとうございます。

      ブログサイトの記事更新の頻度は高く、クローラーが常に巡回してるがアクセス数は少ない、ということはあります。
      その場合、たいていは理由は1つで、“コンテンツの質”です。
      SEOコンテンツの作り方」の記事をお読みいただけますと「質とは何か?」がご理解いただけるかと思います。

コメントは停止中です。