ハードディスクメンテナンス ブログ

投稿記事数8,000以上!PC,カメラ,オーディオ,ラジオ,航空,旧ゲームなど

三割以上がCrawler(ロボット)のアクセス

   

>>高還元のクレジットカード比較 期間限定のキャッシュバックなど!<<


サイトのログを解析していると、Crawler(ロボット)が三割以上を占めていることがある。

あるサイトの、ある日の、0時から14時までのログ(PV)

crawl-%.googlebot.com 13.88%
msnbot-%.search.msn.com 14.09%

この2つで、約28%にもなる。

他に
baiduspider-%.crawl.baidu.com
spider-%.yandex.com
等を含めると、30%を越える。

ロボットと思われるhostを十数種類選択しただけなので、Crawlerの率はこれ以上になる。

スポンサーリンク

何をもってCrawlerとするか、という話だが、少なくとも人間のViewではない。

他にCrawlerの類と思われるもの。

rate-limited-proxy-%.google.com
%.amazonaws.com
%-static.reverse.softlayer.com
crawl-%.naver.jp
crawl%.exabot.com
%.ucri.jgn-x.jp
%.crawl.%.yahoo.co.jp
%target.microad.jp
%cust.bit-drive.ne.jp

アクセスの大半がCrawlerであり、人間にはほとんど見られていないサイトもある。

内部リンクの多いサイトに、その傾向がある。

スポンサーリンク



sha-bc@336×280

sha-bc@336×280


sha-bc@336×280

sha-bc@336×280

  関連記事

B010F4OBT6
NEC Aterm MR04LN 3B LTE対応 モバイルルーター OCN モバイル ONE マイクロSIM付 クレードル付属 がタイムセールで18,600円!

クレードル付属でコノ価格! OCN モバイル ONEのSIMがセットになっている …

B010F4OBT6
NEC Aterm MR04LN 3B LTE対応 モバイルルーター OCN モバイル ONE マイクロSIM付 クレードル付属 が本日の特選商品で18,350円!

クレードル付属でコノ価格! OCN モバイル ONEのSIMがセットになっている …

B00XU1GUFU
BUFFALOの 無線LAN親機(Wi-Fiルーター) 11ac/n/a/g/b 866+300Mbps WHR-1166DHP2/N がタイムセールで5,220円!

BUFFALO 【iPhone6対応】 11ac/n/a/g/b 無線LAN親機 …

「マイネ王」は現在メンテナンス中です。
月末最終日にメンテをするマイネオ(mineo)のヴァクァスァ加減

月末にマイネオ(mineo)の「マイネ王」がメンテとか、最悪だね… …

桜鯖_モリサワ_Webフォント_WordPress
さくらインターネット モリサワ Webフォント WordPress 表示 遅い

桜鯖(さくらインターネット)上でウゴくWordPressでモリサワのWebフォン …

4289MB
2016年2月末時点でのmineo(マイネオ)の残容量

mineo(マイネオ)の、2016年2月末時点での残容量。 うち、745MBは先 …

no image
ライブドアブログでUniversal Analyticsを設定する方法

Universal Analyticsの「プロパティ設定」の「デフォルトURL」 …

no image
オブジェクトを指定してください – Windows Internet Explorer 8

Windows Internet Explorer このWebページのエラーによ …

B010EUBT64
BUFFALO(バッファロー)の 無線LAN親機(Wi-Fiルーター) 11n/g/b 300Mbps WSR-300HP/N がタイムセールで2,480円!

コノ価格でWAN/LANともにGigabit対応! BUFFALO 11n/g/ …

WRC-F300NF(WRC-300FEBK)
ノヴィル稼働時間!WRC-300FEBK/WRC-F300NF(エレコム)

時々通信が切れて、電源ON/OFFしなければならないWRC-300FEBK/WR …