ハードディスクメンテナンス

投稿記事数[8700]以上!PC,旧ゲーム,カメラ,動画などを、アヤしゐ專門妖語を使ッて解説スル!

三割以上がCrawler(ロボット)のアクセス

      2017年09月28日


スポンサーリンク

サイトのログを解析していると、Crawler(ロボット)が三割以上を占めていることがある。

あるサイトの、ある日の、0時から14時までのログ(PV)

crawl-%.googlebot.com 13.88%
msnbot-%.search.msn.com 14.09%

この2つで、約28%にもなる。

他に
baiduspider-%.crawl.baidu.com
spider-%.yandex.com
等を含めると、30%を越える。

ロボットと思われるhostを十数種類選択しただけなので、Crawlerの率はこれ以上になる。

スポンサーリンク

何をもってCrawlerとするか、という話だが、少なくとも人間のViewではない。

他にCrawlerの類と思われるもの。

rate-limited-proxy-%.google.com
%.amazonaws.com
%-static.reverse.softlayer.com
crawl-%.naver.jp
crawl%.exabot.com
%.ucri.jgn-x.jp
%.crawl.%.yahoo.co.jp
%target.microad.jp
%cust.bit-drive.ne.jp

アクセスの大半がCrawlerであり、人間にはほとんど見られていないサイトもある。

内部リンクの多いサイトに、その傾向がある。

スポンサーリンク



sha-bc@336×280

sha-bc@336×280


sha-bc@336×280

sha-bc@336×280

  関連記事

B010F4OBJQ_17,388円
NECのモバイルルーター Aterm MR04LN が特価販売(17,388円)中!

スポンサーリンク NECのモバイルルーターAterm MR04LNが、10月24 …

サイバー攻撃
成田国際空港(NRT)と中部国際空港(NGO)のサイトにサイバー攻撃か?

スポンサーリンク 成田空港の公式ホームページ(HP)が10日午前、断続して接続し …

B00GOJ8GAW
ELECOMの 無線LANルーター 親機 11ac/n/a/g/b 1300+450Mbps WRC-F1167ACG がタイムセールで7,680円!

スポンサーリンク ELECOM WiFi 無線LANルーター 親機 11ac/n …

ピン曲げ破壊_007Z(SoftBank)
007Z(SoftBank)をSIMアダプタで破壊する事案が発生wwwwwwwwww

スポンサーリンク SIMフリー化かつfor Biz化してドコモ系格安SIMで使え …

B010F4OBT6
NEC Aterm MR04LN 3B LTE対応 モバイルルーター OCN モバイル ONE マイクロSIM付 クレードル付属 がタイムセールで17,800円!

スポンサーリンク クレードル付属でコノ価格! OCN モバイル ONEのSIMが …

スタンダードプラン_初期費用_無料_桜鯖
[桜鯖] さくらのレンタルサーバのスタンダードプランの初期費用が無料 [さくらインターネット]

スポンサーリンク さくらインターネットのレンタルサーバー(さくらのレンタルサーバ …

あなたのPCは、故障する寸前です
不安に陥れる策 [性能低下,エラー,故障する寸前など]

スポンサーリンク 先日のヤツ。 関連:広告からの驚くべきメッセージ! [故障する …

no image
BrightMailフィルターの勧告に基づき、規制が発生?(hotmail,live.jp,msn.com)

スポンサーリンク hotmail(xxx@hotmail.com や xxx@h …

B015WCN1HO
NEC Aterm MR04LN LTE対応 モバイルルーター ビッグローブSIM付 がタイムセールで19,872円!

スポンサーリンク ビッグローブのSIMがセットになっているが、契約する義務はなく …

mineo_パケットギフト
[終了] mineo(マイネオ)のパケットギフト配布祭!早い者勝ち!!②

スポンサーリンク 格安MVNOであるmineo(マイネオ)は、持っている容量をパ …