ハードディスクメンテナンス ブログ

投稿記事数捌阡貳陌以上!PC,旧ゲーム,カメラ,動画などを、アヤしゐ專門妖語を使ッて解説スル!

三割以上がCrawler(ロボット)のアクセス

      2017年09月28日

>>高還元のクレジットカード比較 期間限定のキャッシュバックなど!<<


サイトのログを解析していると、Crawler(ロボット)が三割以上を占めていることがある。

あるサイトの、ある日の、0時から14時までのログ(PV)

crawl-%.googlebot.com 13.88%
msnbot-%.search.msn.com 14.09%

この2つで、約28%にもなる。

他に
baiduspider-%.crawl.baidu.com
spider-%.yandex.com
等を含めると、30%を越える。

ロボットと思われるhostを十数種類選択しただけなので、Crawlerの率はこれ以上になる。

スポンサーリンク

何をもってCrawlerとするか、という話だが、少なくとも人間のViewではない。

他にCrawlerの類と思われるもの。

rate-limited-proxy-%.google.com
%.amazonaws.com
%-static.reverse.softlayer.com
crawl-%.naver.jp
crawl%.exabot.com
%.ucri.jgn-x.jp
%.crawl.%.yahoo.co.jp
%target.microad.jp
%cust.bit-drive.ne.jp

アクセスの大半がCrawlerであり、人間にはほとんど見られていないサイトもある。

内部リンクの多いサイトに、その傾向がある。

スポンサーリンク



sha-bc@336×280

sha-bc@336×280


sha-bc@336×280

sha-bc@336×280

  関連記事

B00GOJ8GAW
ELECOM(エレコム)の 無線LANルーター 親機 11ac/n/a/g/b 1300+450Mbps WRC-F1167ACG がタイムセールで7,880円!

ELECOM WiFi 無線LANルーター 親機 11ac/n/a/g/b 13 …

B00GOJ8GAW
ELECOM(エレコム)の 無線LANルーター 親機 11ac/n/a/g/b 1300+450Mbps WRC-F1167ACG が特選タイムセールで6,780円!

但しプライム会員限定! ELECOM WiFi 無線LANルーター 親機 11a …

iOS 9 のダウンロードでエラーが起きました
iOS9がダウンロードできない事案が発生

↓こんな感じでダウンロードに失敗する。 ソフトウェアをアップデートできませんでし …

B018VK9N9E
NEC Aterm MR04LN LTE対応 モバイルルーター クレードル付属 ビッグローブSIM付 がタイムセールで18,900円!

ビッグローブのSIMがセットになっているが、契約する義務はなく、モバイルルーター …

B010F4OBJQ_14100円
[最安] NEC Aterm MR04LN 3B LTE対応 モバイルルーター OCN モバイル ONE マイクロSIM付 が特選タイムセールで14,100円!

以下記録では最安! 関連:Aterm MR04LN(NECのモバイルルーター)の …

B00GOJ8GAW
ELECOMの 無線LANルーター 親機 11ac/n/a/g/b 1300+450Mbps WRC-F1167ACG がタイムセールで7,680円!

ELECOM WiFi 無線LANルーター 親機 11ac/n/a/g/b 13 …

B018VK9N9E
NEC Aterm MR04LN LTE対応 モバイルルーター クレードル付属 ビッグローブSIM付 がタイムセールで18,900円!

ビッグローブのSIMがセットになっているが、契約する義務はなく、モバイルルーター …

no image
悪質な 163data.com.cn を拒否する(.htaccess,拒否リスト)

あるサイトに対する、無駄なアクセスが多いのは分かっている。 放置していたのだが、 …

B017D7HOAQ
ELECOMの 無線LANルーター 親機 11ac/n/a/g/b 867+300Mbps WRC-F1167ACF2 がタイムセールで3,980円!

有線は10/100まで! ELECOM WIFI 無線LANルーター 親機 11 …

有害なプログラム(ftp.vector.co.jp)
有害なプログラム – ftp.vector.co.jp [Google Chrome]

この先のサイトには有害なプログラムがあります スポンサーリンク ftp.vect …