ハードディスクメンテナンス

投稿記事数[8640]以上!PC,旧ゲーム,カメラ,動画などを、アヤしゐ專門妖語を使ッて解説スル!

三割以上がCrawler(ロボット)のアクセス

      2017年09月28日


スポンサーリンク

サイトのログを解析していると、Crawler(ロボット)が三割以上を占めていることがある。

あるサイトの、ある日の、0時から14時までのログ(PV)

crawl-%.googlebot.com 13.88%
msnbot-%.search.msn.com 14.09%

この2つで、約28%にもなる。

他に
baiduspider-%.crawl.baidu.com
spider-%.yandex.com
等を含めると、30%を越える。

ロボットと思われるhostを十数種類選択しただけなので、Crawlerの率はこれ以上になる。

スポンサーリンク

何をもってCrawlerとするか、という話だが、少なくとも人間のViewではない。

他にCrawlerの類と思われるもの。

rate-limited-proxy-%.google.com
%.amazonaws.com
%-static.reverse.softlayer.com
crawl-%.naver.jp
crawl%.exabot.com
%.ucri.jgn-x.jp
%.crawl.%.yahoo.co.jp
%target.microad.jp
%cust.bit-drive.ne.jp

アクセスの大半がCrawlerであり、人間にはほとんど見られていないサイトもある。

内部リンクの多いサイトに、その傾向がある。

スポンサーリンク



sha-bc@336×280

sha-bc@336×280


sha-bc@336×280

sha-bc@336×280

  関連記事

B011L3BGMK
ELECOMの 無線LANルーター 親機 11ac/n/a/g/b 867+300Mbps WRC-F1167ACF がタイムセールで4,480円!

スポンサーリンク WANはGigabit! ELECOM WIFI 無線LANル …

B010F4OBT6
NEC Aterm MR04LN 3B LTE対応 モバイルルーター OCN モバイル ONE マイクロSIM付 クレードル付属 が特選タイムセールで16,500円!

スポンサーリンク クレードル付属でコノ価格! OCN モバイル ONEのSIMが …

B01K9F8B88_18144円
NEC Aterm MR05LN 3B LTE対応 モバイルルーター OCNモバイルONE ナノSIM付 が18,144円!

スポンサーリンク OCN モバイル ONEのSIMがセットになっているが、契約す …

3G限定速度対決
mineo(マイネオ) vs OCN モバイル ONE 3G限定速度対決!

スポンサーリンク mineo(マイネオ)とOCN モバイル ONEの3G限定速度 …

B011L3BGMK
ELECOMの 無線LANルーター 親機 11ac/n/a/g/b 867+300Mbps WRC-F1167ACF がタイムセールで4,480円!

スポンサーリンク WANはGigabit! ELECOM WIFI 無線LANル …

アマゾン_Amazon
日本のアマゾンも無料商品供与によるレビュー(商品もらってレビュー)を禁止(レビューガイドライン更新:2016年11月22日)。Amazon Vine類は例外。

スポンサーリンク 2016年11月22日、アマゾン(日本)のレビューガイドライン …

FreeWiFi@KIX
FreeWiFi@KIX(関西国際空港 第2ターミナル)

スポンサーリンク FreeWiFi@KIX 2016年11月 21時台 スポンサ …

セイコークロノグラフ
セイコークロノグラフやスーツケースが81円? [ソフトバンク優勝セール]

スポンサーリンク 日本一となったソフトバンクホークス。 ヤフーショッピングで優勝 …

B016W5PR7C
ASUSの SIMフリースマホ ZenFone 2 Laser 16GB レッド が本日の特選商品で24,500円!

スポンサーリンク 前回(25,900円)より1,400円安!! OCN モバイル …

アマゾン_Amazon
Amazon(アマゾン)のURLが変更?ASINを前方に配置

スポンサーリンク アマゾンのURLが変更になっているみたいね。 もちろんドメイン …