ハードディスクメンテナンス

投稿記事数[8680]以上!PC,旧ゲーム,カメラ,動画などを、アヤしゐ專門妖語を使ッて解説スル!

三割以上がCrawler(ロボット)のアクセス

      2017年09月28日


スポンサーリンク

サイトのログを解析していると、Crawler(ロボット)が三割以上を占めていることがある。

あるサイトの、ある日の、0時から14時までのログ(PV)

crawl-%.googlebot.com 13.88%
msnbot-%.search.msn.com 14.09%

この2つで、約28%にもなる。

他に
baiduspider-%.crawl.baidu.com
spider-%.yandex.com
等を含めると、30%を越える。

ロボットと思われるhostを十数種類選択しただけなので、Crawlerの率はこれ以上になる。

スポンサーリンク

何をもってCrawlerとするか、という話だが、少なくとも人間のViewではない。

他にCrawlerの類と思われるもの。

rate-limited-proxy-%.google.com
%.amazonaws.com
%-static.reverse.softlayer.com
crawl-%.naver.jp
crawl%.exabot.com
%.ucri.jgn-x.jp
%.crawl.%.yahoo.co.jp
%target.microad.jp
%cust.bit-drive.ne.jp

アクセスの大半がCrawlerであり、人間にはほとんど見られていないサイトもある。

内部リンクの多いサイトに、その傾向がある。

スポンサーリンク



sha-bc@336×280

sha-bc@336×280


sha-bc@336×280

sha-bc@336×280

  関連記事

B00PU5LFF4
BUFFALOの 無線LAN親機(Wi-Fiルーター) エアステーション WZR-S1750DHP (写真バックアップキット for iPhone付属) がタイムセールで12,990円!

スポンサーリンク BUFFALO 【iPhone6対応】 11ac/n/a/b/ …

OCN モバイル ONE アプリ
OCNモバイルONEのiOS版アプリ(v1.3.0)で不具合が発生中!

スポンサーリンク OCN モバイル ONEのiOS版アプリで不具合が発生している …

Firefox Quantum
Firefox Quantumが勝手にQuantumになってる、ユユシキ事案!

スポンサーリンク Firefoxが勝手にQuantumになってる、ユユシキ事案が …

韓国SIM
[韓国SIMカード] EG SIMの使用開始方法 [使い方,開通作業,通信量(データサービス)の申請,残高や残容量の確認,KTF,olleh,KT,仁川国際空港]

スポンサーリンク emobile(現Y!mobile)のモバイルルーターであるD …

B018VK9N9E
NEC Aterm MR04LN LTE対応 モバイルルーター クレードル付属 ビッグローブSIM付 がタイムセールで21,600円!

スポンサーリンク ビッグローブのSIMがセットになっているが、契約する義務はなく …

B00GOJ8GAW
ELECOMの 無線LANルーター 親機 11ac/n/a/g/b 1300+450Mbps WRC-F1167ACG がタイムセールで7,680円!

スポンサーリンク ELECOM WiFi 無線LANルーター 親機 11ac/n …

関西国際空港(KIX)のSIMカード自販機
[関空SIM] 関西国際空港(KIX)のSIMカード自販機と設置場所 [So-net]

スポンサーリンク (2015年4月追記) 本件、500MBで5,000円、100 …

B010F4OBT6
NEC Aterm MR04LN 3B LTE対応 モバイルルーター OCN モバイル ONE マイクロSIM付 クレードル付属 が本日の特選商品で18,900円!

スポンサーリンク クレードル付属でコノ価格! OCN モバイル ONEのSIMが …

台湾→多良間島
台湾→多良間島 水中カメラ漂着

スポンサーリンク 遠い海の先から、多良間島の海岸に水中カメラが1日漂着した。 島 …

B016W5PR7C
ASUSの SIMフリースマホ ZenFone 2 Laser 16GB レッド がタイムセールで24,500円!

スポンサーリンク OCN モバイル ONEのSIMが付属しているが、契約する必要 …