Crawl-delay

このサイトではないが、管理下にあるサイトにクローラー(Crawler)が多数キている。クローラーではないモノ(リファラースパムなど)は排除するが、クローラーを排除するのは危険。検索エンジンでの出現に影響が出るからね。とはいっても、Googl...