Overture-WebCrawler
2003-9-14 07:48
FAST が Overture に買収されて、クローラーの UserAgent 表記が変わったようです。ここ最近は
"FAST-WebCrawler/3.7/FirstPage (atw-crawler at fast dot no;http://fast.no/support/crawler.asp)" "Overture-WebCrawler/3.8/Fresh (atw-crawler at fast dot no; http://fast.no/support/crawler.asp)"
という2種類のクローラーが巡回してきます。
それ以上に inktomi が猛烈に巡回してきますが。
Googlebot は大量に来る日もあり、一度も来ない日もありますね。
コメントはまだありません
No comments yet.
Sorry, the comment form is closed at this time.