Overture-WebCrawler

2003-9-14 07:48
このエントリーをはてなブックマークに追加

FAST が Overture に買収されて、クローラーの UserAgent 表記が変わったようです。ここ最近は

"FAST-WebCrawler/3.7/FirstPage (atw-crawler at fast dot no;http://fast.no/support/crawler.asp)"
"Overture-WebCrawler/3.8/Fresh (atw-crawler at fast dot no; http://fast.no/support/crawler.asp)"

という2種類のクローラーが巡回してきます。
それ以上に inktomi が猛烈に巡回してきますが。
Googlebot は大量に来る日もあり、一度も来ない日もありますね。

コメントはまだありません

No comments yet.

Sorry, the comment form is closed at this time.

32 queries. HTML convert time: 0.058 sec. Powered by WordPress. Valid XHTML
Copyright © 2003-2017 @ futuremix.org ログイン