また ITpro の記事によれば、robots.txt ファイルにサイトマップの場所を記述して、クローラにサイトマップファイルを知らせることができるようになったようです。

米Google，米Yahoo!，米Microsoftなどが検索エンジンの向上に向けて結成した団体Sitemaps.orgは，「Sitemap（ver.0.90）」プロトコルを強化した。Web作成者はrobots.txtファイルを使って，サイト内のクロール（インデックス）対象を指定できるという。（略） robots.txtファイルに「Sitemap: http://www.example.com/sitemap.xml」という1行を追加すればよい。「http://www.example.com/」部分には実際のURLを「http://」も含めて入力する。

追記

また CNET Japan の記事によれば、Ask.com もこの robots.txt の方式でサイトマップに対応するとのこと。日本の Ask.jp に関係するかどうかは分かりませんし、いまのところ影響も微々たるものだと思いますが、標準化されていくという点では間違いないようです。

Google Sitemaps は、サイトマットと呼ばれる複数の URL を記述した、XML ファイルを登録すると、それに基づいて Googlebot が巡回するので、クロールされやすくなるというサービスです。

それだけでなく、 サイトの統計情報を閲覧できたり、クロールできなかった URL に関するエラー情報などが確認できますので、サイトのリンクミスなどを発見するのにも役立ちます。

また、1つの Google アカウントで複数のサイトを管理できます。Google アカウントは Gmail やパーソナライズと共通です。

サイトマップは手作業で作成することもできますが、Python でできた作成ツール google-sitemap_gen があります。これをツールの使用方法に従ってサーバ上にインストールして動かせば、サイトマップを作成してくれますし、cron で自動実行させることもできます。ISP のウェブスペースや、ホスティングサービスなどでは難しいですが、自前で Linux サーバを立ち上げている人であれば簡単に利用できます。

ツールはディレクトリからファイルを探し出したり、アクセスログを解析するなど、様々な方法でサイトマップを作成します。ここで困ったのは、Apache の Content Negotiation を利用している場合です。サーバのディレクトリからリストを作成する場合、サイトマップにはどうしてもファイルの拡張子がついてしまいます。このような場合はテキストファイルに URL リストを書く方法が良いのでしょうかね。