Yahoo! Search Blog: Introducing Robots-Nocontent for Page Sections という記事を読んで考えたこと。この記事の結論は、Yahoo のクローラーが class="robots-nocontent" 属性のつけられた部分を重要視しないようになるよ、ということを言っています。一例を挙げると、

<div class="robots-nocontent">
  この部分はサイトのナビゲーションメニューで
  すべてのページに共通の部分だから、
  記事とは無関係な単語やキーワードも含まれているよ。
</div>

というような感じで使うことが想定されています。rel="nofollow" の考え方に近いです。このように特定のクラス名などを付与して、ウェブ全体で共通の意味づけをもたせようという考え方は Microformats といわれています。Technorati はこの Microformats を推進しています。今回の Yahoo の発表は、Yahoo が Microformats に対応していくという表明と考えられます。

現代 HTML の問題点

しかし、この発表には賛否両論が渦巻いています。そもそも検査エンジンのロボット（クローラー）のために、文章構造に本来必要のない class を追加することが HTML の本質に反している、という主張があります。

私はこの意見には賛成ですが、現代の HTML 文章が、本来想定されていた HTML と異なる使われ方をしているところにそもそもの問題があると思います。今日の HTML が文書内容だけでなくユーザインターフェース（UI）や広告、サイドバーガジェットなどを含んでしまっているということです。

10年前の HTML は、文書構造とデザインが一体化しており、誰もが table,td 要素を使ったレイアウトや font 要素を使った見出し・強調の表現に疑問を持っていませんでした。それが啓蒙活動の成果により、HTML と CSS によるデザインの分離という考え方が浸透し、確立されてきました。

しかし、UI の分離という点ではいまだに成し遂げられていません。そればかりか AJAX の登場で、HTML に UI が組み込まれる状況は加速しています。理想的には UI 部分を HTML から分離し、Mozilla の製品で使われている XUL など、他の言語で置き換えるという方向性が取られるべきだと思います。そもそも HTML が XHTML に進化したのも、名前空間を使って XML 文書に XML 文書を埋め込めるという XML ならではのメリットがあったからです。

セマンティックウェブの考えは普及したが、なぜ XML が使われないのか

セマンティックウェブの考え自体は広く普及していますが、XHTML を XML 文書として積極的に利用しようという考え方はあまり普及していません。これにはいくつかの理由があると考えられます。

一つにはすべての UA（すなわちウェブブラウザやクローラー）が、XML を解釈できないことがあります。また、多くのウェブデザイナーにとっては HTML はまだしも XML となると難易度が高い（と感じる）ことではないかと思います。技術者の中でも XML は苦手という人はいます。

例外的なのは RSS（のフォーマットである RDF）に Dublin Core を埋め込んでいる例でしょう。ブログに RSS を埋め込んでいる例もありますが、ほとんどの場合 HTML のコメント扱いされており、本来あるべき姿ではないと感じています。

XML の考え方は非常に有用なのですが、とっつきにくいというのが普及を妨げている要因だと思います。そこで、XML を使わずに HTML の範疇でセマンティックウェブに近づける試みが Microformats なのです。これなら HTML を理解したデザイナーも class 属性に決められた値を追加するだけですから簡単に取り組めます。

Microformats はその導入のしやすさから、注目を集めています。しかし、大局的にはセマンティックウェブへの取り組みを遅らせてしまうという可能性もあると私は考えており、導入には躊躇しています。

本来ならばウェブの文書を作成するツールが XML に対応し、またブラウザが XML に対応していけば Microformats のほとんどは不要になるはずです。それとも私はまだ理解していないだけで、Microformats は XML と共存して、もしくは相互補完してセマンティックウェブの普及に役立つのでしょうか。しかし Microformats は HTML のタグを拡張してきた苦い過去を彷彿とさせます。

本来 Yahoo が取るべき対応

なぜ Yahoo はウェブサイトの作成者に労を強いるのでしょうか。Google は以前からウェブ文書のなかからコンテンツの重要部分とそうでない部分の切り分けに成功しているように見えます。Google は力業で解決していますが、Yahoo にはそれが難しいのか、よりスマートな解決策をもとめているのか、あくまで補助的に参考にするだけなのか疑問です。

たとえば今回の Yahoo の取り組みも、スパマーに逆手に取られたらどうなるのか考えてみると、Google のように自動的に判別する技術はどのみち必要になってくると思います。

RSS から情報を取り出すにはいろいろなやり方がありますが、ここでは perl の XML::RSS モジュールを利用しました。このモジュールを利用すると XSLT などの知識が無くても手軽に RSS から情報を取得できます。Red Hat Linux 9 には含まれていませんので、別途 RPM を作成してからインストール。XML::RSS は XML::Parser を内部で利用しているのでこれも必要になりますが、XML::Parser は Red Hat Linux 9 には含まれています。

次のような Perl スクリプトを作成します。
RSS から情報を取り出して、HTML の一部として出力します。

#!/usr/bin/perl
use strict;
use encoding 'utf-8';
use XML::RSS;

my $file = $ARGV[0];

my $rss = new XML::RSS;
eval {
    $rss->parsefile($file);
};
my ($link, $title);
for my $item (@{$rss->{items}}) {
    $link = $item->{link};
    $title = $item->{title};
    printf "<li><a href=\"%s\">%s</a></li>\n", $link, $title;
}

上記のスクリプトを rss2list.pl として保存します。
実際には、件数の指定や、サニタイジングなど、の処理をしていますが、基本的にはこのような流れになります。また、出力フォーマットが UTF-8 以外の場合は、Jcode モジュールなどで変換する必要があります。
次に、wget コマンドで RSS ファイルをダウンロードして、スクリプトを通して、ファイルに出力します。

  $ wget http://japan.cnet.com/rss/index.rdf -O cnetjapan.rdf
  $ ./rss2list.pl cnetjapan.rdf > cnetjapan.inc

あとは、トップページの HTML で SSI を使ってこのファイルをインクルードしています。RSS の取得とスクリプトの実行を cron で定期的に行なうように設定すれば、自動的に最新の情報が表示できます。また、他の RSS ファイルも利用することができます。