Yahoo! Search Blog: Introducing Robots-Nocontent for Page Sections という記事を読んで考えたこと。この記事の結論は、Yahoo のクローラーが class="robots-nocontent" 属性のつけられた部分を重要視しないようになるよ、ということを言っています。一例を挙げると、

<div class="robots-nocontent">
  この部分はサイトのナビゲーションメニューで
  すべてのページに共通の部分だから、
  記事とは無関係な単語やキーワードも含まれているよ。
</div>

というような感じで使うことが想定されています。rel="nofollow" の考え方に近いです。このように特定のクラス名などを付与して、ウェブ全体で共通の意味づけをもたせようという考え方は Microformats といわれています。Technorati はこの Microformats を推進しています。今回の Yahoo の発表は、Yahoo が Microformats に対応していくという表明と考えられます。

現代 HTML の問題点

しかし、この発表には賛否両論が渦巻いています。そもそも検査エンジンのロボット（クローラー）のために、文章構造に本来必要のない class を追加することが HTML の本質に反している、という主張があります。

私はこの意見には賛成ですが、現代の HTML 文章が、本来想定されていた HTML と異なる使われ方をしているところにそもそもの問題があると思います。今日の HTML が文書内容だけでなくユーザインターフェース（UI）や広告、サイドバーガジェットなどを含んでしまっているということです。

10年前の HTML は、文書構造とデザインが一体化しており、誰もが table,td 要素を使ったレイアウトや font 要素を使った見出し・強調の表現に疑問を持っていませんでした。それが啓蒙活動の成果により、HTML と CSS によるデザインの分離という考え方が浸透し、確立されてきました。

しかし、UI の分離という点ではいまだに成し遂げられていません。そればかりか AJAX の登場で、HTML に UI が組み込まれる状況は加速しています。理想的には UI 部分を HTML から分離し、Mozilla の製品で使われている XUL など、他の言語で置き換えるという方向性が取られるべきだと思います。そもそも HTML が XHTML に進化したのも、名前空間を使って XML 文書に XML 文書を埋め込めるという XML ならではのメリットがあったからです。

セマンティックウェブの考えは普及したが、なぜ XML が使われないのか

セマンティックウェブの考え自体は広く普及していますが、XHTML を XML 文書として積極的に利用しようという考え方はあまり普及していません。これにはいくつかの理由があると考えられます。

一つにはすべての UA（すなわちウェブブラウザやクローラー）が、XML を解釈できないことがあります。また、多くのウェブデザイナーにとっては HTML はまだしも XML となると難易度が高い（と感じる）ことではないかと思います。技術者の中でも XML は苦手という人はいます。

例外的なのは RSS（のフォーマットである RDF）に Dublin Core を埋め込んでいる例でしょう。ブログに RSS を埋め込んでいる例もありますが、ほとんどの場合 HTML のコメント扱いされており、本来あるべき姿ではないと感じています。

XML の考え方は非常に有用なのですが、とっつきにくいというのが普及を妨げている要因だと思います。そこで、XML を使わずに HTML の範疇でセマンティックウェブに近づける試みが Microformats なのです。これなら HTML を理解したデザイナーも class 属性に決められた値を追加するだけですから簡単に取り組めます。

Microformats はその導入のしやすさから、注目を集めています。しかし、大局的にはセマンティックウェブへの取り組みを遅らせてしまうという可能性もあると私は考えており、導入には躊躇しています。

本来ならばウェブの文書を作成するツールが XML に対応し、またブラウザが XML に対応していけば Microformats のほとんどは不要になるはずです。それとも私はまだ理解していないだけで、Microformats は XML と共存して、もしくは相互補完してセマンティックウェブの普及に役立つのでしょうか。しかし Microformats は HTML のタグを拡張してきた苦い過去を彷彿とさせます。

本来 Yahoo が取るべき対応

なぜ Yahoo はウェブサイトの作成者に労を強いるのでしょうか。Google は以前からウェブ文書のなかからコンテンツの重要部分とそうでない部分の切り分けに成功しているように見えます。Google は力業で解決していますが、Yahoo にはそれが難しいのか、よりスマートな解決策をもとめているのか、あくまで補助的に参考にするだけなのか疑問です。

たとえば今回の Yahoo の取り組みも、スパマーに逆手に取られたらどうなるのか考えてみると、Google のように自動的に判別する技術はどのみち必要になってくると思います。

ダウンロード

まず、Another HTML-lint をダウンロードします。最新の zip 版をダウンロードし、/var/www/html/htmllint/ に解凍します。ディレクトリ名は htmllint にする必要性はありませんが、ここでは便宜上そのようにしてあります。

必要パッケージの確認

Another HTML-lint は Perl の LWP(libwww-perl)、CGI および Jcode モジュールが必要です。

  $ rpm -qa | grep perl

として必要なモジュールがインストールされているかどうかを確認してください。Red Hat Linux 9 には Jcode の RPM は含まれていませんが、私がパッケージしたものを公開していますので、こちらをインストールしても良いかと思います。（もちろん自己責任でお願いします。）

また、Another HTML-lint はテキストブラウザでの見栄えを出力してくれる機能があります。これを利用するために Lynx パッケージも入っているかどうかチェックしておいてください。

  $ rpm -q lynx
  lynx-2.8.5-11

設定

解凍した中に htmllintenv というファイルがあります。これを htmllint.env に名前を変更した上で、開いて修正します。

  $ mv htmllintenv htmllint.env
  $ vi htmllint.env

  #コメントを外す
  $KANJICODE = 'EUC';
  #コメントを外してパスを修正
  $LYNX = '/usr/bin/lynx -dump -nolist -force_html';

ほかにもプロキシサーバの設定などが必要でしたら行なってください。

Red Hat Linux では、通常 perl のパスは /usr/local/bin/ ではなく /usr/bin/ です。htmllint（というファイルがあります）、htmllint.cgi、tagslist.cgi、および parsedtd.plファイルを開き、先頭行の Perl のパスを修正します。

  #!/usr/bin/perl

*.cgi ファイルのパーミッションを 755 などに変更し、CGI が動作するようにします。

  $ chmod 755 htmllint.cgi tagslist.cgi

また、Lynx の設定を変更し、出力が EUC になるようにします。

  # vi /etc/lynx.cfg

  #CHARACTER_SET:iso-8859-1
  CHARACTER_SET:euc-jp

httpd.con の設定

Red Hat Linux の Apache のデフォルト設定では、CGI が cgi-bin ディレクトリ以外では動きません。そこで htmllint ディレクトリでも CGI が動作するようにします。また、htmllint.env ファイルが第三者に見られないようにします。

これらの設定は .htaccess ファイルで行なう方法もありますが、今回は httpd.conf ファイルに直接書いてみました。

  # /etc/httpd/conf/httpd.conf
  <Directory "/var/www/html/htmllint">
    Options MultiViews ExecCGI
    AllowOverride None
    AddHandler cgi-script .cgi .env
    AddCharset ISO-2022-JP .html
    Order allow,deny
    Allow from all
  </Directory>

.html に対して ISO-2022-JP の Charset を指定しないと、結果の解説ページなどが文字化けします。 設定が終わったら、Apache を再起動します。

  # service httpd configtest
  Syntax OK
  # service httpd graceful

テスト

ウェブブラウザで http://サーバ名/htmllint/ にアクセスして、テストしてください。CGI のソースコードが表示されてしまう場合は、httpd.conf の設定か、パーミッションの設定に誤りがあります。CGI のエラーが発生する場合は、Perl のパスの書き換えができてないか、httpd.conf の設定に誤りがあると思います。

ブックマークレット

HTML-lint の動作が確認できたら、ブックマークレットを作っておきましょう。次のリンクは Mozilla Suite / Firefox 用です。他のブラウザでは確認していません。

Another HTML-lint でチェック

このリンクをブックマークツールバーなどにドラッグ・アンド・ドロップします。初期状態では本家のサーバにチェックに行くようになっていますので、これを必ず自分で設置した URL に書き換えてください。チェックしたいページを開いた状態でブックマークレットを使います。

2009-11-12 追記

lynx.cfg で出力コードを EUC に変更してしまうと、HTMLlint 以外の目的で Lynx を使うときに困ります。その場合は lynx.cgi を変更せずに、htmllint.env 内の $LYNX に文字コードの指定を追加します。

  $LYNX = '/usr/bin/lynx -dump -nolist -force_html -display_charset=euc-jp';