このページの本文へ

悟空、単語辞書を手に入れる

2009年07月03日 12時46分更新

清田陽司/東京大学 情報基盤センター 図書館電子化研究部門 助教 イラスト●MOMO’S FACTORY

  • この記事をはてなブックマークに追加
本文印刷

単語辞書を使う

 前回(関連記事)説明した2つの分かち書きアルゴリズムは、「スペース(空白文字)」「文字の種類」という、文字列の「字面」のみに頼ったものでした。一応、「人間の都合」を反映してはいるのですが、まだまだ不十分です。

 「単語」という「意味のまとまり」の根拠が何だったのか、もう一度思い出してみましょう。そう、「みんなの合意」という、あやふやな根拠でしたね。偉大な先人たちは、ことばについての「みんなの合意」を明文化するために、とっておきの道具「辞書」を発明しました。いろいろな種類の辞書を使えば、世の中にどんな単語が存在するのか、私たちはすぐに調べられます。

 辞書も文書の一種なので、当然パソコンに格納できます。たとえば、「自然言語処理」「面白い」という単語が、あらかじめ辞書としてパソコンに与えられているとしましょう。「自然言語処理は面白い」という文から、辞書を使って単語を抜き出すアルゴリズムを考えてみてください。以下に1つの例を示します。

「自然言語処理は面白い」という文から単語を抜き出してみる

 辞書に含まれる単語をあらかじめすべてハッシュ表(関連記事=第4回)に格納しておきます。アルゴリズムは、文の先頭の文字「自」をスタート地点として、「自」「自然」「自然言」「自然言語」「自然言語処」「自然言語処理」……「自然言語処理は面白い」という文字列を順番に取り出し、それぞれの文字列がハッシュ表の中に存在するかをすべて調べます。その結果、「自然言語処理」がハッシュ表の中に見つかります。アルゴリズムは、見つかった単語「自然言語処理」を単語として採用し、次のスタート地点を直後の「は」 にしてふたたび同じ処理を繰り返していきます。最終的に、「自然言語処理」「面白い」を単語として切り出せました。

Web Professionalトップページバナー

この記事の編集者は以下の記事をオススメしています

ASCII.jp会員サービス 週刊Web Professional登録

Webディレクター江口明日香が行く