形態素解析 — ステミングとレンマ化
- 提唱者
- M.F. Porter (Porter stemmer)
- 年
- 1980
- 種類
- Text-normalisation preprocessing task
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
形態素解析は、単語を語幹と接辞に分割し、同じ単語の異なる表面形を1つとして扱えるようにする。これは、Porter (1980) や Snowball アルゴリズムのような規則ベースのステミングと、辞書を考慮したレンマ化という2つの補完的なアプローチを包含し、トルコ語やアラビア語のような膠着語における重要なテキスト正規化ステップである。
手法の背後にある直感
読者は、running、runs、ran がすべて動詞 run に遡ることを知っているが、機械にとってはこれらは3つの無関係な文字列である。形態素解析は、単語から文法的な語尾を取り除き、基底の形を回復させるため、単語が現れる多くの方法が単一のトークンに収束する。ステミングは規則によって接尾辞を切り落とし、レンマ化は単語を検索して真の辞書形を返す。いずれにせよ、目標は1つの概念をいくつかの異なる単語として数えるのをやめることである。
歴史学
規則ベースのステミングは、Porter (1980) の接尾辞除去アルゴリズムによって普及し、これは参照点として残っており、後に Snowball ファミリーのステマーに進化した。確率的およびモデルベースの形態素解析が続き、Schmid (1994) の決定木品詞タガーは、現代のレンマ化を情報化する統計的アプローチへの移行を示している。
使うべき場面
トークン化されたテキストと、その言語の形態論的規則またはモデルが存在する場合に、形態素解析を正規化ステップとして使用せよ。これは、単一の語幹が多くの表面形を生成するトルコ語やアラビア語のような膠着語にとって特に価値がある。テキストが最初にトークン化されていること、および対象言語の形態論リソースが必要であり、それらがないと確実に実行できない。
限界と注意点
- 対象言語の形態論的規則またはモデルがすでに存在する必要がある。
- 分析を開始する前にテキストをトークン化する必要がある。
- 規則ベースのステミングは、過剰ステミング(無関係な単語をマージする)または過少ステミング(有効な変形を見逃す)を起こす可能性がある。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 単語の屈折形を単一の形に収束させ、下流分析のための語彙を縮小する。
- 高速な規則ベースのステミング(Porter、Snowball)から辞書精度レンマ化までのスペクトルを提供する。
- トルコ語やアラビア語のような膠着語、単一の語幹が多くの形を共有する言語に特に強力である。
応用
- インデックス作成、検索、または情報検索の前にテキストを正規化する。
- テキスト分類またはトピックモデリングの前に語彙サイズを削減する。
- トルコ語、アラビア語のような表面形が多数を生成する膠着語コーパスの前処理。
- 下流テキストマイニングパイプラインのためのテキスト特徴のクリーニングと標準化。
使い方
使い方
テキストはまず個々の単語トークンに分割される。形態素解析は単語に対して作用するため、語幹またはレンマを抽出する前にコーパスはすでにトークン化されている必要があり、これは本手法の明示された前提条件である。
各トークンは対象言語の形態論に対して検査され、語幹を接辞(接頭辞、接尾辞、屈折辞)から分離する。このステップでは、手元にある言語の形態論的規則またはモデルが存在する必要があり、これは屈折が豊富な膠着語において最も重要となる。
単語は正規化された形に還元される。ステミングアプローチ(Porter、Snowball)は規則によって接尾辞を切り落とし、実際の単語である必要のない語幹を生成する一方、レンマ化アプローチは、任意で品詞を考慮して、実際の辞書レンマを返す。
還元された形はコーパスに書き戻され、変形した表面形が1つのトークンにマッピングされる。この正規化により語彙が縮小し、下流のテキストマイニングステップで単語の屈折形を同じ特徴として扱えるようになる。
よくある落とし穴
- ステミングは、実際の単語ではない語幹を生成する可能性がある。真のレンマが必要な場合に、語幹を辞書形として扱わないこと。
- 英語のステマーを他言語のテキストに適用すると無意味な結果が得られる。形態論リソースはコーパス言語と一致する必要がある。
- トークン化をスキップすると、不正なトークンがアナライザーにフィードされ、出力が破損する。
- 過剰ステミングは異なる単語を1つの語幹にマージし、過少ステミングは変形を分離したままにする。下流タスクの正確性がどの程度必要かに応じて、ステミングとレンマ化のどちらかを選択せよ。
よくある質問
ステミングとレンマ化の違いは何ですか?
ステミングは規則によって接尾辞を切り落とし(PorterまたはSnowballアルゴリズムのように)、実際の単語である必要のない語幹を生成し、高速である。レンマ化は単語を検索し(しばしば品詞を使用)、実際の辞書レンマを返し、より正確だが重い。
トルコ語やアラビア語のような言語で最も重要なのはなぜですか?
これらは膠着語であり、単一の語幹が多くの接辞を取り、多数の表面形を生成できる。形態素解析は、それらの形を語幹に収束させ、そのような言語でのテキスト正規化に不可欠である。
最初にテキストをトークン化する必要がありますか?
はい。形態素解析は個々の単語に対して作用するため、コーパスはすでにトークン化されている必要がある。トークン化は本手法の明示された前提条件である。
形態論リソースが言語と一致しない場合、何が起こりますか?
出力が無意味になる。規則またはモデルは対象言語のために構築される必要がある。例えば、英語のステマーを非英語テキストに適用すると、不正確な語幹が生成される。