Skip to content
検索結果に戻る

チャンキング — 浅い構文解析

提唱者
Steven Abney
年
1991
種類
NLP partial-parsing task

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

チャンキング、または浅い構文解析とも呼ばれるこのタスクは、1991年にSteven Abneyによって導入された自然言語処理タスクであり、品詞タグを使用してテキストを名詞句や動詞句などの文法的な断片に分割します。文の完全な構文解析ツリーを構築することなく、有用な構文構造を迅速に抽出します。

手法の背後にある直感

完全な構文解析は、すべての単語が他のすべての単語とどのように関連しているかを記述しますが、これはコストが高く、アプリケーションが必要とする以上の情報であることがよくあります。チャンキングは近道を取ります。品詞タグが付けられた単語から開始し、隣接するタグをフラットで重複しない句にグループ化します。完全な文法ツリーを解決することなく、「the small dog」が名詞句であり、「is barking」が動詞句であることを学習し、低コストで迅速な構造的洞察を提供します。

歴史学

チャンキングは、Steven Abney (1991) によって『Parsing by Chunks』で導入され、完全な構文解析に対する効率的な代替手段としてチャンクを中心とした部分解析をフレーム化しました。このタスクは後に、CoNLL-2000のチャンキングに関する共有タスク (Tjong Kim Sang & Buchholz, 2000) によって標準化され普及し、共通のデータセットと評価が確立されました。

使うべき場面

品詞タグ付けされたテキストがあり、完全な構文解析のコストなしに句レベルの構造を迅速に必要とする場合にチャンキングを使用します。これは、テキストの探索的および記述的分析に適しており、わずかなデータ(約10ユニット)しか必要としません。2つの条件が満たされている必要があります。POSタグ付けがすでに完了していること、およびターゲット言語に対してチャンク文法またはモデルが存在することです。

限界と注意点

  • まず品詞タグ付けを完了する必要があります。タグのエラーはチャンクに伝播します。
  • ターゲット言語に一致するチャンク文法またはモデルが必要です。
  • フラットで重複しない句のみを生成します。完全なネストされた構文構造を回復しません。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • 完全な解析ツリーの構築コストなしに、有用な構文構造を高速に抽出します。
  • 単純で透明なパターンルールを持つPOSタグから動作するため、検査や調整が容易です。
  • 情報抽出などの下流タスクのための句レベルのビルディングブロック(名詞句および動詞句)を提供します。

応用

  • 情報抽出 — 候補エンティティおよび関係として名詞句および動詞句を分離します。
  • 名詞句の境界を表面化することによる固有表現認識の前処理。
  • 完全な構文解析がコストが高すぎる大規模テキストコーパスの高速構造分析。
  • コーパス内の文法句パターンの探索的および記述的研究。

使い方

使い方

1

この方法は、すでに品詞タグ付けされたテキストから開始します。各トークンは、限定詞、形容詞、名詞、または動詞などのラベルを持ちます。チャンカーは生の単語ではなくこれらのタグで動作するため、POSタグ付けの完了が前提条件となります。

2

ターゲット言語に対してチャンク文法が指定されます。これは通常、POSタグのパターン(例:名詞句は、オプションの限定詞、任意の形容詞、次に名詞)として表されます。この処理を成功させるには、ルールセットまたは学習済みモデルがその言語で利用可能である必要があります。

3

文法はタグ付けされたシーケンス全体に適用され、パターンに一致する隣接するタグをフラットで重複しないチャンクにグループ化します。完全な構文解析とは異なり、チャンクは完全なツリーにネストされません。解析は浅いままです。

4

識別された句チャンク(名詞句、動詞句など)が出力として読み取られます。これらの浅い構造は、情報抽出や固有表現認識などの下流タスクにフィードされます。

よくある落とし穴

  • タグ付けされていない、または不適切にタグ付けされたテキストでチャンキングを実行すること。POSタグ付けは最初に行う必要があり、タグ付けのエラーはチャンクに直接引き継がれます。
  • ある言語で構築されたチャンク文法を別の言語で再利用すること。パターンルールはターゲット言語に一致する必要があります。
  • 浅いパーサーからネストされた、または完全な構文構造を期待すること。チャンクは設計上フラットであるため、深い構造が必要な場合は完全な構文解析を使用してください。

よくある質問

チャンキングは完全な構文解析とどう異なりますか?

完全な構文解析は、すべての単語が他のすべての単語とどのように関連しているかを示す完全な構文ツリーを構築します。チャンキングは浅い構文解析であり、隣接する単語を名詞句や動詞句などのフラットで重複しない句にグループ化し、完全なツリーにネストしません。これにより、はるかに高速になり、句レベルの構造のみを必要とするタスクで十分であることがよくあります。

チャンキングの前に品詞タグ付けが必要ですか?

はい。チャンキングは生の単語ではなくPOSタグで動作するため、タグ付けを最初に行う必要があります。チャンカーはそれらのタグに依存するため、タグ付けのエラーはすべてチャンクに直接引き継がれます。

チャンキングはどの言語でも機能しますか?

ターゲット言語に対してチャンク文法または学習済みモデルが存在する場合にのみ機能します。パターンルールは言語固有であるため、ある言語のために書かれた文法を別の言語に適用すべきではありません。

チャンキングは何を生成しますか?

タグ付けされたシーケンスから読み取られる、フラットで重複しない句チャンク(通常は名詞句および動詞句)を生成します。これらの浅い構造は、情報抽出および固有表現認識の入力として一般的に使用されます。

関連する手法

参考文献

  1. Abney, S. (1991). Parsing by Chunks. In Principle-Based Parsing. Kluwer Academic Publishers.

    ISBN:978-0-7923-1173-4
    コピーしました。
  2. Tjong Kim Sang, E.F. & Buchholz, S. (2000). Introduction to the CoNLL-2000 Shared Task: Chunking. Proceedings of CoNLL-2000.

    出版物の文献を開く
    コピーしました。