何をする手法か?
情報抽出(IE)は、非構造化テキストをイベント、関係、属性などの構造化情報に変換する自然言語処理タスクであり、自由形式の文書に埋め込まれた事実が機械可読レコードになるようにします。このタスクは、CowieとLehnert(1996)による初期のサーベイ、およびGrishman(2012)によるその後のサーベイで統合されました。
手法の背後にある直感
文書は自由形式の言語で物語を語りますが、データベースには整然とした行とフィールドが必要です。情報抽出は、アナリストが誰が、何を、いつをハイライトするのと同じようにテキストを読み取り、それらのハイライトを固定スキーマに書き込みます。事実は散文の中に閉じ込められたままにするのではなく、この方法はエンティティとその間の関係を抽出し、クエリ可能な構造化レコードとして提示します。
歴史学
情報抽出は、自由形式のテキストから構造化された事実を抽出するという目標を統合したCowieとLehnert(1996)のサーベイで、独立したNLPタスクとしてフレーム化され、その後、自然言語処理ハンドブックでGrishman(2012)によって再訪されました。このタスクは、手作業で作成されたパターンルールから、エンティティ、関係、イベントを見つけるための統計的および学習済みモデルへと進化してきました。
使うべき場面
情報抽出は、テキストデータがあり、イベント、関係、または属性の構造化レコードに変換する必要があり、抽出するものを記述するドメイン固有のオントロジーを定義できる場合に適しています。妥当な量のテキストがあると役立ちます。この方法は、少なくとも50文書程度の量を想定しています。テキストデータがない場合、または事実としてカウントされるものに関する合意されたスキーマがない場合、IEは実行できません。
限界と注意点
- 抽出を開始する前に、明確に定義されたドメイン固有のオントロジーが必要です。
- 十分な量のテキストデータが必要です。非常に小さなコーパスでは信号が少なすぎます。
- 抽出品質は、スキーマとパターンがコーパスの言語とどれだけうまく一致するかに大きく依存します。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 非構造化テキストを、イベント、関係、属性の構造化されたクエリ可能なレコードに変換します。
- スキーマ駆動型:オントロジーにより、同じパイプラインを異なるドメインにリターゲットできます。
- ルールベースのパターンマッチングと訓練済みモデルを組み合わせるため、利用可能なデータとリソースに適応します。
応用
- 大規模な文書コレクションから構造化知識ベースを構築する。
- ニュースまたはレポートアーカイブからイベントとその参加者を抽出する。
- 健康、社会科学、経済学、ビジネスの分野のドメインテキストから関係と属性をキャプチャする。
- 非構造化文書からマイニングされた事実でデータベースをポピュレートする。
使い方
使い方
まず、ドメイン固有のオントロジーまたはスキーマを定義します。これは、システムが探すべきエンティティタイプ、関係、イベント、属性です。IEはスキーマが記述するもののみを抽出するため、このステップで特定のドメインでキャプチャする価値のある事実が何であるかが決まります。
生のテキストはクリーニングされ、分析可能な単位(文とトークン)にセグメント化されるため、抽出パターンとモデルは一貫した入力で動作します。この正規化がないと、下流のマッチングは信頼できなくなります。
エンティティ、関係、イベント、属性がテキスト内で特定されます。これは、言語構造に対するパターンマッチングルール、訓練済みモデル、またはその両方の組み合わせによって行われ、それぞれがオントロジーで定義された要素を検出します。
抽出された要素は、スキーマに準拠した構造化レコードに組み立てられます。イベントのスロットを埋めたり、関係の参加者をリンクしたり、エンティティに属性を添付したりします。結果は、元の非構造化テキストから抽出された機械可読な構造化情報です。
よくある落とし穴
- オントロジー設計のスキップ — 定義されたスキーマがないと、システムはターゲットを持たず、一貫性のない、または無意味なレコードを抽出します。
- あるドメイン用に構築されたパターンまたはモデルを別のドメインに適用すると、抽出精度が低下します。
- 前処理の無視は、下流のマッチングを脱線させるノイズの多いトークンと壊れた文の境界を残します。
- テキスト量が少なすぎる(50文書をはるかに下回る)場合、パターンまたはモデルが確実に機能するには例が少なすぎます。
よくある質問
情報抽出と固有表現認識の違いは何ですか?
固有表現認識は、人、場所、組織などのエンティティを見つけてラベル付けするだけです。情報抽出はより広範です。それはまた、それらのエンティティ間の関係、それらが参加するイベント、およびそれらの属性を特定し、これらすべてをスキーマに従った構造化レコードに組み立てます。
なぜ実行前にオントロジーが必要なのですか?
オントロジー、またはスキーマは、あなたのドメインで事実としてカウントされるものを正確に定義します — どのエンティティタイプ、関係、イベント、属性を探すか。情報抽出はスキーマが記述するものしかキャプチャしないため、オントロジーがないとシステムはターゲットを持たず、一貫性のない出力を生成します。
ラベル付きトレーニングデータは必要ですか?
アプローチによります。パターンベースまたはルールベースの抽出は言語構造上で動作し、ラベル付きの例なしで機能できますが、訓練済みモデルは注釈付きデータから学習します。多くのシステムは両方を組み合わせているため、必要なデータは選択するメソッドによって異なります。
どのくらいのテキストが必要ですか?
情報抽出は、妥当な量のテキスト、つまり少なくとも50文書程度の量を想定しています。それよりはるかに少ない場合、パターンとモデルには信頼できる抽出を行うための例が少なすぎます。
関連する手法
参考文献
Cowie, J. & Lehnert, W. (1996). Information Extraction. Communications of the ACM.
DOI 文献を開くコピーしました。Grishman, R. (2012). Information Extraction. In Handbook of Natural Language Processing.
ISBN:9781420085921コピーしました。