何をする手法か?
テキストベース回帰は、TF-IDFスコア、埋め込み、またはn-gramなどのテキストから抽出された特徴量を独立変数として使用し、連続的なターゲット変数を予測する。Gentzkow、Kelly、Taddy(2019)によって統合されたテキスト・アズ・データ(text-as-data)プログラムを基盤とし、価格、評価、感情スコアなどの数値的結果を文書から直接推定することを可能にし、社会科学、経済学、金融学の応用で広く使用されている。
手法の背後にある直感
回帰モデルは通常、数値予測子を必要とするが、ここでの原材料はテキストである。そのアイデアは、各文書をその語彙を捉える数値ベクトルに変換し、それらの特徴量に対する数値ターゲットの回帰を実行することである。文書の意味を手作業でコーディングする代わりに、この手法は、単語自体が、それらがどれほど情報的であるかで重み付けされ、連続量の予測を駆動することを可能にする。
歴史学
テキスト回帰は、Gentzkow、Kelly、Taddy(2019)によって概観された、より広範なテキスト・アズ・データ運動の中に位置する。この運動は、構造化されていないテキストが計量経済学的および統計的モデルへの入力としてどのように機能するかを枠付けた。Taddy(2013)は、多項逆回帰を導入して感情やその他の数量を単語数から回復させることで、テキストの予測的利用を進歩させ、数値結果がテキスト特徴量からどのように読み取れるかを示した。
使うべき場面
テキスト予測子と、それから予測したい連続数値結果があり、学習するための文書が少なくとも約50件ある場合にテキスト回帰を使用する。テキストはまずベクトル化され、テキスト特徴空間がいかに広範であるかを考慮すると、次元削減がしばしば役立つ。入力の正規分布を仮定しない。文書がはるかに少ない場合、または回帰する数値ターゲットがない場合、この手法は適切ではない。
限界と注意点
- 安定した係数を推定するために、かなりのサンプル(約50件以上の文書)が必要である。
- テキストはまずベクトル化され、非常に高い次元性は通常、次元削減を必要とする。
- 予測品質は、選択されたテキスト特徴量が数値ターゲットに関する信号をどれだけうまく運ぶかに依存する。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 文書の内容を手動でコーディングすることなく、テキストから直接連続的な結果を予測できる。
- TF-IDF、埋め込み、またはn-gramなど、いくつかの特徴量タイプで動作するため、表現はコーパスに合わせることができる。
- 入力の正規分布を必要とせず、テキストが生成するスパースで高次元の特徴量に適合する。
応用
- レビューやフィードバックテキストから数値評価またはスコアを推定する。
- ニュース、提出書類、開示情報から金融または市場数量を予測する。
- 社会科学研究において、ソーシャルメディアテキストから連続的な感情または態度のスコアを回復させる。
- 経済学および政策研究において、書かれた内容と測定された結果を結びつける。
使い方
使い方
各文書は数値特徴量に変換され、テキストは回帰準備完了の入力となる。このベクトル化ステップは、TF-IDFスコア、単語または文書の埋め込み、またはn-gramカウントを生成し、構造化されていない語彙を回帰が読み取る独立変数に変換する。
テキストベクトルは通常非常に高次元であるため、適合前に特徴空間を圧縮するために次元削減がしばしば適用される。冗長またはスパースな特徴量をトリミングすることは、モデルを安定させ、まれな語彙を記憶するのではなく一般化するのに役立つ。
回帰モデルは、テキスト特徴量を連続ターゲットにマッピングするように訓練される。正則化線形回帰子は、テキストが生成する広範でスパースな特徴行列に適しており、語彙と数値結果を結びつける係数を学習する。
適合したモデルは、回帰メトリクスを使用して保持データでスコアリングされ、モデルが信頼される前に最大の誤差が検査される。これは、訓練テキストには適合するが、新しい文書に対するターゲットを予測できないモデルに対する防御策となる。
よくある落とし穴
- 非常に広範な特徴行列で次元削減をスキップすると、まれな語彙への過剰適合を招く。
- 少なすぎる文書で適合させると、一般化しない不安定な係数が得られる。
- あるコーパスまたはドメインで構築されたベクトル化ツールまたはモデルを別のものに再利用すると、予測が低下する。ターゲットテキストで再適合させる。
- モデルを訓練適合のみで判断する — 常に保持データで評価し、最大の誤差を検査する。
よくある質問
テキスト回帰はどのような種類のターゲットを予測しますか?
連続的な数値変数 — 例えば、価格、評価、または感情スコアである。ターゲットが数値ではなくカテゴリである場合、テキスト分類が適切な方法となる。
どのテキスト特徴量を予測子として使用すべきですか?
TF-IDFスコア、単語または文書の埋め込み、およびn-gramカウントはすべて標準的な選択肢である。最適な表現は、コーパスと、語彙がターゲットについて伝えることが期待される信号に依存する。
どのくらいのデータが必要ですか?
この手法は、回帰が安定した係数を推定できるように、約50件以上の文書を期待する。テキスト特徴量は高次元であるため、サンプルが十分であっても次元削減がしばしば推奨される。
なぜ次元削減が推奨されるのですか?
テキストベクトル化は、非常に広範でスパースな特徴行列を生成する。次元を削減することは、冗長な特徴量を圧縮し、適合を安定させ、モデルがまれな語彙を記憶するのではなく一般化するのに役立つ。