知識グラフ埋め込み
- 提唱者
- Bordes, Usunier, García-Durán, Weston & Yakhnenko
- 年
- 2013
- 種類
- Graph representation learning via low-dimensional vector embeddings
- 系統
- Graph representation
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
知識グラフ埋め込み(KGE)は、知識グラフ内のエンティティと関係を、連続空間内の密な低次元ベクトルとして表現する手法群です。基盤となるモデルであるTransEは、Bordes、Usunier、García-Durán、Weston、およびYakhnenkoによって2013年に導入されました。TransEは、各関係を埋め込み空間における変換として扱います。すなわち、任意の真のトリプル (h, r, t) について、ヘッドエンティティベクトルと関係ベクトルを足し合わせたものが、テールエンティティベクトルに近似するべきであるとします。この単純な幾何学的原理により、効果的なリンク予測と大規模な知識ベース補完が可能になりました。
手法の背後にある直感
国、首都、そして「〜の首都である」という関係を地図上に配置することを想像してみてください。TransEは、フランスのベクトルから「首都」とラベル付けされた方向に進むと、パリの近くに着地するはずだと言います。エンティティは点であり、関係はそれらをつなぐ矢印です。モデルは、既知の矢印が正しく指すようにこれらの位置を学習し、同じ矢印をたどることで、未知の事実(例えば、地図にない首都を見つけること)を簡単に推測できるようにします。
歴史学
TransEは、2013年にBordesらがNeurIPSで、RESCALのような以前のテンソル分解手法に代わるスケーラブルな手法として発表されました。その洗練された変換のメタファーは、後続のモデルの波を触発しました。TransHとTransR(2014年)は関係固有の超平面を可能にし、DistMultとComplEx(2015年〜2016年)は双線形スコアリングを探求し、RotatE(2019年)は関係を複素空間における回転としてモデル化しました。今日、KGEは知識グラフ補完の文献において基礎的なベンチマークであり続けています。
使うべき場面
大規模な (主語, 述語, 目的語) トリプルの集合があり、欠落したリンクを推論したり、候補となる事実をランク付けしたり、エンティティ分類や質問応答などの下流タスクのための低次元特徴を生成したりする必要がある場合に、知識グラフ埋め込みを使用します。KGE手法は、欠落した事実に対してオープンワールド仮説を前提としています。関係パターンが非常に非推移的である場合や、グラフが極めて疎でエンティティあたりのトリプルが少ない場合には、あまり適していません。より豊かな近傍集約のためにはグラフニューラルネットワーク、明示的な論理的推論が必要な場合にはルールベースシステムなどが代替手段として挙げられます。
限界と注意点
- TransEは、対称関係や1対N関係をうまくモデル化できません。これは、変換制約が対称述語に対してヘッドとテールを同じ点に強制するためです。
- 出現頻度の低いエンティティ(非常に少ないトリプルにしか現れない)では埋め込み品質が低下します。これは実世界の知識ベースでよく見られるロングテール問題です。
- 静的埋め込みは、大幅なアーキテクチャ拡張なしには、関係における時間的または文脈的変動を捉えることができません。
- 学習には慎重に構築された負のサンプルが必要です。単純なランダム破損では、勾配信号にほとんど寄与しない簡単な負のサンプルが生成されます。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 埋め込み次元において線形空間計算量と時間計算量で、数百万のエンティティと関係にスケールします。
- 分類器、推薦システム、または他の下流モデルに供給できる再利用可能な密な表現を生成します。
- TransEのスコアリング関数は推論時に計算コストが低く、非常に大規模なグラフ上での高速なリンク予測を可能にします。
- 豊富なモデル動物園(TransR、RotatE、DistMult、ComplEx)により、実践者はデータ内の関係パターンに最適なバリアントを選択できます。
応用
- リンク予測と知識ベース補完 — Freebase、Wikidata、またはドメイン固有のオントロジーにおける欠落した (h, r, t) トリプルの推論。
- 生物医学知識グラフ — 薬剤と標的の相互作用、遺伝子と疾患の関連性、タンパク質とタンパク質の関係の予測。
- 推薦システム — 製品またはユーザー知識グラフから得られた意味的エンティティ埋め込みで協調フィルタリングを強化します。
- 知識ベース上の質問応答 — グラフ構造をエンコードして、マルチホップ推論とエンティティ曖昧性解消をサポートします。
- 多言語知識グラフ間のエンティティアラインメント — DBpedia、Wikidata、および言語固有の百科事典における同等のエンティティのマッチング。
使い方
使い方
すべてのエンティティおよび関係の埋め込みは、d次元の実数空間内のベクトルとしてランダムに初期化されます。エンティティ埋め込みは、モデルがベクトルの大きさを拡大することで損失を自明に最小化するのを防ぐため、単位球面上(L2ノルムが1に等しい)に制約されます。関係ベクトルは正規化されず、関係タイプによって異なる方向変換の大きさを符号化できるようにします。
数式
\mathbf{e}, \mathbf{r} \in \mathbb{R}^d, \quad \|\mathbf{e}\|_2 = 1各候補トリプル (h, r, t) について、TransEは残差ベクトル h + r − t のL1またはL2ノルムとして非類似度スコアを計算します。低いスコアは、関係ベクトル r をヘッド埋め込み h に加えることでテール埋め込み t が密接に再現され、そのトリプルが妥当であることを示します。この変換のメタファーは、TransEファミリーを特徴づける幾何学的直感です。
数式
f_r(h, t) = \|\mathbf{h} + \mathbf{r} - \mathbf{t}\|_{L_1/L_2}学習には、マージンベースのペアワイズランキング損失が用いられます。観測された各正のトリプル (h, r, t) について、ヘッドまたはテールを別のエンティティでランダムに置き換えることにより、破損した負のトリプル (h', r, t') が生成されます。正のトリプルのスコアが負のトリプルのスコアをマージン γ 未満で上回るたびにモデルはペナルティを受け、これにより正しいトリプルは低いスコアに、破損したトリプルは高いスコアに押しやられます。
数式
\mathcal{L} = \sum_{(h,r,t) \in S} \sum_{(h',r,t') \in S'} \left[\gamma + f_r(h,t) - f_r(h',t')\right]_+モデルパラメータは、ミニバッチに対する確率的勾配降下法によって更新されます。各勾配ステップの後、エンティティ埋め込みはL2正規化を通じて単位球面上に投影し直され、エンティティが大きさだけで支配することを防ぐ制約が強制されます。学習率 η とマージン γ は、収束と分離の品質を制御する主要なハイパーパラメータです。
数式
\theta \leftarrow \theta - \eta \nabla_{\theta} \mathcal{L}, \quad \mathbf{e} \leftarrow \frac{\mathbf{e}}{\|\mathbf{e}\|_2}よくある落とし穴
- 埋め込み次元を小さくしすぎると意味的に異なるエンティティが崩壊し、大きすぎると疎なエンティティに対する過学習のリスクが増大します。
- 負のサンプリング中にヘッドのみまたはテールのみの破損を使用すると、系統的なバイアスが導入される可能性があります。バッチごとに両方の戦略を交互に使用するか、併用してください。
- 関係ベクトルもエンティティベクトルと同様に正規化すると、TransEの定式化と矛盾し、通常は性能が低下します。
- MRRまたはHits@kのみで評価し、逆順位分布を検査しないと、特定の関係タイプにおける失敗を隠蔽する可能性があります。
よくある質問
TransEはRotatEやComplExのようなより新しいモデルとどのように異なりますか?
TransEは関係を実数値空間における加法的な変換としてモデル化するため、対称関係や1対N関係の扱いに苦慮します。RotatEは関係を複素空間における回転として表現し、対称性、反対称性、および反転パターンを自然に処理します。ComplExは複素数値埋め込みとエルミート内積を使用し、TransEでは捉えられない非対称関係を捉えます。これらの進歩にもかかわらず、TransEはその単純さと速度のため、強力なベースラインであり続けています。
学習におけるマージンハイパーパラメータ γ の役割は何ですか?
マージン γ は、正のトリプルと負のトリプルの間に必要な最小スコアギャップを設定します。γ が大きいほど、より広い分離が要求され、識別能力が向上する可能性がありますが、学習の初期段階でハードネガティブを過度にペナルティするリスクがあります。γ が小さいと、過学習する可能性があります。典型的な値は0.5から10の範囲であり、通常、Hits@10またはMRRにおける検証セットの性能を通じて γ が調整されます。
知識グラフ埋め込みはマルチホップ推論を処理できますか?
TransEのような単層KGEモデルはワンホップスコアリングを捉えますが、明示的なマルチホップ連鎖には苦慮します。パスベースモデル(PTransE)やニューラルシンボリックハイブリッドなどの拡張機能は、パスに沿って関係埋め込みを構成し、2ホップおよび3ホップ推論を処理します。複数の層にわたって近傍情報を伝播するグラフニューラルネットワークのバリアントは、深いマルチホップ推論タスクによく好まれます。
関連する手法
参考文献
Bordes, A., Usunier, N., García-Durán, A., Weston, J., & Yakhnenko, O. (2013). Translating embeddings for modeling multi-relational data. Advances in Neural Information Processing Systems, 26.
出版物の文献を開くコピーしました。