Skip to content
بازگشت به نتایج جست‌وجو

تعبیر گراف دانش

معرفی‌شده توسط
Bordes, Usunier, García-Durán, Weston & Yakhnenko
سال
2013
نوع
Graph representation learning via low-dimensional vector embeddings
خانواده
Graph representation

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

تعبیر گراف دانش (KGE) خانواده‌ای از روش‌ها هستند که موجودیت‌ها و روابط در یک گراف دانش را به صورت بردارهای فشرده و کم‌بُعد در فضایی پیوسته نمایش می‌دهند. مدل پایه‌ای، TransE، در سال ۲۰۱۳ توسط Bordes، Usunier، García-Durán، Weston و Yakhnenko معرفی شد.

TransE هر رابطه را به عنوان یک جابجایی در فضای تعبیر در نظر می‌گیرد — بردار موجودیت سر به علاوه بردار رابطه باید برای هر سه‌تایی حقیقی (h, r, t) تقریبی از بردار موجودیت ته باشد. این اصل هندسی ساده، پیش‌بینی پیوند و تکمیل پایگاه دانش را در مقیاس بزرگ ممکن ساخت.

شهود پشت روش

تصور کنید کشورها، پایتخت‌ها و رابطه «پایتختِ» بودن را روی نقشه قرار داده‌اید. TransE می‌گوید: اگر از بردار فرانسه شروع کنید و در جهت برچسب‌گذاری شده «پایتخت» حرکت کنید، باید به پاریس نزدیک شوید. موجودیت‌ها نقاط هستند؛ روابط فلش‌هایی هستند که آن‌ها را به هم پیوند می‌دهند. مدل این موقعیت‌ها را یاد می‌گیرد تا فلش‌های شناخته شده را به درستی نشان دهد و با دنبال کردن همان فلش‌ها، حدس زدن حقایق ناشناخته — مانند یافتن یک پایتخت نقشه‌برداری نشده — را آسان می‌کند.

تاریخ

TransE در NeurIPS 2013 توسط Bordes و همکاران به عنوان جایگزینی مقیاس‌پذیر برای روش‌های فاکتورگیری تانسور قبلی مانند RESCAL معرفی شد. استعاره جابجایی ظریف آن الهام‌بخش موجی از جانشینان بود: TransH و TransR (2014) صفحات ابرمتقارن مختص رابطه را ممکن ساختند؛ DistMult و ComplEx (2015–2016) امتیازدهی دوجمله‌ای را بررسی کردند؛ RotatE (2019) روابط را به عنوان چرخش در فضای مختلط مدل کرد. امروزه KGE همچنان یک معیار پایه‌ای در ادبیات تکمیل گراف دانش باقی مانده است.

چه زمانی استفاده شود

هنگامی که مجموعه‌ای بزرگ از سه‌تایی‌های (موضوع، گزاره، مفعول) دارید و نیاز به استنتاج پیوندهای گمشده، رتبه‌بندی حقایق کاندید، یا تولید ویژگی‌های کم‌بُعد برای وظایف پایین‌دستی مانند طبقه‌بندی موجودیت یا پرسش و پاسخ دارید، از تعبیر گراف دانش استفاده کنید. روش‌های KGE فرض دنیای باز را برای حقایق گمشده در نظر می‌گیرند. آن‌ها زمانی که الگوهای رابطه به شدت غیرتعدی هستند یا زمانی که گراف بسیار پراکنده با سه‌تایی‌های کم برای هر موجودیت است، کمتر مناسب هستند. جایگزین‌ها شامل شبکه‌های عصبی گراف برای تجمیع غنی‌تر همسایگی، یا سیستم‌های مبتنی بر قاعده در صورت نیاز به استدلال منطقی صریح است.

محدودیت‌ها و ملاحظات

  • TransE نمی‌تواند روابط متقارن یا ۱ به N را به خوبی مدل کند زیرا محدودیت جابجایی، سر و ته را برای گزاره‌های متقارن به یک نقطه مجبور می‌کند.
  • کیفیت تعبیر برای موجودیت‌های با فرکانس پایین که در تعداد کمی سه‌تایی ظاهر می‌شوند، کاهش می‌یابد، که یک مشکل دم دراز رایج در پایگاه‌های دانش دنیای واقعی است.
  • تعبیرهای ایستا نمی‌توانند تغییرات زمانی یا متنی در روابط را بدون افزونه‌های معماری قابل توجهی ثبت کنند.
  • آموزش نیازمند نمونه‌های منفی با دقت ساخته شده است؛ فساد تصادفی ساده، نمونه‌های منفی آسانی تولید می‌کند که سیگنال گرادیان کمی را فراهم می‌کنند.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • با پیچیدگی خطی فضا و زمان بر حسب بُعد تعبیر، به میلیون‌ها موجودیت و رابطه مقیاس‌پذیر است.
  • نمایش‌های فشرده قابل استفاده مجددی تولید می‌کند که می‌توانند به طبقه‌بندها، سیستم‌های توصیه‌گر، یا سایر مدل‌های پایین‌دستی تغذیه شوند.
  • تابع امتیازدهی TransE در زمان استنتاج از نظر محاسباتی ارزان است و امکان پیش‌بینی سریع پیوند را بر روی گراف‌های بسیار بزرگ فراهم می‌کند.
  • مجموعه مدل گسترده (TransR، RotatE، DistMult، ComplEx) به متخصصان اجازه می‌دهد تا واریانتی را انتخاب کنند که به بهترین وجه با الگوهای رابطه در داده‌هایشان مطابقت دارد.

کاربردها

  • پیش‌بینی پیوند و تکمیل پایگاه دانش — استنتاج سه‌تایی‌های (h, r, t) گمشده در Freebase، Wikidata، یا آنتولوژی‌های خاص دامنه.
  • گراف‌های دانش زیست‌پزشکی — پیش‌بینی برهم‌کنش‌های دارو-هدف، ارتباطات ژن-بیماری، و روابط پروتئین-پروتئین.
  • سیستم‌های توصیه‌گر — غنی‌سازی فیلترینگ مشارکتی با تعبیرهای موجودیت معنایی برگرفته از گراف‌های دانش محصول یا کاربر.
  • پرسش و پاسخ بر روی پایگاه‌های دانش — کدگذاری ساختار گراف برای پشتیبانی از استدلال چند-پرشی و ابهام‌زدایی موجودیت.
  • هم‌ترازی موجودیت در گراف‌های دانش چندزبانه — تطبیق موجودیت‌های معادل در DBpedia، Wikidata، و دایره‌المعارف‌های خاص زبان.

چگونه کار می‌کند

چگونه کار می‌کند

1

تمام تعبیرهای موجودیت و رابطه به صورت تصادفی به عنوان بردار در فضایی حقیقی d-بُعدی مقداردهی اولیه می‌شوند. تعبیرهای موجودیت به گونه‌ای محدود می‌شوند که روی کره واحد (نُرم L2 برابر با ۱) قرار گیرند تا از حداقل‌سازی تریویال تابع هزینه با افزایش مقادیر بردار جلوگیری شود. بردارهای رابطه نرمال‌سازی نمی‌شوند و این اجازه را می‌دهد که بزرگی جابجایی جهت‌دار را که بسته به نوع رابطه متفاوت است، کدگذاری کنند.

فرمول
\mathbf{e}, \mathbf{r} \in \mathbb{R}^d, \quad \|\mathbf{e}\|_2 = 1
2

برای هر سه‌تایی کاندید (h, r, t)، TransE یک امتیاز عدم تشابه را به صورت نُرم L1 یا L2 بردار باقیمانده h + r − t محاسبه می‌کند. امتیاز پایین نشان می‌دهد که افزودن بردار رابطه r به بردار سر h به خوبی بردار ته t را بازتولید می‌کند، که نشان‌دهنده معقول بودن سه‌تایی است. این استعاره جابجایی، شهود هندسی تعریف‌کننده خانواده TransE است.

فرمول
f_r(h, t) = \|\mathbf{h} + \mathbf{r} - \mathbf{t}\|_{L_1/L_2}
3

آموزش از تابع هزینه رتبه‌بندی زوجی مبتنی بر حاشیه استفاده می‌کند. برای هر سه‌تایی مثبت مشاهده شده (h, r, t)، یک سه‌تایی منفی خراب شده (h', r, t') با جایگزینی تصادفی سر یا ته با موجودیتی متفاوت تولید می‌شود. هنگامی که امتیاز سه‌تایی مثبت کمتر از حاشیه γ از امتیاز سه‌تایی منفی بیشتر باشد، مدل جریمه می‌شود و سه‌تایی‌های صحیح را به سمت امتیازهای پایین و سه‌تایی‌های خراب شده را به سمت امتیازهای بالا سوق می‌دهد.

فرمول
\mathcal{L} = \sum_{(h,r,t) \in S} \sum_{(h',r,t') \in S'} \left[\gamma + f_r(h,t) - f_r(h',t')\right]_+
4

پارامترهای مدل از طریق نزول گرادیان تصادفی روی دسته‌های کوچک به‌روزرسانی می‌شوند. پس از هر گام گرادیان، تعبیرهای موجودیت از طریق نرمال‌سازی L2 دوباره روی کره واحد پرتاب می‌شوند و این محدودیت را اعمال می‌کنند که هیچ موجودیتی نمی‌تواند صرفاً از طریق بزرگی غالب شود. نرخ یادگیری η و حاشیه γ ابرپارامترهای کلیدی هستند که همگرایی و کیفیت جداسازی را کنترل می‌کنند.

فرمول
\theta \leftarrow \theta - \eta \nabla_{\theta} \mathcal{L}, \quad \mathbf{e} \leftarrow \frac{\mathbf{e}}{\|\mathbf{e}\|_2}

دام‌های رایج

  • انتخاب بُعد تعبیر خیلی کوچک، موجودیت‌های متمایز معنایی را فرو می‌پاشد؛ خیلی بزرگ، خطر بیش‌برازش بر روی موجودیت‌های پراکنده را افزایش می‌دهد.
  • استفاده از تنها فساد سر یا تنها فساد ته در طول نمونه‌برداری منفی می‌تواند سوگیری‌های سیستماتیک ایجاد کند — استراتژی‌ها را متناوب کنید یا از هر دو استراتژی در هر دسته استفاده کنید.
  • نرمال‌سازی بردارهای رابطه و همچنین بردارهای موجودیت با فرمول‌بندی TransE در تضاد است و معمولاً عملکرد را مختل می‌کند.
  • ارزیابی صرفاً بر اساس MRR یا Hits@k بدون بررسی توزیع رتبه معکوس می‌تواند شکست‌ها را در انواع روابط خاص پنهان کند.

پرسش‌های متداول

TransE چگونه با مدل‌های جدیدتر مانند RotatE یا ComplEx تفاوت دارد؟

TransE روابط را به عنوان جابجایی‌های جمعی در فضای حقیقی مدل می‌کند که با روابط متقارن و ۱ به N مشکل دارد. RotatE روابط را به عنوان چرخش در فضای مختلط نمایش می‌دهد و الگوهای تقارن، پادتقارن و وارونگی را به طور طبیعی مدیریت می‌کند. ComplEx از تعبیرهای مختلط و ضرب داخلی هرمیتی استفاده می‌کند و روابط نامتقارنی را که TransE نمی‌تواند، ثبت می‌کند. علی‌رغم این پیشرفت‌ها، TransE به دلیل سادگی و سرعتش به عنوان یک خط پایه قوی باقی مانده است.

پارامتر حاشیه γ در آموزش چه نقشی دارد؟

حاشیه γ شکاف امتیاز حداقل مورد نیاز بین سه‌تایی‌های مثبت و منفی را تعیین می‌کند. γ بزرگتر جداسازی وسیع‌تری را می‌طلبد که می‌تواند تمایز را بهبود بخشد اما خطر جریمه بیش از حد نمونه‌های منفی دشوار در اوایل آموزش را دارد. γ کوچکتر ممکن است کم‌برازش شود. مقادیر معمول از ۰.۵ تا ۱۰ متغیر است و γ معمولاً از طریق عملکرد مجموعه اعتبارسنجی بر روی Hits@10 یا MRR تنظیم می‌شود.

آیا تعبیرهای گراف دانش می‌توانند استدلال چند-پرشی را مدیریت کنند؟

مدل‌های KGE تک‌لایه‌ای مانند TransE امتیازدهی یک-پرشی را ثبت می‌کنند اما با زنجیره‌های صریح چند-پرشی مشکل دارند. افزونه‌هایی مانند مدل‌های مبتنی بر مسیر (PTransE) یا هیبریدهای عصبی-نمادین، تعبیرهای رابطه را در طول مسیرها ترکیب می‌کنند تا استدلال دو- و سه-پرشی را مدیریت کنند. واریانت‌های شبکه عصبی گراف که اطلاعات همسایگی را در چندین لایه منتشر می‌کنند، اغلب برای وظایف استنتاج چند-پرشی عمیق ترجیح داده می‌شوند.

روش‌های مرتبط

منابع

  1. Bordes, A., Usunier, N., García-Durán, A., Weston, J., & Yakhnenko, O. (2013). Translating embeddings for modeling multi-relational data. Advances in Neural Information Processing Systems, 26.

    باز کردن مرجع انتشار
    کپی شد.