Analiza grafów wiedzy
- Autor metody
- Ehrlinger, L. & Wöß, W.; Google (popularized)
- Rok
- 2012–2016
- Typ
- Graph-based knowledge representation and analysis
- Rodzina
- Network science
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Analiza grafów wiedzy to struktura do reprezentowania, przechowywania i wnioskowania na temat ustrukturyzowanej wiedzy faktograficznej w postaci skierowanego grafu bytów i relacji typowanych.
Byty (węzły) i relacje (krawędzie) są wyrażane jako trójki podmiot–predykat–obiekt, umożliwiając bogate zapytania, wnioskowanie i integrację heterogenicznych źródeł danych w domenach takich jak badania biomedyczne, e-commerce i literatura naukowa.
Intuicja stojąca za metodą
Graf wiedzy można traktować jako ogromną, maszynowo czytelną encyklopedię, w której każdy fakt jest przechowywany jako ustrukturyzowana trójka: 'Einstein — urodziłSięW — Ulm'. W przeciwieństwie do płaskiej tabeli, ta struktura grafu pozwala nawigować po łańcuchach znaczeń — znajdować wszystkie instytucje, w których laureaci Nagrody Nobla, którzy studiowali w Niemczech, później nauczali — poprzez proste przeszukiwanie grafu, zamiast złożonych złączeń SQL. Zadania analityczne polegają wówczas na pytaniach: które byty są najbardziej połączone, które społeczności koncepcji grupują się razem, których faktów prawdopodobnie brakuje i jakie nowe relacje można wywnioskować z istniejących?
Historia
Termin „graf wiedzy” został spopularyzowany przez Google w 2012 roku, kiedy uruchomił swój Knowledge Graph w celu ulepszenia wyników wyszukiwania o ustrukturyzowane fakty. Formalna definicja akademicka została zaproponowana przez Ehrlingera i Wößa w 2016 roku. Dziedzina ta opiera się na wcześniejszych pracach nad technologiami sieci semantycznych (RDF, OWL) z początku XXI wieku oraz na symbolicznych bazach wiedzy AI, takich jak Cyc (1984). Od 2017 roku grafowe sieci neuronowe i osadzenia oparte na transformatorach znacznie zaawansowały uzupełnianie i wnioskowanie w grafach wiedzy.
Kiedy stosować
Używaj analizy grafów wiedzy, gdy Twój problem badawczy obejmuje heterogeniczne, powiązane byty z wielu źródeł i potrzebujesz wykonywać zapytania w łańcuchach relacji, wnioskować brakujące fakty lub integrować ontologie dziedzinowe — np. mapowanie sieci współautorstwa i cytowań, sieci interakcji lek–gen–choroba lub grafów produktów–klientów–atrybutów. Sprawdza się, gdy dane są dostarczane jako trójki relacyjne lub mogą być naturalnie w ten sposób wyrażone. Nie używaj jej, gdy dane są prostą płaską tabelą bez znaczącej struktury bytów i relacji, gdy potrzebujesz przejrzystego wnioskowania statystycznego z wartościami p i przedziałami ufności (zamiast tego użyj regresji lub ERGM), lub gdy graf jest na tyle mały, że wystarczy zapytanie do relacyjnej bazy danych.
Ograniczenia i uwagi
- Konstrukcja wymaga znacznego nakładu pracy inżynierii danych: ekstrakcja bytów, rozstrzyganie współodniesień i projektowanie ontologii nie są trywialne.
- Jakość grafu zależy od kompletności i poprawności danych źródłowych; rzadkie lub zaszumione trójki obniżają jakość wnioskowania.
- Modele przewidywania połączeń oparte na osadzeniach są czarnymi skrzynkami; wyjaśnienie, dlaczego trójka została przewidziana, wymaga dodatkowych narzędzi interpretowalności.
- Brak wbudowanego systemu oceny istotności statystycznej — w przeciwieństwie do ERGM lub regresji, nie ma wartości p dla poszczególnych krawędzi lub ścieżek.
- Nakłady na utrzymanie: w miarę zmian podstawowych faktów, graf musi być aktualizowany, aby uniknąć nieaktualnej lub sprzecznej wiedzy.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Integruje heterogeniczne dane z wielu źródeł w ramach ujednoliconego schematu semantycznego.
- Umożliwia zapytania i wnioskowanie wielokrotnego skoku, których płaskie tabele i relacyjne bazy danych nie mogą łatwo obsługiwać.
- Obsługuje przewidywanie połączeń i uzupełnianie wiedzy za pomocą osadzeń grafów, ujawniając niejawne fakty.
- Kompatybilny ze standardowymi metrykami nauki o sieciach (centralność, wykrywanie społeczności) do analizy strukturalnej.
- Wysoka skalowalność: wielkoskalowe grafy, takie jak Wikidata lub Google Knowledge Graph, zawierają miliardy trójek.
- Ułatwia interoperacyjność dzięki otwartym standardom (RDF, OWL, SPARQL).
Zastosowania
- Analiza bibliometryczna i sieci cytowań: mapowanie frontów badawczych, kluczowych autorów i klastrów koncepcyjnych w domenie naukowej.
- Biomedyczne grafy wiedzy: integracja interakcji lek–gen–choroba w celu ponownego wykorzystania leków i przewidywania działań niepożądanych.
- Odpowiadanie na pytania i wyszukiwanie informacji: ugruntowanie odpowiedzi dużych modeli językowych w ustrukturyzowanej wiedzy faktograficznej.
- Rekomendacje w e-commerce: łączenie produktów, atrybutów, preferencji użytkowników i historii zakupów w celu uzyskania wyjaśnialnych rekomendacji.
- Integracja danych przedsiębiorstwa: ujednolicanie silosów danych między działami poprzez wspólny schemat semantyczny.
- Badania nauk społecznych: reprezentowanie aktorów politycznych, tekstów legislacyjnych i afiliacji instytucjonalnych jako powiązanych bytów do analizy relacyjnej.
Jak to działa
Jak to działa
Proces rozpoczyna się od identyfikacji bytów — osób, miejsc, koncepcji, publikacji, substancji chemicznych — ze źródłowego tekstu, baz danych lub ontologii. Każdy unikalny byt staje się węzłem w grafie, któremu przypisuje się kanoniczny identyfikator (URI lub identyfikator wewnętrzny) w celu rozwiązania synonimów i wariantów form powierzchniowych (np. 'WHO' i 'World Health Organization' łączą się w jeden węzeł).
Typowane, skierowane krawędzie są tworzone między bytami w celu kodowania relacji faktograficznych (np. autorPublikacji, zlokalizowanyW, wchodziWinterakcjęZ). Formalna struktura trójki G = (E, R, T), gdzie T jest zbiorem trójek (podmiot, predykat, obiekt) z podmiotami i obiektami pobranymi ze zbioru bytów E, a predykatami ze zbioru relacji R, stanowi podstawę zarówno implementacji RDF, jak i grafów własnościowych.
Wzór
G = (E, R, T), \; T \subseteq E \times R \times E
Warstwa schematu — ontologia lub taksonomia — ogranicza dopuszczalne typy bytów i typy relacji, umożliwiając spójne zapytania między źródłami. Algorytmy wyrównywania wykrywają i łączą nakładające się lub równoważne koncepcje z różnych schematów, co jest niezbędne przy integracji wielu baz wiedzy (np. DBpedia + Wikidata).
Byty i relacje są mapowane na ciągłe reprezentacje wektorowe (osadzenia) przy użyciu metod takich jak TransE, RotatE lub ComplEx. Te osadzenia przechwytują bliskość strukturalną i semantyczną, umożliwiając przewidywanie połączeń (wnioskowanie brakujących trójek), rozstrzyganie niejednoznaczności bytów i dalsze zadania uczenia maszynowego przy użyciu standardowych modeli numerycznych.
Zapytania SPARQL lub Cypher pobierają fakty wielokrotnego skoku, podczas gdy wnioskowanie oparte na regułach lub osadzeniach wnioskuje o niejawnych trójkach (np. jeśli A uczy B, a B uczy C, to A pośrednio mentoruje C). Algorytmy centralności, wykrywania społeczności i analizy ścieżek z klasycznej nauki o sieciach są następnie stosowane do wynikowego grafu w celu ujawnienia kluczowych bytów, klastrów i przepływów informacji.
Częste pułapki
- Traktowanie grafu wiedzy jako prawdy objawionej bez uwzględnienia niekompletności — wszystkie grafy wiedzy w świecie rzeczywistym mają brakujące krawędzie.
- Wybór modelu osadzania grafów (np. TransE) bez walidacji na wydzielonym zbiorze testowym do przewidywania połączeń, prowadzący do nadmiernie pewnego wnioskowania.
- Łączenie bytów z różnych źródeł bez odpowiedniego rozstrzygania współodniesień, tworząc zduplikowane lub połączone węzły.
- Mylenie warstwy schematu (ontologii) z warstwą instancji (rzeczywistymi trójkami), prowadzące do naruszeń typów i nieprawidłowych zapytań.
- Stosowanie algorytmów wykrywania społeczności zaprojektowanych dla grafów nieskierowanych do skierowanego grafu wiedzy bez uwzględnienia kierunkowości krawędzi.
Najczęściej zadawane pytania
Jaka jest różnica między grafem wiedzy a standardową siecią lub siecią społeczną?
Standardowy graf sieciowy zazwyczaj ma nieetykietowane lub jednolicie typowane krawędzie (np. 'połączony z'). Graf wiedzy wykorzystuje typowane, semantycznie znaczące relacje (np. 'autorPublikacji', 'zlokalizowanyW') i jest ugruntowany w ontologii, umożliwiając wnioskowanie logiczne. Analiza sieci społecznych koncentruje się na właściwościach strukturalnych połączeń między aktorami, podczas gdy analiza grafów wiedzy podkreśla treść semantyczną relacji i byty wielotypowe.
Czy muszę używać RDF i SPARQL, czy mogę użyć bazy danych grafów własnościowych, takiej jak Neo4j?
Oba są dopuszczalne. RDF/SPARQL jest standardem W3C i najlepszym rozwiązaniem dla interoperacyjności otwartych danych i wnioskowania opartego na ontologii. Grafy własnościowe (Neo4j/Cypher) są bardziej przyjazne dla programistów i często szybsze dla zapytań o przechodzenie po grafach o umiarkowanych rozmiarach. Metody analityczne — centralność, wykrywanie społeczności, przewidywanie połączeń — mają zastosowanie do obu reprezentacji.
Jak ocenić jakość przewidywań połączeń dokonanych przez model osadzania grafów?
Standardowym protokołem jest wydzielenie losowej próbki znanych trójek jako zbioru testowego, usunięcie ich z grafu, wytrenowanie modelu osadzania na pozostałych trójkach, a następnie uszeregowanie kandydatów dla każdej wydzielonej trójki i raportowanie średniej odwrotności rangi (MRR) i trafień@k (k = 1, 3, 10).
Czy analiza grafów wiedzy może być łączona z przetwarzaniem języka naturalnego?
Tak, i jest to coraz częstsze. Potoki NLP wykonują rozpoznawanie nazwanych bytów i ekstrakcję relacji w celu wypełnienia grafu z nieustrukturyzowanego tekstu. I odwrotnie, grafy wiedzy zapewniają ustrukturyzowany kontekst, który poprawia zadania NLP, takie jak rozstrzyganie niejednoznaczności bytów i ugruntowane odpowiadanie na pytania.
Czy analiza grafów wiedzy nadaje się do małych zbiorów danych?
Graf wiedzy można zbudować w dowolnej skali, ale modele osadzania grafów do przewidywania połączeń wymagają wystarczającego pokrycia współwystępowania bytów i relacji, aby nauczyć się znaczących reprezentacji — zazwyczaj tysięcy trójek. Dla bardzo małych zbiorów danych symboliczne wnioskowanie oparte na regułach lub prostsze metryki sieciowe (stopień, pośredniość) są bardziej niezawodne niż nauczone osadzenia.
Pokrewne metody
Źródła
Ehrlinger, L. & Wöß, W. (2016). Towards a Definition of Knowledge Graphs. In Proceedings of the SEMANTICS Posters and Demos Track (SEMANTiCS 2016). CEUR Workshop Proceedings, vol. 1695.
Otwórz odnośnik do publikacjiSkopiowano.Hogan, A., Blomqvist, E., Cochez, M., d'Amato, C., Melo, G. de, Gutierrez, C., Kirrane, S., Gayo, J. E. L., Navigli, R., Neumaier, S., Ngomo, A.-C. N., Polleres, A., Rashid, S. M., Rula, A., Schmelzeisen, L., Sequeda, J., Staab, S., & Zimmermann, A. (2021). Knowledge Graphs. ACM Computing Surveys, 54(4), 71.
Otwórz odnośnik DOISkopiowano.