Анализ графов знаний
- Автор метода
- Ehrlinger, L. & Wöß, W.; Google (popularized)
- Год
- 2012–2016
- Тип
- Graph-based knowledge representation and analysis
- Семейство
- Network science
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Анализ графов знаний — это фреймворк для представления, хранения и рассуждений о структурированных фактических знаниях в виде ориентированного графа сущностей и типизированных отношений.
Сущности (узлы) и отношения (ребра) выражаются в виде троек «субъект — предикат — объект», что обеспечивает богатые возможности для запросов, вывода и интеграции гетерогенных источников данных в таких областях, как биомедицинские исследования, электронная коммерция и научная литература.
Интуиция метода
Представьте граф знаний как гигантскую, машиночитаемую энциклопедию, где каждый факт хранится в виде структурированной тройки: «Эйнштейн — родилсяВ — Ульм». В отличие от плоской таблицы, эта графовая структура позволяет перемещаться по цепочкам смысла — находить все учреждения, где нобелевские лауреаты, учившиеся в Германии, впоследствии преподавали — посредством простого обхода графа, а не сложных SQL-соединений. Аналитические задачи затем ставят вопросы: какие сущности наиболее связаны, какие сообщества концепций кластеризуются вместе, какие факты, вероятно, отсутствуют и какие новые отношения могут быть выведены из существующих?
История
Термин «граф знаний» был популяризирован Google в 2012 году, когда компания запустила свой Knowledge Graph для улучшения результатов поиска с помощью структурированных фактов. Формальное академическое определение было предложено Эрлингером и Вёссом в 2016 году. Эта область опирается на более ранние работы в области технологий семантической паутины (RDF, OWL) начала 2000-х годов и на символические базы знаний искусственного интеллекта, такие как Cyc (1984). С 2017 года графовые нейронные сети и эмбеддинги на основе трансформеров значительно продвинули завершение графов знаний и рассуждения.
Когда применять
Используйте анализ графов знаний, когда ваша исследовательская проблема включает гетерогенные, взаимосвязанные сущности из нескольких источников, и вам необходимо выполнять запросы по цепочкам отношений, выводить недостающие факты или интегрировать доменные онтологии — например, сопоставление сетей соавторства и цитирования, сетей взаимодействий лекарств–генов–болезней или графов продуктов–клиентов–атрибутов. Он превосходно подходит, когда данные поступают в виде реляционных троек или могут быть естественным образом выражены таким образом. Не используйте его, когда ваши данные представляют собой простую плоскую таблицу без значимой структуры сущностей-отношений, когда вам нужен прозрачный статистический вывод с p-значениями и доверительными интервалами (вместо этого используйте регрессию или ERGM), или когда граф достаточно мал, чтобы запроса к реляционной базе данных было достаточно.
Ограничения и замечания
- Построение требует значительных усилий по инжинирингу данных: извлечение сущностей, разрешение кореференций и проектирование онтологий являются нетривиальными задачами.
- Качество графа зависит от полноты и корректности исходных данных; разреженные или зашумленные тройки ухудшают качество вывода.
- Модели предсказания связей на основе эмбеддингов являются «черными ящиками»; объяснение того, почему тройка была предсказана, требует дополнительных инструментов интерпретируемости.
- Отсутствие встроенной системы статистической значимости — в отличие от ERGM или регрессии, нет p-значений для отдельных ребер или путей.
- Накладные расходы на обслуживание: по мере изменения базовых фактов граф должен обновляться, чтобы избежать устаревших или противоречивых знаний.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Интегрирует гетерогенные данные из нескольких источников под единой семантической схемой.
- Обеспечивает многошаговые запросы и рассуждения, которые плоские таблицы и реляционные базы данных не могут легко поддерживать.
- Поддерживает предсказание связей и завершение знаний посредством графовых эмбеддингов, выявляя неявные факты.
- Совместим со стандартными метриками сетевой науки (центральность, обнаружение сообществ) для структурного анализа.
- Высокая масштабируемость: крупномасштабные графы, такие как Wikidata или Google Knowledge Graph, содержат миллиарды троек.
- Облегчает интероперабельность благодаря открытым стандартам (RDF, OWL, SPARQL).
Применение
- Библиометрический анализ и анализ сетей цитирования: картирование исследовательских фронтов, ключевых авторов и концептуальных кластеров в научной области.
- Биомедицинские графы знаний: интеграция взаимодействий лекарств–генов–болезней для перепрофилирования лекарств и прогнозирования побочных эффектов.
- Ответы на вопросы и поиск информации: обоснование ответов больших языковых моделей структурированными фактическими знаниями.
- Рекомендации в электронной коммерции: связывание продуктов, атрибутов, предпочтений пользователей и истории покупок для объяснимых рекомендаций.
- Интеграция корпоративных данных: объединение информационных силосов между отделами через общую семантическую схему.
- Исследования в области социальных наук: представление акторов политики, законодательных текстов и институциональных связей в виде взаимосвязанных сущностей для реляционного анализа.
Как это работает
Как это работает
Процесс начинается с идентификации сущностей — людей, мест, концепций, публикаций, химических веществ — из исходного текста, баз данных или онтологий. Каждая уникальная сущность становится узлом в графе, которому присваивается канонический идентификатор (URI или внутренний ID) для разрешения синонимов и вариантов поверхностной формы (например, «ВОЗ» и «Всемирная организация здравоохранения» объединяются в один узел).
Типизированные, ориентированные ребра создаются между сущностями для кодирования фактических отношений (например, authorOf, locatedIn, interactsWith). Формальная тройная структура G = (E, R, T), где T — множество троек (субъект, предикат, объект), с субъектами и объектами, взятыми из множества сущностей E, а предикатами — из множества отношений R, лежит в основе как RDF-, так и графовых реализаций свойств.
Формула
G = (E, R, T), \; T \subseteq E \times R \times E
Слой схемы — онтология или таксономия — ограничивает допустимые типы сущностей и типы отношений, обеспечивая согласованные запросы к источникам. Алгоритмы выравнивания обнаруживают и объединяют перекрывающиеся или эквивалентные концепции из разных схем, что необходимо при интеграции нескольких баз знаний (например, DBpedia + Wikidata).
Сущности и отношения отображаются в непрерывные векторные представления (эмбеддинги) с использованием таких методов, как TransE, RotatE или ComplEx. Эти эмбеддинги улавливают структурную и семантическую близость, позволяя предсказывать связи (вывод отсутствующих троек), разрешать неоднозначность сущностей и выполнять последующие задачи машинного обучения с использованием стандартных числовых моделей.
Запросы SPARQL или Cypher извлекают многошаговые факты, в то время как рассуждения на основе правил или эмбеддингов выводят неявные тройки (например, если A преподает B, а B преподает C, то A косвенно наставляет C). Затем к полученному графу применяются алгоритмы центральности, обнаружения сообществ и анализа путей из классической сетевой науки для выявления ключевых сущностей, кластеров и потоков информации.
Частые ошибки
- Рассмотрение графа знаний как «истины в последней инстанции» без учета неполноты — все графы знаний реального мира имеют недостающие ребра.
- Выбор модели графовых эмбеддингов (например, TransE) без проверки на отложенном наборе данных для предсказания связей, что приводит к чрезмерно уверенному выводу.
- Объединение сущностей из разных источников без надлежащего разрешения кореференций, что приводит к дублированию или смешению узлов.
- Смешение слоя схемы (онтологии) со слоем экземпляров (фактических троек), что приводит к нарушениям типов и недопустимым запросам.
- Применение алгоритмов обнаружения сообществ, разработанных для неориентированных графов, к ориентированному графу знаний без учета направленности ребер.
Часто задаваемые вопросы
В чем разница между графом знаний и стандартной сетью или социальной сетью?
Стандартный сетевой граф обычно имеет немаркированные или однотипные ребра (например, «связан с»). Граф знаний использует типизированные, семантически значимые отношения (например, «authorOf», «locatedIn») и основан на онтологии, что позволяет осуществлять логический вывод. Анализ социальных сетей фокусируется на структурных свойствах связей между акторами, в то время как анализ графов знаний подчеркивает семантическое содержание отношений и сущностей различных типов.
Нужно ли использовать RDF и SPARQL, или можно использовать базу данных графов свойств, такую как Neo4j?
Оба варианта допустимы. RDF/SPARQL является стандартом W3C и лучшим выбором для интероперабельности открытых данных и рассуждений на основе онтологий. Графы свойств (Neo4j/Cypher) более удобны для разработчиков и часто быстрее для запросов обхода на графах умеренного размера. Аналитические методы — центральность, обнаружение сообществ, предсказание связей — одинаково применимы к обоим представлениям.
Как оценить качество предсказаний связей, сделанных моделью графовых эмбеддингов?
Стандартный протокол заключается в выделении случайной выборки известных троек в качестве тестового набора, удалении их из графа, обучении модели эмбеддингов на оставшихся тройках, затем ранжировании кандидатов для каждой выделенной тройки и сообщении о средней обратной ранге (MRR) и Hits@k (k = 1, 3, 10).
Может ли анализ графов знаний сочетаться с обработкой естественного языка?
Да, и это становится все более распространенным. NLP-конвейеры выполняют распознавание именованных сущностей и извлечение отношений для заполнения графа из неструктурированного текста. И наоборот, графы знаний предоставляют структурированный контекст, который улучшает задачи NLP, такие как разрешение неоднозначности сущностей и обоснованные ответы на вопросы.
Подходит ли анализ графов знаний для небольших наборов данных?
Граф знаний может быть построен в любом масштабе, но модели графовых эмбеддингов для предсказания связей требуют достаточного покрытия совместных вхождений сущностей и отношений для изучения значимых представлений — обычно тысячи троек. Для очень небольших наборов данных символические рассуждения на основе правил или более простые сетевые метрики (степень, междунахождение) более надежны, чем изученные эмбеддинги.
Похожие методы
Источники
Ehrlinger, L. & Wöß, W. (2016). Towards a Definition of Knowledge Graphs. In Proceedings of the SEMANTICS Posters and Demos Track (SEMANTiCS 2016). CEUR Workshop Proceedings, vol. 1695.
Открыть ссылку на публикациюСкопировано.Hogan, A., Blomqvist, E., Cochez, M., d'Amato, C., Melo, G. de, Gutierrez, C., Kirrane, S., Gayo, J. E. L., Navigli, R., Neumaier, S., Ngomo, A.-C. N., Polleres, A., Rashid, S. M., Rula, A., Schmelzeisen, L., Sequeda, J., Staab, S., & Zimmermann, A. (2021). Knowledge Graphs. ACM Computing Surveys, 54(4), 71.
Открыть ссылку DOIСкопировано.