Przejdź do treści
Wróć do wyników wyszukiwania

Filtrowanie kolaboratywne

Autor metody
GroupLens; Sarwar et al. (item-based); Koren et al. (matrix factorization)
Rok
2001
Typ
Recommendation from user-item interactions
Rodzina
Recommender systems

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Filtrowanie kolaboratywne rekomenduje użytkownikowi przedmioty, wykorzystując preferencje wielu użytkowników — „osoby, które polubiły to, co Ty polubiłeś, polubiły również to”.

Uczy się ono na podstawie rzadkiej macierzy interakcji użytkownik-przedmiot, albo poprzez znajdowanie podobnych użytkowników lub przedmiotów (metody sąsiedztwa, sformalizowane przez Sarwara i wsp. w 2001 r.), albo poprzez faktoryzację macierzy na ukryte czynniki użytkownika i przedmiotu (faktoryzacja macierzy, spopularyzowana przez Korena i wsp. po konkursie Netflix Prize).

Intuicja stojąca za metodą

Nie trzeba nic wiedzieć o treści przedmiotu, aby go zarekomendować — tylko o tym, jak ludzie z nim wchodzili w interakcje. Filtrowanie kolaboratywne wykorzystuje wzorce w ogromnej, w większości pustej tabeli użytkowników w stosunku do przedmiotów: jeśli dwóch użytkowników oceniło wiele filmów podobnie, ulubione nieznane filmy jednego z nich są dobrym kandydatem dla drugiego (podejście oparte na użytkownikach); jeśli dwa przedmioty są podobnie oceniane przez użytkowników, polubienie jednego przewiduje polubienie drugiego (podejście oparte na przedmiotach). Faktoryzacja macierzy zagłębia się głębiej, wyjaśniając każdą ocenę jako iloczyn skalarny krótkiego wektora „gustu” użytkownika i wektora „profilu” przedmiotu, nauczonego w celu odtworzenia znanych ocen i przewidzenia brakujących.

Historia

Filtrowanie kolaboratywne wyłoniło się z projektu GroupLens i Tapestry w latach 90. XX wieku. Sarwar, Karypis, Konstan i Riedl (2001) sformalizowali skalowalne filtrowanie kolaboratywne oparte na przedmiotach, a konkurs Netflix Prize w latach 2006–2009 zapoczątkował metody faktoryzacji macierzy opartej na ukrytych czynnikach, podsumowane we wpływowym artykule Korena, Bella i Volinsky'ego z 2009 r. Dziedzina ta została od tego czasu rozszerzona na sprzężenie zwrotne niejawne, hybrydowe modele treściowo-kolaboratywne i systemy rekomendacyjne oparte na uczeniu głębokim, ale metody sąsiedztwa i faktoryzacja macierzy w filtrowaniu kolaboratywnym pozostają podstawowymi technikami.

Kiedy stosować

Używaj filtrowania kolaboratywnego do tworzenia rekomendacji wyłącznie na podstawie danych o interakcjach — platformy e-commerce, streamingowe, informacyjne i treściowe — gdy masz wystarczająco dużo użytkowników i interakcji, aby ujawnić wspólne wzorce i nie chcesz polegać na treści przedmiotów. Metody sąsiedztwa są proste i zrozumiałe („ponieważ polubiłeś X”); faktoryzacja macierzy lepiej skaluje się, radzi sobie z rzadkością danych i zazwyczaj daje dokładniejsze przewidywania. Kluczowe ograniczenia: problem zimnego startu (nowi użytkownicy/przedmioty bez interakcji nie mogą być umieszczeni), rzadkość danych i stronniczość na rzecz popularności oraz potrzeba znacznej ilości danych o interakcjach. Czyste filtrowanie kolaboratywne ignoruje atrybuty przedmiotu/użytkownika, dlatego często jest łączone z cechami treściowymi w hybrydowych systemach rekomendacyjnych; systemy rekomendacyjne oparte na informacjach niejawnych i uczeniu głębokim rozszerzają tę samą ideę. Jest ściśle związane z uzupełnianiem macierzy i NMF.

Ograniczenia i uwagi

  • Zimny start: nie można dokonywać rekomendacji dla nowych użytkowników lub przedmiotów bez interakcji.
  • Wrażliwość na rzadkość danych i stronniczość na rzecz popularnych przedmiotów.
  • Ignorowanie atrybutów przedmiotu/użytkownika (treści), w przeciwieństwie do podejść hybrydowych.
  • Wymaga znacznej ilości danych o interakcjach, aby działać dobrze.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Wymaga tylko danych o interakcjach — brak treści przedmiotu lub inżynierii cech.
  • Uchwycenie subtelnych, trudnych do wyrażenia wzorców gustu od tłumu.
  • Faktoryzacja macierzy skaluje się do dużych, rzadkich macierzy i dokładnie przewiduje.
  • Metody sąsiedztwa dają zrozumiałe wyjaśnienia typu „ponieważ polubiłeś…”.

Zastosowania

  • Rekomendacje produktów w handlu elektronicznym.
  • Rekomendacje filmów, muzyki i wideo na platformach streamingowych.
  • Personalizacja wiadomości i treści.
  • Sugestie znajomych/kontaktów w sieciach społecznościowych.
  • Funkcje cross-selling i „klienci kupili również”.

Jak to działa

Jak to działa

1

Wejściem jest macierz ocen użytkownik-przedmiot lub interakcji niejawnych (kliknięcia, zakupy). Jest ona niezwykle rzadka — większość wpisów jest nieznana — a zadaniem jest przewidzenie brakujących wpisów (jak użytkownik oceniłby/polubiłby nieznany przedmiot), aby można było zarekomendować najlepsze przewidywania.

Wzór
R \in \mathbb{R}^{u\times i}\ \text{(ratings/interactions, mostly missing)}
2

Metody sąsiedztwa obliczają podobieństwo między użytkownikami (lub między przedmiotami) na podstawie ich nakładających się ocen, zazwyczaj podobieństwo kosinusowe lub korelacja Pearsona. Wysokie podobieństwo oznacza, że dwaj użytkownicy dzielą gust, lub dwa przedmioty przyciągają te same grupy odbiorców; te podobieństwa napędzają przewidywania.

Wzór
\text{sim}(a,b) = \dfrac{\sum_k r_{ak} r_{bk}}{\sqrt{\sum r_{ak}^2}\sqrt{\sum r_{bk}^2}}\ (\text{cosine / Pearson})
3

Filtrowanie kolaboratywne oparte na przedmiotach przewiduje ocenę użytkownika dla przedmiotu jako średnią ważoną podobieństwem ocen tego użytkownika dla podobnych przedmiotów (podejście oparte na użytkownikach robi analogiczną rzecz w odniesieniu do podobnych użytkowników). Podejście oparte na przedmiotach jest zazwyczaj preferowane w dużych skalach, ponieważ podobieństwa między przedmiotami są bardziej stabilne i można je obliczyć z góry.

Wzór
\hat r_{ui} = \dfrac{\sum_{j\in N(i)} \text{sim}(i,j)\, r_{uj}}{\sum_{j\in N(i)} |\text{sim}(i,j)|}
4

Modele o ukrytych czynnikach faktoryzują macierz ocen na macierze użytkownika i przedmiotu o niskiej randze, dzięki czemu każda ocena jest przybliżana przez iloczyn skalarny wektora czynników użytkownika i wektora czynników przedmiotu. Czynniki są uczone poprzez minimalizację regularyzowanego błędu kwadratowego na obserwowanych ocenach (za pomocą SGD lub naprzemiennych najmniejszych kwadratów) i wychwytują ukryte wymiary gustu, lepiej generalizują i dobrze radzą sobie z rzadkością danych.

Wzór
\hat r_{ui} = p_u^\top q_i,\quad \min_{P,Q}\sum_{(u,i)\in\mathcal{K}} (r_{ui}-p_u^\top q_i)^2 + \lambda(\lVert p_u\rVert^2+\lVert q_i\rVert^2)

Częste pułapki

  • Ignorowanie problemu zimnego startu we wdrożeniu (nowe przedmioty nie są eksponowane).
  • Ocena wyłącznie na podstawie błędu oceny, przy jednoczesnym ignorowaniu rankingu/top-N i stronniczości na rzecz popularności.
  • Używanie filtrowania kolaboratywnego opartego na użytkownikach w dużej skali, gdzie podejście oparte na przedmiotach lub faktoryzacja jest znacznie bardziej wydajne.
  • Wyciek przyszłych interakcji do treningu podczas podziału danych (należy dzielić według czasu).

Najczęściej zadawane pytania

Jaka jest różnica między filtrowaniem kolaboratywnym opartym na użytkownikach a opartym na przedmiotach?

CF oparte na użytkownikach rekomenduje przedmioty polubione przez użytkowników podobnych do Ciebie; CF oparte na przedmiotach rekomenduje przedmioty podobne (pod względem ocen użytkowników) do tych, które już polubiłeś. Podejście oparte na przedmiotach jest zazwyczaj preferowane w dużej skali, ponieważ podobieństwa między przedmiotami są bardziej stabilne w czasie i można je obliczyć offline.

Jak faktoryzacja macierzy poprawia metody sąsiedztwa?

Reprezentuje użytkowników i przedmioty za pomocą krótkich wektorów ukrytych czynników uczonych z danych, dzięki czemu każda ocena jest ich iloczynem skalarnym. Pozwala to uchwycić ukryte wymiary gustu, lepiej radzi sobie z rzadkością danych, generalizuje poza bezpośrednich sąsiadów i zazwyczaj przewiduje dokładniej — dlatego zdominowało rozwiązania konkursu Netflix Prize.

Na czym polega problem zimnego startu?

Filtrowanie kolaboratywne opiera się na przeszłych interakcjach, dlatego nie może dokonywać dobrych rekomendacji dla zupełnie nowych użytkowników lub przedmiotów, które ich nie posiadają. Rozwiązania obejmują prośbę o początkowe preferencje, powrót do popularności lub hybrydyzację z cechami opartymi na treści, które nie wymagają historii interakcji.

Pokrewne metody

Źródła

  1. Sarwar, B., Karypis, G., Konstan, J., & Riedl, J. (2001). Item-based collaborative filtering recommendation algorithms. Proceedings of the 10th International Conference on World Wide Web, 285–295.

    Otwórz odnośnik DOI
    Skopiowano.
  2. Koren, Y., Bell, R., & Volinsky, C. (2009). Matrix factorization techniques for recommender systems. Computer, 42(8), 30–37.

    Otwórz odnośnik DOI
    Skopiowano.