Filtraggio Collaborativo
- Introdotto da
- GroupLens; Sarwar et al. (item-based); Koren et al. (matrix factorization)
- Anno
- 2001
- Tipo
- Recommendation from user-item interactions
- Famiglia
- Recommender systems
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
Il filtraggio collaborativo raccomanda articoli a un utente sfruttando le preferenze di molti utenti — 'le persone a cui è piaciuto ciò che ti è piaciuto hanno apprezzato anche questo'.
Apprende da una matrice sparsa di interazioni utente-articolo, sia trovando utenti o articoli simili (metodi di vicinato, formalizzati da Sarwar et al. nel 2001) sia fattorizzando la matrice in fattori latenti di utente e articolo (fattorizzazione matriciale, resa popolare da Koren et al. dopo il Netflix Prize).
L’intuizione alla base del metodo
Non è necessario conoscere nulla del contenuto di un articolo per raccomandarlo — solo come le persone hanno interagito con esso. Il filtraggio collaborativo sfrutta i modelli in una gigantesca tabella, per lo più vuota, di utenti contro articoli: se due utenti hanno valutato molti film in modo simile, i preferiti non visti di uno sono buone scommesse per l'altro (basato sull'utente); se due articoli sono valutati in modo simile tra gli utenti, apprezzarne uno predice l'apprezzamento dell'altro (basato sull'articolo). La fattorizzazione matriciale va più in profondità, spiegando ogni valutazione come il prodotto scalare di un breve vettore di 'gusto' per l'utente e un vettore di 'profilo' per l'articolo, appresi per ricostruire le valutazioni note e prevedere quelle mancanti.
Storia
Il filtraggio collaborativo è emerso dal progetto GroupLens e Tapestry negli anni '90. Sarwar, Karypis, Konstan e Riedl (2001) hanno formalizzato il filtraggio collaborativo scalabile basato sull'articolo, e il Netflix Prize del 2006-2009 ha stimolato i metodi di fattorizzazione matriciale a fattori latenti, riassunti nell'influente articolo di Koren, Bell e Volinsky del 2009. Il campo si è da allora esteso al feedback implicito, ai modelli ibridi contenuto-collaborativi e ai raccomandatori basati su deep-learning, ma il filtraggio collaborativo di vicinato e di fattorizzazione matriciale rimangono le tecniche fondamentali.
Quando usarlo
Utilizza il filtraggio collaborativo per costruire raccomandazioni basate solo sui dati di interazione — e-commerce, streaming, notizie e piattaforme di contenuti — quando hai abbastanza utenti e interazioni per rivelare schemi condivisi e non vuoi fare affidamento sul contenuto dell'articolo. I metodi di vicinato sono semplici e interpretabili ('perché ti è piaciuto X'); la fattorizzazione matriciale scala meglio, gestisce la sparsità e di solito predice con maggiore precisione. Limitazioni chiave: il problema del cold-start (nuovi utenti/articoli senza interazioni non possono essere posizionati), la sparsità e il bias di popolarità, e la necessità di dati di interazione sostanziali. Il filtraggio collaborativo puro ignora gli attributi di articolo/utente, quindi è spesso combinato con funzionalità di contenuto in raccomandatori ibridi; i raccomandatori a feedback implicito e basati su deep-learning estendono la stessa idea. È strettamente correlato al completamento matriciale e alla NMF.
Limiti e considerazioni
- Cold-start: non può raccomandare per nuovi utenti o articoli senza interazioni.
- Sensibile alla sparsità e distorto verso gli articoli popolari.
- Ignora gli attributi di articolo/utente (contenuto), a differenza degli approcci ibridi.
- Richiede dati di interazione sostanziali per funzionare bene.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Richiede solo dati di interazione — nessun contenuto dell'articolo o ingegneria delle funzionalità.
- Cattura schemi di gusto sottili e difficili da articolare dalla folla.
- La fattorizzazione matriciale scala a matrici grandi e sparse e predice con precisione.
- I metodi di vicinato forniscono spiegazioni interpretabili 'perché ti è piaciuto…'.
Applicazioni
- Raccomandazioni di prodotti nell'e-commerce.
- Raccomandazioni di film, musica e video su piattaforme di streaming.
- Personalizzazione di notizie e contenuti.
- Suggerimenti di amici/connessioni nei social network.
- Funzionalità di cross-sell e 'i clienti hanno anche acquistato'.
Come funziona
Come funziona
L'input è una matrice utente-articolo di valutazioni o interazioni implicite (clic, acquisti). È estremamente sparsa — la maggior parte delle voci sono sconosciute — e il compito è prevedere le voci mancanti (come un utente valuterebbe/apprezzerebbe un articolo non visto) in modo da poter raccomandare le previsioni migliori.
Formula
R \in \mathbb{R}^{u\times i}\ \text{(ratings/interactions, mostly missing)}I metodi di vicinato calcolano la somiglianza tra utenti (o tra articoli) dalle loro valutazioni sovrapposte, tipicamente la somiglianza del coseno o la correlazione di Pearson. Un'elevata somiglianza significa che due utenti condividono il gusto, o due articoli attraggono lo stesso pubblico; queste somiglianze guidano le previsioni.
Formula
\text{sim}(a,b) = \dfrac{\sum_k r_{ak} r_{bk}}{\sqrt{\sum r_{ak}^2}\sqrt{\sum r_{bk}^2}}\ (\text{cosine / Pearson})Il filtraggio collaborativo basato sull'articolo prevede la valutazione di un utente per un articolo come una media ponderata per somiglianza delle valutazioni di quell'utente su articoli simili (il metodo basato sull'utente fa la cosa analoga su utenti simili). Il metodo basato sull'articolo è solitamente preferito su larga scala perché le somiglianze articolo-articolo sono più stabili e precalcolabili.
Formula
\hat r_{ui} = \dfrac{\sum_{j\in N(i)} \text{sim}(i,j)\, r_{uj}}{\sum_{j\in N(i)} |\text{sim}(i,j)|}I modelli a fattori latenti fattorizzano la matrice di valutazione in matrici utente e articolo di rango basso, in modo che ogni valutazione sia approssimata dal prodotto scalare di un vettore di fattori utente e un vettore di fattori articolo. I fattori vengono appresi minimizzando l'errore quadratico regolarizzato sulle valutazioni osservate (tramite SGD o minimi quadrati alternati), e catturano dimensioni nascoste del gusto, generalizzando meglio e gestendo bene la sparsità.
Formula
\hat r_{ui} = p_u^\top q_i,\quad \min_{P,Q}\sum_{(u,i)\in\mathcal{K}} (r_{ui}-p_u^\top q_i)^2 + \lambda(\lVert p_u\rVert^2+\lVert q_i\rVert^2)Errori comuni
- Ignorare il problema del cold-start in fase di implementazione (i nuovi articoli non ottengono visibilità).
- Valutare solo l'errore di valutazione ignorando il ranking/top-N e il bias di popolarità.
- Utilizzare il CF basato sull'utente su larga scala dove il basato sull'articolo o la fattorizzazione sono molto più efficienti.
- Far trapelare interazioni future nel training durante la suddivisione dei dati (è necessario suddividere per tempo).
Domande frequenti
Qual è la differenza tra filtraggio collaborativo basato sull'utente e basato sull'articolo?
Il CF basato sull'utente raccomanda articoli apprezzati da utenti simili a te; il CF basato sull'articolo raccomanda articoli simili (nel modo in cui gli utenti li hanno valutati) a quelli che ti sono già piaciuti. Il basato sull'articolo è solitamente preferito su larga scala perché le somiglianze articolo-articolo sono più stabili nel tempo e possono essere precalcolate offline.
In che modo la fattorizzazione matriciale migliora i metodi di vicinato?
Essa rappresenta utenti e articoli tramite brevi vettori di fattori latenti appresi dai dati, in modo che ogni valutazione sia il loro prodotto scalare. Questo cattura dimensioni di gusto nascoste, gestisce meglio la sparsità, generalizza oltre i vicini diretti e tipicamente predice con maggiore precisione — motivo per cui ha dominato le soluzioni del Netflix Prize.
Che cos'è il problema del cold-start?
Il filtraggio collaborativo si basa su interazioni passate, quindi non può fare buone raccomandazioni per utenti o articoli nuovi di zecca che non ne hanno. I rimedi includono chiedere preferenze iniziali, ripiegare sulla popolarità o ibridare con funzionalità basate sul contenuto che non richiedono una cronologia di interazioni.
Metodi correlati
Fonti
Sarwar, B., Karypis, G., Konstan, J., & Riedl, J. (2001). Item-based collaborative filtering recommendation algorithms. Proceedings of the 10th International Conference on World Wide Web, 285–295.
Apri il riferimento DOICopiato.Koren, Y., Bell, R., & Volinsky, C. (2009). Matrix factorization techniques for recommender systems. Computer, 42(8), 30–37.
Apri il riferimento DOICopiato.