Filtragem Colaborativa
- Proposto por
- GroupLens; Sarwar et al. (item-based); Koren et al. (matrix factorization)
- Ano
- 2001
- Tipo
- Recommendation from user-item interactions
- Família
- Recommender systems
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
A filtragem colaborativa recomenda itens a um usuário alavancando as preferências de muitos usuários — 'pessoas que gostaram do que você gostou também gostaram disso'.
Ela aprende a partir de uma matriz esparsa de interações usuário-item, seja encontrando usuários ou itens similares (métodos de vizinhança, formalizados por Sarwar et al. em 2001) ou fatorando a matriz em fatores latentes de usuário e item (fatoração de matriz, popularizada por Koren et al. após o Netflix Prize).
A intuição por trás do método
Você não precisa saber nada sobre o conteúdo de um item para recomendá-lo — apenas como as pessoas interagiram com ele. A filtragem colaborativa explora padrões em uma tabela gigante, majoritariamente vazia, de usuários versus itens: se dois usuários avaliaram muitos filmes de forma semelhante, os favoritos não vistos de um são boas apostas para o outro (baseado no usuário); se dois itens são avaliados de forma semelhante por vários usuários, gostar de um prevê gostar do outro (baseado no item). A fatoração de matriz vai mais fundo, explicando cada avaliação como o produto escalar de um vetor curto de 'gosto' para o usuário e um vetor de 'perfil' para o item, aprendidos para reconstruir as avaliações conhecidas e prever as ausentes.
História
A filtragem colaborativa emergiu do projeto GroupLens e Tapestry nos anos 1990. Sarwar, Karypis, Konstan e Riedl (2001) formalizaram a filtragem colaborativa escalável baseada em itens, e o Netflix Prize de 2006–2009 impulsionou métodos de fatoração de matriz de fatores latentes, resumidos no influente artigo de 2009 de Koren, Bell e Volinsky. O campo desde então se estendeu para feedback implícito, modelos híbridos de conteúdo-colaborativo e recomendadores de aprendizado profundo, mas a filtragem colaborativa de vizinhança e fatoração de matriz permanecem as técnicas fundamentais.
Quando usar
Use filtragem colaborativa para construir recomendações apenas a partir de dados de interação — plataformas de e-commerce, streaming, notícias e conteúdo — quando você tiver usuários e interações suficientes para revelar padrões compartilhados e não quiser depender do conteúdo do item. Métodos de vizinhança são simples e interpretáveis ('porque você gostou de X'); a fatoração de matriz escala melhor, lida com esparsidade e geralmente prevê com mais precisão. Limitações chave: o problema do 'cold-start' (novos usuários/itens sem interações não podem ser posicionados), esparsidade e viés de popularidade, e a necessidade de dados de interação substanciais. A filtragem colaborativa pura ignora atributos de item/usuário, sendo frequentemente combinada com características de conteúdo em recomendadores híbridos; recomendadores de feedback implícito e de aprendizado profundo estendem a mesma ideia. Está intimamente relacionada à completude de matriz e NMF.
Limitações e considerações
- Cold-start: não pode fazer recomendações para novos usuários ou itens sem interações.
- Sensível à esparsidade e enviesada para itens populares.
- Ignora atributos de item/usuário (conteúdo), ao contrário de abordagens híbridas.
- Requer dados de interação substanciais para funcionar bem.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Requer apenas dados de interação — sem conteúdo de item ou engenharia de características.
- Captura padrões de gosto sutis e difíceis de articular da multidão.
- A fatoração de matriz escala para matrizes grandes e esparsas e prevê com precisão.
- Métodos de vizinhança fornecem explicações interpretáveis do tipo 'porque você gostou de...'.
Aplicações
- Recomendações de produtos em e-commerce.
- Recomendações de filmes, músicas e vídeos em plataformas de streaming.
- Personalização de notícias e conteúdo.
- Sugestões de amigos/conexões em redes sociais.
- Recursos de venda cruzada e 'clientes também compraram'.
Como funciona
Como funciona
A entrada é uma matriz usuário-item de avaliações ou interações implícitas (cliques, compras). Ela é extremamente esparsa — a maioria das entradas é desconhecida — e a tarefa é prever as entradas ausentes (como um usuário avaliaria/gostaria de um item não visto) para que as principais previsões possam ser recomendadas.
Fórmula
R \in \mathbb{R}^{u\times i}\ \text{(ratings/interactions, mostly missing)}Métodos de vizinhança computam a similaridade entre usuários (ou entre itens) a partir de suas avaliações sobrepostas, tipicamente similaridade de cosseno ou correlação de Pearson. Alta similaridade significa que dois usuários compartilham gosto, ou dois itens atraem o mesmo público; essas similaridades impulsionam as previsões.
Fórmula
\text{sim}(a,b) = \dfrac{\sum_k r_{ak} r_{bk}}{\sqrt{\sum r_{ak}^2}\sqrt{\sum r_{bk}^2}}\ (\text{cosine / Pearson})A filtragem colaborativa baseada em itens prevê a avaliação de um usuário para um item como uma média ponderada pela similaridade das avaliações desse usuário em itens similares (a baseada no usuário faz algo análogo sobre usuários similares). A baseada em itens é geralmente preferida em escala porque as similaridades item-item são mais estáveis e pré-computáveis.
Fórmula
\hat r_{ui} = \dfrac{\sum_{j\in N(i)} \text{sim}(i,j)\, r_{uj}}{\sum_{j\in N(i)} |\text{sim}(i,j)|}Modelos de fatores latentes fatoram a matriz de avaliações em matrizes de usuário e item de baixo posto, de modo que cada avaliação é aproximada pelo produto escalar de um vetor de fatores de usuário e um vetor de fatores de item. Os fatores são aprendidos minimizando o erro quadrático regularizado sobre as avaliações observadas (via SGD ou mínimos quadrados alternados), e eles capturam dimensões ocultas de gosto, generalizando melhor e lidando bem com a esparsidade.
Fórmula
\hat r_{ui} = p_u^\top q_i,\quad \min_{P,Q}\sum_{(u,i)\in\mathcal{K}} (r_{ui}-p_u^\top q_i)^2 + \lambda(\lVert p_u\rVert^2+\lVert q_i\rVert^2)Erros comuns
- Ignorar o problema do cold-start na implantação (novos itens não recebem exposição).
- Avaliar apenas o erro de avaliação, ignorando a classificação/top-N e o viés de popularidade.
- Usar CF baseada em usuário em escala onde a baseada em item ou fatoração é muito mais eficiente.
- Vazar interações futuras para o treinamento ao dividir dados (deve-se dividir por tempo).
Perguntas frequentes
Qual a diferença entre filtragem colaborativa baseada em usuário e baseada em item?
CF baseada em usuário recomenda itens apreciados por usuários similares a você; CF baseada em item recomenda itens similares (na forma como os usuários os avaliaram) aos que você já gostou. A baseada em item é geralmente preferida em escala porque as similaridades item-item são mais estáveis ao longo do tempo e podem ser pré-computadas offline.
Como a fatoração de matriz melhora os métodos de vizinhança?
Ela representa usuários e itens por vetores curtos de fatores latentes aprendidos a partir dos dados, de modo que cada avaliação é seu produto escalar. Isso captura dimensões ocultas de gosto, lida melhor com a esparsidade, generaliza além dos vizinhos diretos e tipicamente prevê com mais precisão — razão pela qual dominou as soluções do Netflix Prize.
Qual é o problema do cold-start?
A filtragem colaborativa depende de interações passadas, portanto, não pode fazer boas recomendações para usuários ou itens completamente novos que não possuem nenhuma. Remédios incluem solicitar preferências iniciais, recorrer à popularidade ou hibridizar com características baseadas em conteúdo que não exigem histórico de interação.
Métodos relacionados
Fontes
Sarwar, B., Karypis, G., Konstan, J., & Riedl, J. (2001). Item-based collaborative filtering recommendation algorithms. Proceedings of the 10th International Conference on World Wide Web, 285–295.
Abrir referência DOICopiado.Koren, Y., Bell, R., & Volinsky, C. (2009). Matrix factorization techniques for recommender systems. Computer, 42(8), 30–37.
Abrir referência DOICopiado.