協調フィルタリング
- 提唱者
- GroupLens; Sarwar et al. (item-based); Koren et al. (matrix factorization)
- 年
- 2001
- 種類
- Recommendation from user-item interactions
- 系統
- Recommender systems
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
協調フィルタリングは、多くのユーザーの嗜好を活用してユーザーにアイテムを推薦します。「あなたの好みを気に入った人々もこれを気に入りました」という考え方です。これは、類似ユーザーまたは類似アイテムを見つける(近傍法、Sarwarらによって2001年に形式化)か、行列を潜在的なユーザーおよびアイテムの因子に分解する(行列分解、Netflix Prize以降Korenらによって普及)ことによって、疎なユーザーアイテムインタラクション行列から学習します。
手法の背後にある直感
アイテムの内容について何も知らなくても、アイテムを推薦できます。人々がどのようにアイテムとインタラクションしたかを知るだけで十分です。協調フィルタリングは、ユーザー対アイテムの巨大でほとんど空のテーブル内のパターンを利用します。2人のユーザーが多くの映画を同様に評価した場合、一方のユーザーが見ていないお気に入りはもう一方のユーザーにとって良い候補となります(ユーザーベース)。2つのアイテムがユーザー間で同様に評価されている場合、一方を気に入ることがもう一方を気に入ることを予測します(アイテムベース)。行列分解はさらに踏み込み、各評価を、ユーザーの短い「好み」ベクトルとアイテムの「プロファイル」ベクトルの内積として説明し、既知の評価を再構築し、欠落している評価を予測するように学習します。
歴史学
協調フィルタリングは、1990年代のGroupLensプロジェクトとTapestryから生まれました。Sarwar、Karypis、Konstan、Riedl(2001)はスケーラブルなアイテムベース協調フィルタリングを形式化し、2006年から2009年のNetflix Prizeは、Koren、Bell、Volinskyによる影響力のある2009年の記事にまとめられた潜在因子行列分解手法を刺激しました。その後、この分野は暗黙的フィードバック、ハイブリッドコンテンツ協調モデル、ディープラーニング推薦システムに拡張されましたが、近傍法および行列分解協調フィルタリングは依然として基本的な技術です。
使うべき場面
十分なユーザーとインタラクションがあり、アイテムの内容に依存せずに共有パターンを明らかにできる場合に、インタラクションデータのみから推薦を構築するために協調フィルタリングを使用します。eコマース、ストリーミング、ニュース、コンテンツプラットフォームなどが該当します。近傍法はシンプルで解釈可能(「Xを気に入ったから」)ですが、行列分解はよりスケーラブルで、疎性を処理し、通常はより正確に予測します。主な制限事項は、コールドスタート問題(インタラクションのない新しいユーザー/アイテムを配置できない)、疎性および人気バイアス、そして実質的なインタラクションデータの必要性です。純粋な協調フィルタリングはアイテム/ユーザー属性を無視するため、コンテンツ特徴と組み合わせてハイブリッド推薦システムにすることがよくあります。暗黙的フィードバックおよびディープラーニング推薦システムは、同じアイデアを拡張します。行列補完およびNMFと密接に関連しています。
限界と注意点
- コールドスタート:インタラクションのない新しいユーザーまたはアイテムに対しては推薦できません。
- 疎性に対して敏感であり、人気のあるアイテムに偏っています。
- ハイブリッドアプローチとは異なり、アイテム/ユーザー属性(コンテンツ)を無視します。
- うまく機能するには、実質的なインタラクションデータが必要です。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- インタラクションデータのみを必要とします。アイテムの内容や特徴量エンジニアリングは不要です。
- 群衆から微妙で、言葉にしにくい好みのパターンを捉えます。
- 行列分解は大規模で疎な行列にスケーリングし、正確に予測します。
- 近傍法は解釈可能な「〜を気に入ったので…」という説明を提供します。
応用
- eコマースにおける製品推薦。
- ストリーミングプラットフォームでの映画、音楽、ビデオ推薦。
- ニュースおよびコンテンツのパーソナライゼーション。
- ソーシャルネットワークにおける友人/接続の提案。
- クロスセルおよび「顧客も購入した」機能。
使い方
使い方
入力は、評価または暗黙的なインタラクション(クリック、購入)のユーザーアイテム行列です。これは非常に疎であり、ほとんどのエントリは不明です。タスクは、欠落しているエントリ(ユーザーが未見のアイテムをどのように評価/好むか)を予測して、上位の予測を推薦できるようにすることです。
数式
R \in \mathbb{R}^{u\times i}\ \text{(ratings/interactions, mostly missing)}近傍法は、重なり合う評価からユーザー間(またはアイテム間)の類似性を計算します。通常はコサイン類似度またはピアソン相関を使用します。高い類似性は、2人のユーザーが好みを共有しているか、2つのアイテムが同じオーディエンスを引き付けていることを意味します。これらの類似性が予測を推進します。
数式
\text{sim}(a,b) = \dfrac{\sum_k r_{ak} r_{bk}}{\sqrt{\sum r_{ak}^2}\sqrt{\sum r_{bk}^2}}\ (\text{cosine / Pearson})アイテムベースの協調フィルタリングは、ユーザーが類似アイテムに対して行った評価の類似性加重平均として、アイテムに対するユーザーの評価を予測します(ユーザーベースは類似ユーザーに対して同様のことを行います)。アイテムベースは、アイテム間の類似性はより安定しており、事前に計算できるため、通常は大規模で好まれます。
数式
\hat r_{ui} = \dfrac{\sum_{j\in N(i)} \text{sim}(i,j)\, r_{uj}}{\sum_{j\in N(i)} |\text{sim}(i,j)|}潜在因子モデルは、評価行列を低ランクのユーザー行列とアイテム行列に分解するため、各評価はユーザー因子ベクトルとアイテム因子ベクトルの内積によって近似されます。因子は、観測された評価全体で正則化された二乗誤差を最小化することによって学習され(SGDまたは交互最小二乗法経由)、好みの隠れた次元を捉え、より良く一般化し、疎性をうまく処理します。
数式
\hat r_{ui} = p_u^\top q_i,\quad \min_{P,Q}\sum_{(u,i)\in\mathcal{K}} (r_{ui}-p_u^\top q_i)^2 + \lambda(\lVert p_u\rVert^2+\lVert q_i\rVert^2)よくある落とし穴
- デプロイメントにおけるコールドスタート問題の無視(新しいアイテムは露出を得られない)。
- ランキング/トップNおよび人気バイアスを無視して、評価誤差のみで評価すること。
- アイテムベースまたは分解よりもはるかに効率的な大規模環境でユーザーベースCFを使用すること。
- データを分割する際に将来のインタラクションをトレーニングに漏洩させること(時間で分割する必要がある)。
よくある質問
ユーザーベースとアイテムベースの協調フィルタリングの違いは何ですか?
ユーザーベースCFは、あなたに似たユーザーが気に入ったアイテムを推薦します。アイテムベースCFは、あなたがすでに気に入ったアイテムに似た(ユーザーがそれらを評価した方法において)アイテムを推薦します。アイテムベースは、アイテム間の類似性が時間とともに安定しており、オフラインで事前に計算できるため、通常は大規模で好まれます。
行列分解は近傍法をどのように改善しますか?
データから学習された短い潜在因子ベクトルによってユーザーとアイテムを表し、各評価はその内積になります。これにより、隠れた好みの次元が捉えられ、疎性がより良く処理され、直接の近傍を超えて一般化し、通常はより正確に予測されます。これが、Netflix Prizeのソリューションで優位を占めた理由です。
コールドスタート問題とは何ですか?
協調フィルタリングは過去のインタラクションに依存するため、全くインタラクションのない真新しいユーザーやアイテムに対して良い推薦を行うことができません。解決策としては、初期の好みを尋ねる、人気度にフォールバックする、またはインタラクション履歴を必要としないコンテンツベースの特徴とハイブリッド化することが挙げられます。
関連する手法
参考文献
Sarwar, B., Karypis, G., Konstan, J., & Riedl, J. (2001). Item-based collaborative filtering recommendation algorithms. Proceedings of the 10th International Conference on World Wide Web, 285–295.
DOI 文献を開くコピーしました。Koren, Y., Bell, R., & Volinsky, C. (2009). Matrix factorization techniques for recommender systems. Computer, 42(8), 30–37.
DOI 文献を開くコピーしました。