推荐算法（2）【draft】从LR到DeepFM

发表于 2022-06-25 更新于 2023-04-26 分类于算法，机器学习，推荐算法阅读次数：本文字数： 563 阅读时长 ≈ 1 分钟

提到LR->FM->FFM->Wide & Deep->DeepFM这一发展，必然离不开点击率CTR(click-through rate)和转化率CVR(conversion rate)。

这里再补充一下从MF到FM，矩阵分解MF(Matrix Factorization)基本原理：

主要是将用户-物品矩阵分解为用户矩阵(实质为用户的embedding矩阵)和物品矩阵(实质为物品的embedding矩阵)，有了用户表征向量和物品表征向量我们就可以计算任意用户和物品之间的联系。

线性模型：

从公式中我们就可以看出，线性模型中默认假设特征之间是相互独立的，但是在现实中基本不可能存在，因此线性模型会丢失很多组合信息。

多项式模型：

多项式模型中增加了特征的组合信息，但是又引入了新的问题，参数爆炸，复杂度太高，在实际推荐中特征可能是上万甚至更高维，单单二阶的特征交叉就是 $n^{2}$ ，更不用说更高阶特征交叉。此外，在CTR任务中，特征是特别稀疏的（如图2），进行特征交叉以后也都是0，这将导致模型训练不能充分。

FM主要的优化有两个方面：

（1）将复杂度从 $n^2$ 降到了 $kn$ $\left( k \ll n \right)$ ；

（2）可以在稀疏数据中学习到组合特征，甚至是那些数据中没有观测值的组合特征。