Explicit ALS公式推导

约定

$n$表示隐式因子个数，$x{u},y{i}$表示隐式向量

$x_{u}=\begin{bmatrix} x_{u1} \\ x_{u2} \\ \vdots \\ x_{un} \\ \end{bmatrix}$ $X=\begin{bmatrix} x_{1}^T \\ x_{2}^T \\ \vdots \\ x_{u}^T \\ \end{bmatrix}\phantom{20} X^T=\begin{bmatrix} x_{1} & x_{2} & \cdots &x_{u} \\ \end{bmatrix}$

Scalar-by-vector

als_formula_1

损失函数

$L=\sum_{(u,i)\in K} (r_{ui}-x_u^T*y_i)^2 + \lambda(||x_u||^2 +||y_i||^2)$

令$\partial_{x_u}L=0$，化简过程如下，其中$K_u$表示用户$u$接触的物品集：

$\sum_{i\in K_u} (x_u^T*y_i*y_i^T-r_{ui}*y_i^T) + \lambda x_u^T=0$

两边转置

$\sum_{i\in K_u} (y_i*y_i^T*x_u-r_{ui}*y_i) + \lambda x_u=0$ $\sum_{i\in K_u} (y_i*y_i^T+\lambda) x_u = \sum_{i\in K_u}r_{ui}*y_i$

其中：

$\sum_{i\in K_u} y_i*y_i^T=Y^TY,\sum_{i\in K_u}r_{ui}*y_i=Y^T*r_u$

于是

$x_u=(Y^{\top}Y + \lambda I)^{-1}Y^\top r_u$

注意

从公式推导可以看出，每次迭代只需要关注该用户接触过的物品集或者该物品发生行为的用户集，在实现的时候需要注意。

约定

Scalar-by-vector

损失函数

注意

参考