在推荐系统中，用户的长短期兴趣：长期兴趣是多“长”；短期兴趣是多“短”，如何衡量其长短？

显示全部楼层 · 2022-11-16 03:27:06

复调的狂欢媒 · 2022-11-16 15:07:14

长序列建模方法SDM采用分长短期序的方法，业界也基本采用了该方法的划分方式。
用户在推荐场景的历史行为丰富多样，可以给模型提供大量的信息，用于捕捉用户的兴趣。虽然增加序列长度可以带来模型效果的提升，但线上推理耗时也随之急剧增加，需要可落地的工程实现。如何基于工程实现方案，最大程度地利用用户行为，是用户行为长序列建模的关键。
SDM[1]提出一种思路：将用户行为分为短期行为和长期行为，用不同的方式分别建模，再将两部分兴趣融合，得到用户综合的兴趣表征。该方法由阿里团队提出，应用于阿里的召回业务，论文发表于2019年的CIKM。
1 SDM原理

推荐场景中，用户行为虽然多样多变，但也存在一些比较稳定的模式和特点。从某个时间段的视角观察用户兴趣，兴趣呈现出相对集中的特点，而在不同的时间段，用户的兴趣容易转移到另一个相对集中的点。当把用户兴趣放在更长的连续时间轴上观察，用户兴趣呈现出相对稳定的状态，即用户对某些维度的偏好基本不变。
以电商场景为例，用户想购买衣物，可能先表现出对上衣的兴趣，当浏览或购买后，兴趣点可能转移到裤子或帽子上。而用户对颜色、风格的偏好往往会长期保持稳定，比如用户喜欢浅色系和休闲简约风，那么该用户所偏好的衣物，在很长一段时间会保持这些特点。
基于用户短期兴趣容易变化而长期兴趣基本稳定的特点，SDM提出将用户行为划分为短期行为和长期行为，采用不同的方式分别对两种行为建模，再通过门控的方式将两种建模结果进行融合，得到用户的综合兴趣。
1.1 行为划分

SDM的核心思路是对用户行为分短期和长期分别处理，因此在建模前需首先进行长短期行为划分。通常用户在一个session内的行为相对集中(如有不清楚session概念的可以戳《用户行为序列建模dsin方法》)，因此SDM以最后一个session为基础，结合推荐场景的实际特点，按照以下规则进行行为划分：

(1) 用户历史行为中最后一个session的行为为短期行为；
3 v5 ?! u- g7 J) R- C/ }
(2) 和最后一个session内行为的时间间隔在一定范围内(论文中采用的是10min)的行为，划分为短期行为；" m& F! ]: @: W
(3) 短期行为长度不超过50；
- |% u. h% i" z( j9 J; n
(4) 用户在最近7天内的短期行为之外的，划分为长期行为。! T! O8 v3 G) Y( c

短期行为表示为 $\mathcal{S}^u = [i_1^u, ..., i_t^u,...,i_m^u]$ ，其中m为长度，长期行为表示为 $\mathcal{L}^u$ 。
1.2 SDM模型

1.2.1 网络结构
SDM的模型结构如图1所示，以短期行为序列 $\mathcal{S}^u$ 和长期行为序列 $\mathcal{L}^u$ 作为模型的输入，分别用两种方式对长短期序列建模，得到长期兴趣 $p^u$ 和某个时刻的短期兴趣 $s_t^u$ ，通过gate融合的方式，得到某个时刻的综合兴趣 $o_t^u$ ，再基于内积相似度从物品库的表征 $V \in \mathbb{R}^{d \times |I|}$ (其中d为embedding维度， $I$ 为物品的数量)中得到最相近的N个物品。

图1 SDM网络结构

1.2.1.1 短期序列建模
SDM采用multi-head self-attention的方式对短期序列进行建模，其出发点包括两方面：具体可戳《用户行为长序列建模SDM》，或在公众号【播播笔记】回复“SDM”。
在短期序列中，物品的表征除了id对应的embedding，可以通过增加side信息得到更完善的物品信息，side信息可以包括物品所属的品类、品牌、店铺等，将各种物品信息concat后得到物品的表征 $e_{i_{t}^u}$ 。

图2 SDM短期和长期行为序列建模

短期兴趣提取如图2左下部分所示，包括三个步骤：

(1) 首先采用LSTM得到各个时刻的隐层兴趣表征 $X^u = [h_1^u, ..., h_t^u]$ (LSTM在此不再赘述，具体公式可参考《用户行为序列建模dsin方法》2.4节)；
. y8 Y, ?' \2 ?% L7 p* M& a
(2) 然后利用multi-head self-attention，对各个隐状态计算每个head的权重后，对每个隐状态在head维度加权求和，得到隐兴趣表征 $\hat X^u = [\hat h_1^u, ..., \hat h_t^u]$ (multi-head可以理解为多个单head，具体细节可戳《用户行为序列建模self attention和具体实现》中3.2节)；3 D; n3 v3 p" n1 k) C6 @
(3) 最后利用target attention机制，计算如式子(1)所示，各个时刻的隐兴趣表征和用户表征 $e^u$ 的相似度经过softmax得到权重，再加权求和得到用户在时刻t的短期兴趣表征 $s_t^u$ 。 $\begin{align} & \alpha_k = \frac{exp{({\hat h_k^u}^T e_u)}}{\sum_{j=1}^{t}{exp{({\hat h_j^u}^T e_u)}}} \\ & s_t^u = {\sum_{k=1}^{t}{(\alpha_k \hat h_k^u})} \tag{1} \end{align}$ # s- X8 R& b9 D& U& c: d

1.2.1.2 长期序列建模
用户在长期行为中表现出的偏好处于相对稳定的状态，比如经常去同一家店或者同一个品牌购买物品，因此在长期序列建模时，输入的序列是用户在不同维度的行为，如物品id序列 $\mathcal{L}_{id}^u$ ，物品类别序列 $\mathcal{L}_{cate}^u$ ，物品所属品牌序列 $\mathcal{L}_{brand}^u$ 等。
建模过程如图2中左上部分所示，对各个维度的序列进行target attention建模，得到每个维度的用户兴趣表征 $z_f^u$ ，如式子(2.1)-(2.2)所示，将各个维度的兴趣表征concat后经过一层全连接层，计算如式子(2.3)-(2.4)所示，得到用户的长期兴趣表征 $p^u$ 。
$\begin{align} & \alpha_k = \frac{exp{({g_k^u}^T e_u)}}{\sum_{j=1}^{|\mathcal{L}_f^u|}{exp{({g_j^u}^T e_u)}}} \tag{2.1} \\ & z_f^u = {\sum_{k=1}^{|\mathcal{L}_f^u|}{(\alpha_k g_k^u})} \tag{2.2} \\ & z^u = concat(\{z_f^u | f \in \mathcal F\}) \tag{2.3} \\ & p^u = tanh(W^p z^u + b) \tag{2.4} \end{align}$
1.2.1.3 长短期融合
经过短期和长期序列建模后，得到了用户短期和长期兴趣表征，这两部分兴趣通过门控网络的方式进行融合。如式子(3.1)所示，将用户表征 $e_u$ ，短期兴趣表征 $s_t^u$ 和长期兴趣表征 $p_u$ 作为输入，经过sigmoid激活得到门控网络输出 $G_t^u$ ；再通过式子(3.2)加权求和的方式(其中 $\odot$ 表示按位乘)，得到用户兴趣表征 $o_t^u$ 。 $\begin{align} & G_t^u = sigmoid(W^1 e^u + W^2 s_t^u + W^3 p^u + b) \tag{3.1} \\ & o_t^u = (1-G_t^u) \odot p^u + G_t^u \odot s_t^u \tag{3.2} \end{align}$
得到用户兴趣表征后，则可根据该兴趣从物品库中召回最相近的item，实现召回中的用户长序列建模。
1.2.2 离线训练
模型在训练过程中，短期序列中每个时刻对应产生一个样本，即在时刻t，正样本为短期行为中下一个时刻t+1所对应的item $i_{t+1}^u$ ，负样本采用全局负采样的方式生成，在物品库 $I$ 中选取除正样本 $i_{t+1}^u$ 之外的item作为负样本，考虑到物品库 $I$ 数量庞大，采样按照log-uniform的方式。
损失采用交叉熵的形式，如式子(4)所示，其中 $\mathcal{K}$ 为正负样本构成的集合， $\hat y_i$ 表示集合 $\mathcal{K}$ 中第i个item表征 $v_i$ 和该时刻兴趣表征 $o_t^u$ 内积后的softmax值， $y_i$ 为第i个item的真实概率。
$\begin{align} & {\hat y} = softmax(z) \\ & L({\hat y}) = - \sum_{i \in |\mathcal K|}{y_i log(\hat y_i)} \tag{4} \end{align}$
1.2.3 线上推理
模型的输入仅使用了用户特征，因此模型在线上部署时，采用双塔的部署形式，可提高模型的线上推理的效率。item部分的embedding离线实时更新后存储到线上，当用户发出请求时，模型计算当前时刻用户兴趣表征 $o_t^u$ ，再利用KNN紧邻搜索得到最相似的N个item，完成线上推理。
2 SDM分析

SDM方法的核心在于根据用户行为特点，提出将用户行为分为长短期分别进行建模后再进行融合。
该方法在召回的应用值得尝试，提出的思路在精排应用的局限性较大，并未从根本解决长序列问题，具体分析可戳《用户行为长序列建模SDM》，或在公众号【播播笔记】回复“SDM”。

<hr/>
工作相关的内容会更新在【播播笔记】公众号，欢迎关注
生活的思考和记录会更新在【吾之】公众号，欢迎关注
推荐系列文章： 用户行为序列建模

用户行为序列建模概览. J. s# J' n2 j% `4 V
用户行为序列建模self attention和具体实现; y0 ]$ @" V: O% {' l8 U! O: }: q
用户行为序列建模din方法和实际应用
8 ?* A2 I) I; E4 u: o
用户行为序列建模dien方法: ~/ |* |3 q" z; l+ |+ w5 S
用户行为序列建模dsin方法
; I) I8 N/ @4 g# V0 Y2 g! M$ I) r
用户行为序列建模din系列方法总结& F& o. p' T* _
用户行为长序列建模概览+ Y5 r" m/ z) ]% g f( ~3 W

多目标

推荐中多目标的必要性和实现思路. X. Y J/ ]( a+ G1 f2 u: q4 p
多目标模型结构-ESMM和ESM2
- D+ A7 R) N9 U8 b6 |* O* r
多目标模型结构-MMoE和实际应用思考
8 P( J7 R/ A8 y9 K. _, v
多目标模型结构PLE详解和效果分析1 `. c2 x/ U" B# m4 I8 m2 _
多目标样本权重-GradNorm和DWA原理详解和代码实现
: b1 C+ E% N! W! x, j" w
多目标样本权重-DTP和不确定性加权
: y+ i4 n/ T& c9 S

冷启

用户冷启POSO论文详读
' u, T+ F3 q" F$ ]" e
POSO方法的实际应用和分析思考0 O6 L/ y7 _ {0 L

模型结构-特征交叉

ctr模型特征交叉结构总结与业务应用和思考5 ~8 n [" P% G9 j6 |" |* j7 f
xDeepFM如何实现field-wise显式高阶特征交叉-模型结构之特征交叉(3)-DCN系列之xDeepFM(3.3)附代码
% D8 {& e3 T5 T; o4 I
DCN-V2对特征交叉做了什么改进--模型结构之特征交叉(3)-DCN系列之DCN-V2(3.2)附代码
6 R, a# k# p( T# {, z0 S5 ]/ w, Q
为什么DCN可以实现显式高阶特征交叉-模型结构之特征交叉(3)-DCN系列(3.1)附代码
S' U6 v1 O; p" s a# B
模型结构之特征交叉(2)-FM系列(2.2)-AFM,DeepFM等(附代码)
4 J- u( A7 R* D0 }+ q& x
模型结构之特征交叉(2)-FM系列(2.1)-FM,FFM* c: i; ]3 Y: e
模型结构之特征交叉(1)-从LR到wide&deep
+ E- L! y) v1 G" {: G$ e2 J. O

推荐基础知识点

激活函数选择和具体应用以及相关面试题7 X7 H6 y! ?. h
深入理解深度学习中常见激活函数
+ u3 R1 T; t$ P) p3 M- n
如何防止过拟合(1)-正则化
8 h1 W! K# X! L! g
从偏差方差角度理解过拟合
+ p, O; d& u8 [0 I0 q
AUC离线和在线表现不一致问题：两个维度
2 b8 n0 p6 e. ]# b3 h- L
如何计算AUC( Z3 ]/ ?* K. I! q" c3 D& ~% ~
什么是好的推荐，重新理解AUC
! @- x) B" _& D3 @# }* J
为什么需要推荐2 l/ T7 Q) A- N. Q( {

工具

一句话理解tensorflow中的乘法7 }) J7 W" g; b1 r" E( u

reference
[1] Sequential Deep Matching Model for Online Large-scale Recommender System. SDM | Proceedings of the 28th ACM International Conference on Information and Knowledge Management.

在推荐系统中，用户的长短期兴趣：长期兴趣是多“长”；短期兴趣是多“短”，如何衡量其长短？

浏览过的版块