权重传递影响视频索引算法的核心模型

推荐模型之序列模型实践-DIN、DIEN、MIMN、SIM、SDIM

推荐模型DIN、DIEN、MIMN、SIM、SDIM均为处理序列特征的经典模型,适用于视频推荐、电商等场景,以下为具体实践要点:DIN(深度兴趣网络)模型理解:通过注意力机制学习用户兴趣,将用户序列embedding与预估item的embedding进行点乘、相减等操作,经三层MLP和softmax得到权重,最后加权求和(weighted sum pooling)。不受序列顺序影响,且引入dice函数、id正则化等优化点。实践要点:序列长度不足时需mask填充id,且填充id的embedding设为0且不可训练。相比DeepFM、sum/avg pooling,效果提升0.2%-0.3%;若将attention兴趣与target item交叉,效果更佳。视频场景可用观看时长归一化后作为权重,电商场景可用下单价格作为权重。曝光时间作为position embedding的效果不明显。DIEN(深度兴趣进化网络)模型理解:针对DIN未考虑时序关系的缺陷,用GRU捕捉兴趣演变,分为兴趣抽取层(GRU捕捉兴趣)和兴趣进化层(权重作为GRU门控)。引入辅助loss训练,提升收敛速度。实践要点:性能比DIN差3倍左右(两次GRU),serving和训练压力较大。辅助loss使前期收敛快,但最终离线效果仅提升0.2%;线上效果提升约1%,后期衰减至与DIN持平。MIMN(多通道用户兴趣记忆网络)模型理解:解决长序列建模的serving性能问题,通过用户兴趣向量服务(UIC)独立存储用户状态,每次访问更新兴趣向量并发送至数据存储。建模时采用NTM(神经图灵机)实现长期记忆,避免LSTM全部更新隐藏层的缺陷。实践要点:训练速度是DIN的十倍左右,但部署架构解耦训练与serving,不影响线上性能。Memory slot配置为4个,离线AUC比DIEN提升0.2%-0.4%,线上收益约1%。SIM(搜索兴趣模型)模型理解:长序列模型,从数千个序列中检索与预估item最相似的n个item,再进行attention/pooling。提供两种检索方式:Hard search:按类别(如一级、二级)存储序列,根据预估item类别检索。Soft search:计算预估item与序列中每个item的余弦相似度,取最相似n个。实践要点:视频推荐场景采用hard search,候选序列几千个(近六个月行为),通过类别索引检索长度50的序列,再用attention计算兴趣。离线效果:点赞GAUC提升0.3%,稀疏目标提升0.2%;线上预期收益约2%。序列检索模块对训练速度影响小,serving仅增加检索步骤。SDIM(长序列动态兴趣模型)模型理解:暂未详细实践,可参考相关解析(如《浅谈推荐算法之长序列模型SDIM》)。


nginx