URM：阿里妈妈发布的新型电商推荐模型

URM是什么？

URM（Universal Recommendation Model）是阿里妈妈发布的电商推荐模型。该模型是一种世界知识大模型，阿里妈妈希望基于LLM 构建兼顾世界知识和电商知识的大模型，来解决传统LLM在电商推荐场景中表现欠佳的问题：一是大模型在电商领域缺乏专业知识，二是用户历史行为信息输入冗长、密度低。URM将 LLM 的世界知识与电商专业知识结合，实现用户兴趣的深度理解和精准推荐。

URM核心特点

• 知识注入与信息对齐：URM通过知识注入和信息对齐，将LLM的通用知识与电商领域的专业知识相结合。

• 多模态融合：引入多模态融合的商品表征，结合商品的ID表征和语义表征（如文本、图像等），提升商品的表达能力和推荐的准确性。

• 高效的Sequence-In-Set-Out生成方式：通过用户建模头（hUM）和语言模型头（hLM）分别生成用户表征和文本输出，能够在单次前向传播中生成高质量的推荐集合。

• 多任务处理能力：支持多场景推荐、多目标推荐、长尾推荐、发现性推荐等多种任务。

• 零样本学习能力：能够快速适应新任务和新场景，即使在没有大量标注数据的情况下也能提供有效的推荐。

URM技术原理

• 多模态融合表征：通过ID表征和语义表征的对齐融合，生成多模态商品嵌入向量。

• 任务定义与提示工程：基于文本来定义不同的推荐任务，并通过设计不同的提示模板调整推荐结果的分布。

• 训练方式：结合商品推荐任务的噪声对比估计（NCE）损失和文本生成任务的负对数似然损失，采用完整参数的有监督微调（SFT），仅冻结商品的原始表征。

URM应用效果

URM已经在阿里妈妈的展示广告场景中上线，明显提升了商家广告投放效果和消费者购物体验。比如，对于一个对嵌入式家电和收纳用品有过历史行为的用户，URM能够推测用户可能在关注装修且处于硬装的早期阶段，并推荐全屋定制类产品和高品质家电。此外，URM还能结合用户的历史兴趣和特定的文字引导，生成更符合当前情境的推荐结果。

URM性能表现

在离线实验中，URM使用多任务融合数据集训练，并在生产数据集上取得了平均11.0%的Recall提升，在6个子任务（共9个任务）中都超越了线上使用Target-Attention结构的传统推荐模型。

URM应用场景

• 个性化商品推荐：用户浏览电商平台时，系统根据用户的历史行为和偏好，推荐符合用户兴趣的商品。比如，对于一个经常购买运动装备的用户，URM可以推荐最新的运动鞋、运动服装和健身器材。

• 多场景推荐：URM支持多场景推荐任务，能够根据用户当前所在的页面和行为上下文，生成与场景相关的推荐。比如，在首页推荐热门商品，在分类页推荐相关类别的商品，在搜索结果页提供与搜索词高度相关的商品。

• 搜索增强：URM可以将搜索问题视为一个推荐任务，通过提示模板将用户的历史行为和搜索词结合起来，生成更精准的搜索结果。例如，用户搜索“夏季连衣裙”，URM可以根据用户的历史偏好推荐适合夏季的连衣裙款式。

• 兴趣推荐：URM可以通过提示模板和多模态融合模块，捕捉用户的长期兴趣，并生成与长期兴趣相关的推荐。比如，对于一个经常购买科技产品的用户，URM可以推荐即将上市的新款电子产品。

• 长尾商品推荐：RM可以通过特定的提示模板，生成包含长尾商品的推荐列表。比如，对于一个喜欢小众音乐的用户，URM可以推荐一些小众音乐相关的商品，如限量版唱片或音乐周边。

ArXiv技术论文：https://arxiv.org/pdf/2502.03041