Meta AI 推出 LIGER 混合检索 AI 模型,计算效率与推荐精度兼得

IT之家 1 月 2 日消息,Meta AI 的研究人员提出了一种名为 LIGER 的新型 AI 模型,巧妙地结合密集检索和生成检索的优势,显著提升了生成式推荐系统的性能。

LIGER 有效地解决了传统推荐系统在计算资源、存储需求和冷启动项目处理上的难题,为构建更高效、更精准的推荐系统提供了新的思路。

项目背景

想要把用户与相关内容、产品或服务联系起来,推荐系统是其中重要一环。该领域的常规方法是密集检索(Dense retrieval),利用序列建模来计算项目和用户表示。

但这种方法由于要嵌入每个项目,因此需要大量的计算资源和存储。随着数据集的增长,这些要求变得越来越繁重,限制了它们的可扩展性。

而另一种新兴的方法叫做生成检索(Generative retrieval),通过生成模型预测项目索引来减少存储需求,但该方式存在性能问题,在冷启动项目(用户交互有限的新项目)中表现尤为明显。

项目介绍

Meta AI 公司联合威斯康星大学麦迪逊分校、ELLIS Unit、LIT AI Lab、机器学习研究所、JKU Linz 等机构,混合密集检索和生成检索,推出了 LIGER(LeveragIng dense retrieval for GEnerative Retrieval)模型。

该模型混合了生成检索的计算效率和密集检索的精度,利用生成检索生成候选集、语义 ID 和文本属性的项目表示,再通过密集检索技术进行精,平衡了效率和准确性。

图片

LIGER 采用双向 Transformer 编码器和生成解码器。密集检索部分整合了项目文本表示、语义 ID 和位置嵌入,并使用余弦相似度损失进行优化。生成部分使用束搜索根据用户交互历史预测后续项目的语义 ID。

通过这种混合推理过程,LIGER 降低了计算需求,同时保持了推荐质量。LIGER 还能很好地泛化到未见过的项目,解决了先前生成模型的关键限制。

LIGER 性能

在 Amazon Beauty、Sports、Toys 和 Steam 等基准数据集上的评估显示,LIGER 的性能持续优于 TIGER 和 UniSRec 等现有最先进模型。

例如,在 Amazon Beauty 数据集上,LIGER 对冷启动项目的 Recall@10 得分为 0.1008,而 TIGER 为 0.0。在 Steam 数据集上,LIGER 的 Recall@10 达到了 0.0147,同样优于 TIGER 的 0.0。

图片

图片

随着生成方法检索的候选数量增加,LIGER 与密集检索的性能差距缩小,展现了其适应性和效率。

IT之家附上参考地址