新智元 报道
【新智元导读】Emory大学的研究团队提出了一种创新的方法,将大语言模型(LLM)在文本图(Text-Attributed Graph, 缩写为TAG)学习中的强大能力蒸馏到本地模型中,以应对文本图学习中的数据稀缺、隐私保护和成本问题。通过训练一个解释器模型来理解LLM的推理过程,并对学生模型进行对齐优化,在多个数据集上实现了显著的性能提升,平均提高了6.2%。
近年来,随着文本属性图(TAG)在社交媒体、电子商务、推荐系统和学术引用网络等领域的广泛应用,研究人员对如何有效地从这些复杂数据结构中学习变得越来越感兴趣。TAG不仅包含了节点之间的结构关系,还包含了节点本身的文本特征,因此如何同时处理这两种信息成为研究中的一个核心问题。
方法
文本级特征:LLM识别并提取与分类最相关的关键词,从而减少文本中可能干扰模型分类的噪声信息。这些关键词通过文本编码器进行处理,以生成增强的文本嵌入。
结构级特征:LLM分析每个节点的邻居节点,识别出对节点分类最重要的邻居节点,并提取这些邻居节点中的关键信息。这些增强的结构特征用于图卷积网络(GNN)的信息传递过程中。
消息级特征:在结构级特征的基础上,LLM进一步识别出每个邻居节点中最关键的消息内容,并将其整合到消息传递的第一层中。通过这种方式,解释器模型能够聚焦于更具相关性的邻居信息,从而提高分类精度。
语义对齐:研究团队通过对比解释器模型和学生模型的文本嵌入,特别是那些在结构中出现频率较高且关键词差异较大的节点,来实现语义对齐。这种对齐方式确保了学生模型能够更好地继承解释器模型中的语义信息。
结构对齐:在结构对齐中,研究团队关注那些邻居结构变化较大的节点,计算这些节点的原始邻居结构与增强邻居结构之间的相似度。通过最小化这些差异,确保学生模型能够在图结构信息上与解释器模型保持一致。
实验与结果
结论