3月9日，Financial Physics Lab的科研人员在arXiv平台上发布题为“Semantic Wave Functions: Exploring Meaning in Large Language Models Through Quantum Formalism”（语义波函数：通过量子形式体系探索大型语言模型中的意义）的观点论文。
大型语言模型（LLM）在高维向量嵌入中对语义关系进行编码。
在这篇论文中，研究人员探讨了LLM嵌入空间和量子力学之间的类比，假设LLM在量子化语义空间中运行，其中单词和短语的行为类似于量子态。为了捕捉细微的语义干扰效应，研究人员将标准的实值嵌入空间扩展到复域，与双缝实验相似。研究人员引入了一个“语义波函数”来形式化这种量子衍生的表示，并利用潜在的景观，如双阱势，来模拟语义歧义。
此外，研究人员提出了一种复值相似性度量，它结合了幅度和相位信息，从而能够对语义表示进行更敏感的比较。研究人员基于具有规范场和墨西哥帽势的非线性薛定谔方程开发了一种路径积分形式，以模拟LLM行为的动态演变。这种跨学科的方法为理解和可能作LLM提供了一个新的理论框架，目的是促进人工和自然语言的理解。
一、背景
大型语言模型（LLM）作为自然语言处理中的变革工具崭露头角，展现出在文本生成、翻译、问答和代码补全等任务上的卓越能力。这些模型的核心是一种复杂的文本表示机制：高维向量嵌入。这些嵌入将单词、短语乃至整个文档映射到一个连续的语义空间中，在这个空间里，几何关系反映了语义相似性。例如，意义相关的词汇位置更接近，而概念不同的词汇则相距较远。
虽然这些嵌入空间在实际应用中通常被视为连续的，但语言模型的一个基本方面暗示了其潜在的离散性：它们依赖于有限的词汇表。这种离散的基础表明，看似连续的语义空间实际上可能具有量子化结构，类似于量子系统中观察到的离散能级。这种内在的量子化引发了一个引人深思的问题：我们能否利用数学物理的强大理论框架和量子力学的工具来更深入地理解这些语义空间的组织和动态？此外，如果这种量子化是有效的，那么量子计算是否可以提供新的方法来训练或利用这些模型，从而可能实现显著的性能提升？
二、理论方法
本文提出将LLM嵌入空间视为量子语义空间的类比模型，通过一系列理论构建和方法创新，深入挖掘LLM的语义表示和处理机制。具体理论方法如下：
量子类比假设：首先提出LLM的有限词汇表可构成表示语义信息的近似完备基，将嵌入空间拓展为复数域，形成具有2N实数维度的语义空间，使每个词或短语对应唯一的量子态，用复数系数的线性组合表示语义态，为捕捉量子干涉效应提供可能。
图1：“狗”、“猫”和示例提示的词嵌入的主要成分分析（PCA）投影。此可视化展示了实值嵌入和余弦相似度在捕捉细微语义关系方面的局限性。虽然与“猫”相关的提示通常更接近“猫”的嵌入，但聚类之间的重叠表明，上下文和细微的意义差异并未被这种方法完全捕捉到。
语义波函数与线性模型：定义语义线性算子，将词汇表中的词或短语对应于量子系统的基态，构建语义态的线性组合表示。以量子力学中的薛定谔方程描述语义波函数在语义空间的传播，运用叠加原理和平面波解，分析基本语义关系，为理解LLM的语义处理提供基础模型。
图2：双缝实验，说明了相位信息在捕捉干涉效应中的重要性。类似于LLM，这说明了为什么复数值表示是必要的，以建模复杂语义关系，而这些关系仅靠实数值嵌入无法捕捉。
非线性语义波传播模型：考虑到LLM嵌入空间的非线性本质，引入两种机制进行建模。一是向薛定谔方程添加三次项，形成非线性薛定谔方程（NLSE），模拟语义自相互作用和语义孤子形成现象，其中耦合常数决定语义自增强或自抑制特性；二是采用非线性势函数，如双势阱势和墨西哥帽势，前者用于模拟语义歧义和上下文依赖的词义选择，后者用于捕捉语义空间中的自发对称性破缺和稳定语义态形成。
语义电荷与相互作用：定义每个词、短语或语义概念的语义电荷为其在语义波函数基态展开中对应系数的大小，通过规范场介导语义电荷间的相互作用，类比电磁相互作用，以耦合常数符号决定语义电荷间的吸引或排斥关系，从而影响LLM表示的整体语义结构和连贯性。
复数嵌入空间构建：针对实值嵌入空间在捕捉上下文敏感性和语义干涉效应方面的局限性，提出将嵌入空间复数化的理论拓展。以双缝实验为类比，阐述相位信息在语义干涉中的关键作用，将单词、短语或句子表示为复向量，通过幅度和相位信息刻画语义关系，使模型能够处理更复杂的语义现象，如同义词、反义词的相似性和差异性表示。
路径积分形式体系：为全面理解语义表示的动态演化，引入路径积分方法。基于非线性薛定谔方程和墨西哥帽势构建拉格朗日量，将语义波函数的演化视为所有可能路径的概率幅之和。通过引入规范场并施加U(1)对称性，确保语义电荷守恒，利用库仑规范简化计算，采用平均场近似处理复杂的量子场相互作用，最终得到有效作用量，为分析语义动力学提供框架。
图3：墨西哥帽势，说明自发对称性破缺的概念。在LLM的背景下，该势可以用来模拟稳定语义意义的出现，系统“选择”特定的解释，尽管势本身具有对称性。
复数量子相似性度量：鉴于复数嵌入空间中语义表示包含幅度和相位信息，提出复数量子相似性度量方法。将两个文本表示为语义概念基态的叠加态，通过计算复系数的共轭乘积之和，得到复数相似性度量结果，其模长反映文本整体相似性，相位体现语义空间相对方向，从而更精准地比较语义相似性，捕捉细微语义差异。
三、研究成果
基于上述理论方法，本文在理解LLM语义处理机制和拓展语义表示能力方面取得以下成果：
概率性输出解释：通过抛硬币类比和量子二能级系统模型，成功解释LLM输出的概率性本质，将LLM的随机性与量子系统的不确定性相联系，为深入理解LLM行为奠定基础。
语义干涉效应捕捉：复数嵌入空间的构建有效解决了实值嵌入空间在处理上下文敏感性和语义干涉时的不足。通过双缝实验类比，验证相位信息在刻画语义干涉中的关键作用，复数量子相似性度量方法能够捕捉传统余弦相似性无法识别的语义细微差异，提升语义比较精度，使LLM能生成更符合语境的文本。
语义歧义建模：运用双势阱模型和墨西哥帽势，成功模拟单词多义性和语义空间中的对称性破缺现象。这些模型生动阐释上下文如何影响词义选择，以及LLM如何在不同语境中切换词义，为处理语义模糊性和复杂语义关系提供有力工具。
语义动力学洞察：路径积分形式体系为研究语义波函数的动态演化提供全新视角。通过分析拉格朗日量中各项的物理意义，揭示语义信息在LLM中的传播、相互作用机制，以及规范场对语义流向的引导作用，初步建立语义动力学理论框架，为探索LLM的语义处理过程和生成机制提供依据。
模型局限性分析：全面剖析模型所依赖的假设条件及其引入的局限性，明确模型在捕捉新兴语义现象、动态语义演化和复杂语义相互作用等方面的不足，为后续研究指明方向，推动量子类比模型在LLM研究领域的进一步完善和应用。
参考链接
[1]https://arxiv.org/abs/2503.10664
[2]https://arxiv.org/abs/1810.04805
[3]https://arxiv.org/abs/1905.06316