MHA/MQA/GQA过时了？姚班TPA改写规则：一个框架统治所有注意力设计

在人工智能领域，内存占用和性能之间的平衡一直是亟待解决的难题。姚期智院士团队带来了破局方案——全新注意力机制TPA。

TPA通过对每个token实施动态张量分解，突破传统。它不再保存完整的静态KV，而是存储其分解版本。

实验数据显示，这一创新使内存占用锐减90%甚至更多，同时模型性能并未受到丝毫影响。

TPA不仅性能卓越，还从理论上证明了流行的MHA、MQA、GQA都是它的特殊情况，用一个框架统一了现代注意力设计。

T6一经发布便引发各界热议。创业者们惊喜地发现，借助TPA技术，能大幅降低云服务成本；研究者们则期待团队能在更大规模模型上开展实验，带来更多令人期待的成果。代码已上线始智AI-wisemodel开源社区，欢迎大家使用。