这项由清华大学杜举森、胡佳熹、张涛教授，上海人工智能实验室孙维高研究员，以及香港中文大学程余教授共同完成的研究发表于2025年10月的arXiv预印本平台，论文编号为arXiv:2510.07019v1。有兴趣深入了解的读者可以通过该编号查询完整论文。
当你使用ChatGPT或其他AI语言模型时，有没有想过它是如何记住你前面说过的话的？就像人类既有短期记忆又有长期记忆一样，AI模型也需要处理眼前的信息和遥远的上下文。但现有的AI模型在这方面存在一个两难问题：要么像传统的Transformer模型一样记住所有细节但速度极慢，要么像线性模型一样速度很快但容易忘记重要信息。
研究团队提出了一种名为"原生混合注意力"（Native Hybrid Attention，简称NHA）的全新架构，巧妙地解决了这个难题。这就好比给AI配备了一套"双重记忆系统"：一个像照相机一样精确记录最近发生的事情，另一个像日记本一样压缩保存长期的重要信息。更巧妙的是，这套系统能够根据当前需要自动决定更多地依赖哪种记忆，而不需要人工设定固定的规则。
传统的混合模型通常是将两种不同的注意力机制分别计算，然后通过固定或学习的权重将结果相加。这就像两个厨师分别做菜，最后按比例混合。而NHA的创新之处在于将两种记忆直接合并，让AI在一次注意力计算中同时考虑短期和长期信息，就像一个全才厨师能够同时处理各种食材，根据菜品需要灵活调配。
这种设计带来了显著的优势。在需要精确回忆的任务中，比如回答关于长篇文档中特定细节的问题，NHA表现出色。在常识推理任务中，它也展现了强大的理解能力。更重要的是，当研究团队将这种技术应用到已经训练好的大型语言模型（如Llama-3-8B和Qwen2.5-7B）上时，只需要少量的微调就能获得接近原模型的性能，同时大幅提升运行效率。
这项研究的意义远不止于技术创新。随着AI在日常生活中的应用越来越广泛，从智能客服到个人助理，从教育辅导到内容创作，用户对AI模型的要求也越来越高：既要能处理长篇对话和复杂任务，又要响应迅速、成本可控。NHA为解决这一核心矛盾提供了一个极具前景的方案。
一、AI记忆的困境：快与准的两难选择
要理解NHA的创新之处，我们需要先了解现有AI模型在处理序列信息时面临的根本挑战。当你与AI对话时，它需要理解你当前的问题，同时还要记住之前对话的内容。这个看似简单的要求，实际上涉及复杂的计算权衡。
传统的Transformer模型采用全注意力机制，可以比作一个拥有完美记忆的图书管理员。当你问它一个问题时，它会翻遍所有相关的书籍和资料，确保不遗漏任何细节。这种方法准确性很高，但随着需要处理的信息越来越多，翻查的时间也会急剧增长。具体来说，如果对话长度翻倍，所需的计算时间会增加四倍，这就是所谓的"二次复杂度"问题。
为了解决速度问题，研究者开发了线性注意力模型，它们就像一个高效的秘书，会把大量信息总结成精简的备忘录。每当新信息到来时，秘书会更新这份备忘录，丢弃一些细节，保留最重要的要点。这种方法速度很快，处理任何长度的文本都只需要固定的时间，但代价是可能会丢失一些重要的具体信息。
早期的混合模型尝试结合两种方法的优势，通常的做法是让AI同时拥有一个完美记忆的图书管理员和一个高效的秘书，然后通过某种规则来决定听谁的建议。比如，可能会设定"70%听图书管理员的，30%听秘书的"，或者让AI学会在不同情况下调整这个比例。
然而，这种分离式的设计存在几个问题。首先，它需要进行两次独立的计算，增加了复杂性。其次，这种固定或简单学习的混合比例往往无法充分利用当前问题与历史信息的具体关联性。最后，两个系统各自独立运行，无法形成有效的协同。
二、NHA的核心创新：统一的双重记忆系统
NHA的突破性创新在于重新设计了这套记忆系统的工作方式。与其让两个独立的系统分别工作然后混合结果，NHA创造了一个统一的记忆仓库，其中既包含精确的短期记忆，也包含压缩的长期记忆，然后用单一的注意力机制来处理所有信息。
这个设计可以比作一个智能图书馆的创新管理系统。传统方法是让用户分别询问负责近期资料的管理员A和负责历史档案的管理员B，然后自己决定如何综合两人的建议。而NHA的方法是将所有资料统一编目：最近的资料保持原样详细编目，历史资料则用精简的索引卡片代表。当用户提出问题时，只需要一位智能管理员就能同时查阅详细资料和索引卡片，根据问题的具体需求自动决定应该更多地依赖哪类信息。
具体来说，NHA维护两种类型的记忆。短期记忆就像一个滑动窗口，保存最近W个对话轮次的完整信息。这个窗口的大小可以根据需要调整：如果设置得很小，模型更像线性模型；如果设置得覆盖整个对话历史，模型就更像传统的Transformer。长期记忆则通过一个循环神经网络持续更新固定数量的记忆槽，每个槽都用来压缩和保存历史信息的精华。
当AI需要回答问题时，NHA会将这两种记忆合并成一个统一的信息池，然后运行单一的注意力计算。这个过程的巧妙之处在于，注意力权重的分配是动态的、上下文相关的。如果当前问题更依赖于最近的对话内容，注意力会自然地更多地关注短期记忆；如果问题涉及早期提及的信息，长期记忆槽会获得更高的权重。
这种统一处理带来了几个重要优势。首先，它消除了人工设计混合权重的需要，让模型能够根据具体情况自适应地调整。其次，两种记忆类型在同一个注意力空间中竞争，使得模型能够学会更好的信息表示。最后，这种设计在保持高效性的同时最大化了信息利用率。
三、技术实现的精巧设计：从理论到实践
将NHA的理念转化为实际可用的技术需要解决许多工程挑战。研究团队不仅要确保算法的理论正确性，还要让它能够在现代GPU硬件上高效运行，并且能够方便地集成到现有的AI系统中。
在记忆更新机制方面，NHA采用了一种叫做"门控线性RNN更新"的技术。这就像给记忆槽配备了一个智能过滤器，能够决定新信息中哪些部分应该记住，哪些部分可以忽略。每当新的对话内容到来时，这个过滤器会分析新信息的重要性，然后有选择地更新相应的记忆槽。这种更新不是简单的替换，而是一种加权融合：重要的新信息会获得更高的权重，而已有的重要信息也会被适当保留。
为了避免短期和长期记忆之间的信息重叠，NHA实施了一种称为"令牌移位"的机制。这确保了只有滑动窗口之外的信息才会被压缩到长期记忆槽中。这就像一个自动档案系统，只有当文件从当前工作桌面移出后，才会被归档到长期存储中，避免了重复存储和信息混淆。
在位置编码方面，研究团队发现最佳策略是只对短期记忆中的信息添加位置信息，而长期记忆槽由于本身就是压缩的概念性信息，不需要精确的位置标记。这种不对称的处理方式既保持了短期记忆的时序精度，又避免了长期记忆的位置混乱。
为了让NHA能够在实际硬件上高效运行，研究团队开发了专门的并行计算方法。他们将长序列分割成多个块，每个块可以并行处理，然后通过巧妙的数学变换将结果合并。这种"分块并行"的设计使得NHA能够充分利用现代GPU的并行计算能力，在处理长文本时仍能保持合理的速度。
更重要的是，NHA的设计具有高度的灵活性。通过简单地调整滑动窗口的大小，同一个模型架构就可以在不同层实现不同的行为模式。某些层可以设置较大的窗口来处理局部信息，某些层可以设置较小的窗口来专注于全局理解，还有一些层可以设置为零窗口大小来完全依赖压缩记忆。这种设计避免了传统混合模型需要管理多种不同层类型的复杂性。
四、实验验证：全方位性能评估
研究团队进行了全面的实验评估，涵盖了AI模型的各个关键性能维度。他们不仅测试了从头训练的模型，还验证了将现有大型语言模型转换为NHA架构的可行性。
在回忆密集型任务中，NHA展现出了显著的优势。这类任务要求模型能够准确记住和检索长文本中的具体信息，就像在一本厚书中找到特定的句子或数字。实验涵盖了多个基准数据集，包括FDA医疗设备文档分析、SWDE网站信息提取、SQuAD阅读理解、自然问题回答、TriviaQA知识问答以及DROP数值推理。在这些任务中，NHA不仅超越了纯线性模型和传统Transformer，也优于其他混合架构。
特别值得注意的是，在340M参数规模的模型中，NHA在回忆任务上的平均得分达到了38.60，明显高于传统Transformer的31.70和其他混合模型的得分。这种提升在更大的1.3B参数模型中更加明显，NHA达到了46.43的得分，相比传统方法提升了约20%。
在常识推理任务中，NHA同样表现出色。这类任务评估模型的语言理解能力、世界知识和逻辑推理能力，包括WikiText语言建模、LAMBADA词汇预测、ARC科学推理、HellaSwag常识判断、PiQA物理推理以及WinoGrande代词消解。在这些更加考验模型整体智能水平的任务中，NHA展现了均衡而优秀的性能，在1.3B参数模型中获得了52.89的综合得分。
长文本处理能力是现代AI应用的关键需求，研究团队使用RULER基准测试了模型在不同长度文本上的表现。实验结果显示，虽然传统Transformer在处理训练长度内的文本时仍有优势，但NHA在处理超出训练长度的文本时表现出更强的泛化能力，这对实际应用具有重要意义。
计算效率方面的测试结果令人印象深刻。研究团队在NVIDIA H100 GPU上对比了不同注意力机制的前向和反向传播时间。FlashAttention在短序列上表现最佳，但随着序列长度增加，其计算时间呈二次增长。相比之下，NHA和其他线性方法保持了近乎线性的时间复杂度，在处理长序列时优势明显。
五、现有模型的成功改造：从理论到实践应用
研究团队进行的最具实践意义的实验是将已经训练好的大型语言模型改造为NHA架构。这项工作验证了NHA不仅仅是一个实验室概念，而是可以应用到实际生产环境中的技术方案。
他们选择了两个广泛使用的开源模型：Llama-3-8B和Qwen2.5-7B。改造过程采用了一种巧妙的策略：利用模型参数之间的相似性，直接将原模型的查询、键、值投影权重复制到NHA架构中，然后只对新增的门控参数进行初始化。整个微调过程分为两个阶段：首先冻结前馈网络参数，只调整注意力层，让模型适应新的混合机制；然后使用LoRA技术对所有参数进行高效微调。
改造后的NHA-Llama-3-8B模型在保持与原模型相近性能的同时，显著提升了计算效率。在常识推理任务中，改造后的模型得分为70.31，仅比原模型的71.30略低，差距不到1个百分点。在回忆密集型任务中，虽然存在一定的性能下降（从60.08降到57.64），但考虑到大幅的效率提升，这个权衡是合理的。
更令人惊喜的是效率方面的改进。在处理不同长度的输入文本时，原版Llama-3-8B的内存使用量和推理时间都随输入长度急剧增长，在处理16K长度的文本时甚至出现内存溢出。而NHA版本则展现出良好的扩展性：内存使用量增长缓慢，推理时间基本保持线性增长。这种改进对实际部署具有重要意义，特别是在需要处理长文档或进行长时间对话的应用场景中。
为了进一步验证可扩展性，研究团队还对更大规模的Qwen3-30B-A3B模型进行了改造实验。即使在这种有着数百亿参数的大型模型上，NHA改造依然取得了成功，证明了这种技术的广泛适用性。
六、深入分析：为什么NHA如此有效
研究团队进行了详尽的分析实验来理解NHA成功的根本原因。这些分析不仅验证了设计选择的正确性，也为未来的改进指明了方向。
关键组件分析显示，NHA的每个设计元素都发挥着重要作用。当研究人员移除长期记忆时，模型在回忆任务上的性能从38.60大幅下降到29.58，说明压缩的长期记忆确实保存了重要信息。移除短期记忆时，性能下降到36.97，表明精确的近期信息同样不可或缺。更有趣的是，当他们移除"令牌移位"机制（即允许短期和长期记忆存储重叠信息）时，性能也出现明显下降，验证了避免信息重复的重要性。
融合机制的对比实验揭示了NHA统一softmax方法的优越性。研究团队测试了两种传统的加权融合方法：固定权重融合和可学习权重融合。结果显示，这两种方法的性能都明显低于NHA的统一softmax方法。固定权重融合得分为34.06，可学习权重融合为33.59，而NHA达到了38.60。这个结果证实了让注意力机制本身决定长短期记忆权重的策略确实更加有效。
通过梯度分析，研究团队发现了NHA统一融合的一个重要特性：梯度耦合。在传统的分离式融合中，长期和短期记忆的梯度更新是相互独立的，这意味着一种记忆类型的改进不会直接影响另一种。而在NHA中，由于使用统一的softmax计算，两种记忆类型的梯度更新是相互关联的，这种耦合效应促进了两个记忆系统的协同优化。
记忆使用模式的可视化分析展现了NHA的智能行为。通过绘制不同层、不同注意力头以及不同位置的长期记忆使用比例，研究人员发现了有趣的模式。不同的层和注意力头确实表现出了专业化倾向：有些更依赖短期信息处理当前语境，有些更关注长期信息进行全局理解。更重要的是，在序列的不同位置，模型对长期记忆的依赖呈现出合理的变化趋势：序列早期更多依赖长期记忆（因为短期记忆还未填满），随着序列进展，短期记忆逐渐丰富，但对于需要回忆早期信息的查询，长期记忆的重要性又会提升。
参数敏感性分析帮助确定了最佳的配置策略。通过调整长期记忆槽数量和滑动窗口大小的不同组合，研究团队发现了一些有用的规律。对于回忆密集型任务，较多的记忆槽（64个）和适中的窗口大小（32个令牌）效果最佳；而对于常识推理任务，这些参数的影响相对较小，说明模型对配置具有一定的鲁棒性。
七、技术影响与未来展望
NHA的提出不仅解决了一个具体的技术问题，更重要的是为AI架构设计提供了新的思路。这种统一的混合设计理念可能会影响未来许多AI系统的发展方向。
从技术角度来看，NHA证明了在效率和性能之间不必做出极端的权衡。通过巧妙的架构设计，可以在大幅提升计算效率的同时保持甚至改善模型性能。这对于AI技术的普及和实际应用具有重要意义，特别是在计算资源有限或成本敏感的场景中。
NHA的灵活性也开启了新的可能性。同一个架构可以通过简单的参数调整在不同的效率-性能权衡点之间切换，这为实际部署提供了更大的自由度。开发者可以根据具体应用需求，在模型的不同层设置不同的配置，实现精细化的性能调优。
从应用前景来看，NHA特别适合那些需要处理长序列信息的场景。在文档分析、长对话系统、代码生成、科学文献处理等领域，NHA的优势会特别明显。随着AI助手在日常工作中发挥越来越重要的作用，用户对处理长篇内容和维持长期对话记忆的需求也在不断增长，NHA为满足这些需求提供了技术基础。
研究团队也指出了一些有待进一步探索的方向。比如，可以研究如何让记忆槽的初始化更好地适应特定任务，或者如何在推理过程中动态调整记忆配置。另一个有趣的方向是将这种记忆机制与其他AI技术结合，比如在多模态模型中应用类似的设计理念。
说到底，NHA的成功展示了AI架构创新的巨大潜力。与其简单地增加模型规模或计算资源，通过更聪明的设计往往能获得更好的效果。这种以效率为导向的创新思路在AI技术日趋成熟的今天显得尤为重要，它不仅能够降低AI应用的门槛，也为构建更加智能和实用的AI系统铺平了道路。
对于普通用户而言，NHA这样的技术进步意味着未来的AI助手将能够更好地理解和记忆长时间的交互历史，同时响应速度更快、使用成本更低。当你与AI进行复杂的项目讨论、文档分析或创意写作时，你会发现它既能记住几小时前提到的细节，又能快速理解和回应你当前的需求。这种技术的普及将让AI真正成为我们工作和生活中的得力助手。
Q&A
Q1：NHA是什么？它解决了什么问题？
A：NHA是"原生混合注意力"的简称，由清华大学等机构研发的一种新型AI架构。它解决了现有AI模型在处理长文本时面临的两难问题：传统模型要么速度快但容易忘记重要信息，要么记忆完整但计算缓慢。NHA通过创建统一的"双重记忆系统"，让AI既能快速响应又能准确记忆。
Q2：NHA相比其他AI模型有什么优势？
A：NHA的主要优势包括：能够同时保持短期精确记忆和长期压缩记忆，根据问题需要自动调整对不同记忆的依赖程度，处理长文本时速度显著快于传统模型，在回忆密集型任务中表现优于其他混合架构。更重要的是，现有的大型语言模型可以通过少量微调转换为NHA架构。
Q3：普通用户什么时候能用上NHA技术？
A：目前NHA还处于研究阶段，但研究团队已经成功将其应用到Llama和Qwen等开源模型上，代码也已公开。考虑到这种技术能够显著提升AI处理长文本的效率，预计会逐步被AI公司采用。未来的AI助手、文档分析工具、长对话系统可能都会受益于这种技术，让用户享受到更快速、更智能的AI服务。
