清华KEG联合智源 稀疏注意力让7B模型推理追平70B大模型

长期以来，大语言模型领域始终存在“参数为王”的固有认知：70B参数级大模型的推理能力普遍远超7B级小模型，但前者的部署算力需求是后者的10倍以上，难以在端侧、边缘等算力受限场景落地。近日，清华大学知识工程实验室（KEG）联合北京智源人工智能研究院公布的一项最新技术突破，有望打破这一行业共识。

据研究团队公开的技术报告显示，本次突破的核心是全新设计的层级动态稀疏注意力机制。不同于传统稠密注意力对所有输入token进行全量计算、或现有稀疏方案采用固定规则裁剪注意力连接的思路，新机制能够根据推理任务的语义关联度，动态筛选占比仅3%-5%的关键注意力路径进行计算，在完整保留核心推理逻辑链路的前提下，大幅削减无效计算开销。

公开测试数据显示，采用该稀疏注意力机制完成微调训练的7B参数开源基座模型，在MMLU通用知识测试集上得分达到68.9%，与同基座70B稠密模型69.1%的得分基本持平；在GSM8K小学数学推理测试集上准确率达到59.2%，小幅超过70B稠密模型58.7%的成绩。在代码生成、常识推理等其他测试维度，该7B模型的表现也达到70B稠密模型性能的95%以上。

能效表现方面，该方案在A100显卡上的推理吞吐量达到同性能70B稠密模型的8.7倍，单token推理能耗仅为后者的11.2%，整体能效比提升近8倍。研究团队透露，该稀疏注意力机制无需对模型进行大规模重训，仅需少量微调即可适配现有主流开源模型，目前相关技术已在悟道开源社区开放推理测试接口，后续将逐步开源完整代码。

业内分析认为，这一突破首次在主流权威基准测试中验证了“小参数模型+高效注意力机制”追平十倍级参数大模型的可行性，未来有望大幅降低大模型部署门槛，推动大语言模型在消费电子、工业边缘等场景的规模化落地。