清华KEG联合智源 稀疏注意力让7B模型推理追平70B大模型
近日，清华大学KEG实验室联合智源研究院公布稀疏注意力机制最新成果，通过动态筛选关键计算路径，7B参数小模型在MMLU、GSM8K等基准测试中推理能力追平7...
标签
大语言模型
共 2 篇内容-
-
英伟达推出Audex统一音频文本模型，30B参数保持文本推理能力
英伟达发布Audex统一音频-文本大语言模型，总参数30B，激活3B。模型以Nemotron-Cascade-2骨干为基础，通过将音频编码嵌入文本空间并统一...
