英伟达推出Audex统一音频文本模型，30B参数保持文本推理能力

英伟达在6月发布论文，推出统一音频-文本大语言模型Audex（Nemotron-Labs-Audex-30B-A3B），总参数量30B，激活参数3B。该模型在融合音频与语音理解生成能力的同时，致力于避免多模态扩展后文本能力下滑的问题。

Audex以文本模型Nemotron-Cascade-2-30B-A3B为骨干，采用52层混合Mamba-Transformer结构，包含128个可路由专家，每次激活6个专家。

Audex将音频输入编码为嵌入向量，投影到文本嵌入空间，并将量化後的音频输出标记与文本标记统一处理。这种设计使模型在融入多模态信息时，底层的文本智能基本不受干扰。

在音频组件上，Audex使用AF-Whisper编码器处理16kHz输入，通过两层MLP适配器映射特征，输出词表从原始的131,072个标记扩展到205,312个。语音输出采用X-Codec2编解码器，速率50标记/秒，使用单层有限标量量化，码本大小65536；非语音音频则采用X-Codec，速率200标记/秒，使用4层展平残差向量量化。

在文本评测中，Audex的表现与骨干模型基本持平甚至略有提升：MMLU-Redux得分86.4（骨干86.3），IMO AnswerBench得分81.1（骨干79.3），但在MMLU-Pro和GPQA-Diamond上出现小幅下降，整体仍显示出较好的文本能力保持度。

来源：IT之家