英伟达与d-Matrix合作，GPU+ASIC混合推理提速10倍

据外媒报道，AI芯片巨头英伟达正与ASIC初创企业d-Matrix合作，打造一个结合双方硬件的混合算力基础设施，用于支持AI模型推理。该混合方案由Neocloud企业Parasail实现，通过将英伟达Hopper/Blackwell GPU与d-Matrix Corsair ASIC相结合，实现了10倍的Token生成速率提升。

d-Matrix的Corsair芯片采用D-IMC（数字存内计算）架构，基于台积电N6制程，将计算单元和足量SRAM集成在同一芯片上，降低数据传输开销，并通过片外LPDDR5进一步扩展内存容量。在Parasail的异构推理方案中，英伟达GPU负责前端计算密集型预填充任务，而拥有大容量SRAM的d-Matrix Corsair则处理后端延迟敏感型解码任务。

d-Matrix创始人兼首席执行官Sid Sheth表示：“Parasail正在印证我们从一开始就坚信的观点：推理的未来是异构的。GPU和专用推理加速器并非竞争对手，而是相辅相成。通过将Corsair与其NVIDIA产品线结合使用，Parasail正在采用一种异构推理方法，旨在优化工作负载的每个阶段。”

来源：IT之家