小红书开源大模型适配华为昇腾 完成0 Day全量适配与性能优化工作

本文介绍小红书开源大模型dots3-note preview适配华为昇腾平台的成果，涵盖Atlas系列超节点部署及vLLM Ascend引擎优化，帮助开发者了解多模态大模型在国产算力上的性能提升。

小红书近日推出了参数量达280b的开源大模型dots3-note preview，展现出卓越的多模态理解能力。与此同时，华为昇腾平台已实现对该模型的高性能适配，通过深度优化确保了模型在国产算力底座上的高效运行。

一、dots3-note 模型核心特性

小红书最新发布的 dots3-note preview 模型在架构设计上展现了极高的效率平衡。该模型采用了先进的混合专家（MoE）架构，其总参数量高达 280b，这种大规模的参数规模确保了模型拥有极高的知识容量。在实际推理过程中，得益于 MoE 架构通过动态路由选择专家模块的特性，模型仅需激活 16b 的参数量。这种“大容量、低消耗”的设计，在维持高性能输出的同时，显著降低了计算资源的占用，为后续在国产算力底座上的高效部署提供了可能。

在多模态感知能力方面，dots3-note 实现了跨维度的能力整合。它不再局限于传统的文本处理，而是实现了对 文本、图像与语音 三大核心模态的深度理解。这种全模态的特性，使得模型能够更自然地处理现实世界中复杂的信息流，无论是理解图像中的视觉逻辑，还是捕捉语音中的语义细节，都展现出了极强的适应性，为构建更加智能的交互式应用提供了核心支撑。

二、昇腾平台硬件适配情况

为了充分释放 dots3-note 在多模态理解上的潜力，并确保其在国产算力底座上的高效运行，适配工作重点围绕着高性能硬件与高效推理引擎展开。在硬件层面，该模型已实现对华为昇腾系列核心产品的全面覆盖，不仅支持在 Atlas800A3 上进行灵活部署以应对常规推理任务，更针对超大规模计算场景，实现了对 Atlas900A3SuperPoD 超节点的适配，确保了模型在大规模并发下的稳定性。

在推理性能的保障上，dots3-note 深度依托 vLLM Ascend 开源推理引擎提供核心驱动力。通过将模型架构与昇腾底座的特性相结合，能够更高效地调度计算资源，从而在处理复杂的 MoE 动态路由时实现极高的吞吐表现。这种软硬件的深度协同，不仅为模型的快速落地提供了支持，也为后续开展全环节的性能优化工作预留了空间。

三、全环节深度优化技术

为了充分释放 dots3-note 的推理潜力，适配工作的重心已从基础的硬件适配转向了深度的算法与算子优化。

在多模态协同方面，dots3-note 的核心优势在于其对视觉编码器、音频特征提取模块与 LLM 主干网络的深度整合。我们针对昇腾平台的架构特性，对模态间的特征对齐与数据传递路径进行了深度优化，实现了不同模态特征在进入主干网络前的极速转换与融合。

针对模型采用的 MoE 架构，传统的并行策略在多卡环境下往往会带来不必要的冗余计算。我们通过对核心算子的重构，优化了专家路由与计算负载的分配，有效规避了多卡间的无效通信与冗余计算，从而大幅提升了 MoE 架构下的推理吞吐量。

此外，在推理效率的关键环节——解码阶段，我们集成了 MTP 投机解码技术。通过在生成过程中并行预测候选 Token，该技术能够显著压缩模型在高维空间中的计算次数，在确保生成质量的同时，实现了推理响应速度的显著提升。

相关标签：

相关标签