密集模子的推理才气也能和 DeepSeek-R1 掰手腕了？快播xx电影

华为愚弄纯昇腾集群考试出的盘古 Ultra，在数学竞赛、编程等推理任务当中，和 R1 打得有来有回。

舛错是模子参数目独一 135B，通盘考试过程零英伟达含量，而且莫得出现亏损尖峰。

通过蜕变的模子架构和系统优化计谋，盘古 Ultra 领有优异的性能推崇和 52% 以上的算力愚弄率。

而且有网友暗示，考试过程中莫得出现亏损尖峰这一特征，似乎此前从未已毕。

135B 密集模子并列 DeepSeek-R1

算作一个参数目 135B 密集模子，盘古 Ultra 达到了同模范密集模子的最优推崇，致使不错与 DeepSeek-R1 等参数目更大的 MoE 模子竞争。

在预考试阶段模子的评测中，盘古 Ultra 在绝大部分英文基准任务和沿途汉文任务上获取了最好性能，优于 Llama 405B、DeepSeek-V3 等 baseline 模子。

尤其在 MMLU、TriviaQA、GSM8K 等具有挑战性的数据集上，盘古 Ultra 展现出了超卓的讲话厚实和推理才气。

经过教唆调优后，盘古 Ultra 的性能进一步提高，尤其在 AIME 2024、MATH-500 等数学推理任务和 LiveCodeBench 等编程竞赛题上达到了 SOTA 水平。

抽象来看，盘古 Ultra 杰出了包括 GPT-4o、Mistral-Large 2 等庞杂模子，与 DeepSeek-R1 等 MoE 模子竞争厉害。

同期，盘古 Ultra 在 Arena Hard、MMLU-pro 等涵盖通用讲话厚实和推理的评测中也推崇优异。

那么，为了已毕这么的成果，盘古 Ultra 采选了哪些舛错时候呢？

“三明治”层归一化架构

如前文所述，盘古 Ultra 是一款 135B 参数目的密集模子，使用了 94 层的采聚首构。

盘古 Ultra 采选了分组查询注重力（GQA）机制，包含 96 个查询头（query head）和 8 个键值头（key-value head）。

为了贬责考试超深汇注靠近的不踏实性和管制祸患等问题，盘古 Ultra 在模子架构上作念出了两个舛错蜕变 —— 深度缩放的 Sandwich-Norm 层归一化和 TinyInit 参数运行化计谋。

传统的 Transformer 时时使用 Pre-LN 层归一化，但在深度模子中，Pre-LN 容易导致每个子层输出模范的波动，激励考试不踏实。

盘古 Ultra 使用的 Sandwich-Norm 层归一化，则是在残差联结前对每个子层的输出作念归一化，并凭据汇注深度对运行化值进行缩放快播xx电影，从而灵验摒除了考试过程中的 loss 尖峰，使考试过程愈加平定。

用更容易厚实的话说，传统步骤仅在每个子层的输入进行归一化，但这种步骤针对输出也进行了归一化，变成了 Pre-Norm + 子层 + Post-Norm 的“三明治”结构。

然则，只是使用 Sandwich-Norm 还不及以彻底摒除深度模子考试中的不踏实性 —— 跟着汇注层数的加多，每一层的输出模范仍然可能出现积存性的漂移。

为此，盘古 Ultra 在 Sandwich-Norm 的基础上，进一步引入了深度缩放机制，对 Post-Norm 中的放缩参数 γ 进行了深度相干的运行化。

至于通盘模子的运行化，传统的运行化时时采选的 Xavier 运行化步骤仅商酌模子宽度，而盘古 Ultra 采选的 TinyInit 同期依据模子深度和宽度来缩放运行化权重的圭表差。

这种运行化时势有助于在前向传播和反向传播过程中，督察各层梯度的方差在一个合理的范围内，幸免了梯度消散或爆炸问题，使得考试过程愈加踏实，同期也加快了管制。

施行标明，TinyInit 在深度模子考试中获取了更好的管制速率和卑劣任务性能；同期针对 embedding 层，保抓权重的圭表差接近 1 也能提高考试踏实性。

另外，盘古团队也针对 Tokenizer 进行了优化，通过在通用中英文、代码、数学等不同范畴诀别进行词频统计，再归拢去重，最终得到了一个兼顾范畴掩盖和编码遵循的 153376 个 token 的均衡词表。

8192 张昇腾 NPU 考试集群

盘古 Ultra 的通盘考试经过主要分为三个阶段 —— 预考试、长高下文膨胀和教唆调优。

其中预考试又不错分为三个子阶段：

通用阶段：侧重建立讲话厚实和学问储备，使用了大宗中英文通用语料，掩盖网页、册本、百科等多个起原；

推理阶段：引入更多高质料的数学和代码数据，以增强模子的推理才气。同期还使用 instruction 数据来匡助模子学习推论任务；

退火阶段：匡助模子巩固学问和推理才气，并强化教唆解任才气。大宗使用问答对和东谈主类反应数据。

男同表情包

参谋者们采选了基于国法和模子的数据清洗步骤，并瞎想了 curriculum learning 计谋，让模子循序渐进地学习不同难度的样本。

预考试中使用了 AdamW 优化器，并动态移动超参数。

预考试后，模子在最长 128K 的长高下文数据上进一步考试，通过扩大 RoPE 的基频来已毕长序列建模，以增强处理长文档的才气。

终末的教唆调优阶则段使用监督微调（SFT）和强化学习（RL）来使模子更好地合乎卑劣任务，学会推论教唆并与东谈主类偏好对皆。

考试要津方面，盘古 Ultra 使用了一个由 8192 个昇腾 AI 处理器构成的大范畴筹算集群。

集群中每个节点包含 8 个 NPU，通过华为高速缓存一致性互联 HCCS 以全互联的拓扑结构联结，每个 NPU 配备 64GB 内存，节点间则通过 200Gbps 的 RoCE（RDMA over Converged Ethernet）汇注互联。

为了已毕盘古 Ultra 的高效考试，参谋团队还采选了一套系统的并行计谋和优化时候。

在并行计谋的给与上，盘古 Ultra 抽象商酌了模子的范畴、数据的特色以及硬件的拓扑，最终采选了数据并行、张量并行、序列并行和活水线并行等多种并行时势的组合：

128 路数据并行，将考试数据分片到不同开荒，保证了数据费解；

8 路张量并行，愚弄开荒里面高带宽切分层内张量，已毕高效通讯；

序列并行用于处理超长序列以镌汰显存压力；

8 段活水线并行，将不同层散布到不同开荒，变成高效的筹算活水线。

在并行计谋的基础上，盘古 Ultra 还从多个角度对考试系统进行了深度优化。

一方面，通过使用 ZeRO（Zero Redundancy Optimizer）散布式优化器，将模子景况分片到不同开荒，大幅镌汰了单个开荒的内存占用，在提高数据并行度的同期，确保了每个开荒的内存包袱在可给与范围内。

另一方面，参谋者们通过多样通讯和筹算优化时候，最小化了通讯支出，提高了筹算遵循：

通过算子会通（Kernel Fusion）将多个小算子归拢，减少了内存看望和 kernel 启动；

通过通讯筹算重复（Communication-Computation Overlapping）已毕通讯和筹算的深度交汇，荫藏通讯延伸；

MC^2（Merged Computation & Communication）和 BOA（Batch Optimization Accelerator）诀别对张量并行和表率化层的通讯进行了成心优化……

在算法、工程、数据各个层面的紧密优化下，盘古 Ultra 已毕了 52% 以上的算力愚弄率。

时候讲演：

https://github.com/pangu-tech/pangu-ultra/blob/main/pangu-ultra-report.pdf

本文来自微信公众号：量子位（ID：QbitAI）快播xx电影，作家：克雷西，原标题《英伟达含量为零！华为密集模子性能并列 DeepSeek-R1，纯昇腾集群考试》

告白声明：文内含有的对外跳转聚拢（包括不限于超聚拢、二维码、口令等面容），用于传递更多信息，从简甄选时辰，铁心仅供参考，IT之家总计著作均包含本声明。

]article_adlist--> 　　声明：新浪网独家稿件，未经授权不容转载。 -->