MiniMax-M2.5 (W8A8)
minimax_m2 架构模型(MiniMaxM2ForCausalLM)——一个包含 256 个专家的 MoE(每个 token 使用 8 个专家,无共享专家),具有 62 层全注意力(GQA 48/8 个头,head_dim 128——纯全注意力模型,不是 hybrid-KV / 滑动窗口模型)和原生 MTP 头,以 W8A8(W8A8_DYNAMIC、QuaRot int8 attention + expert,不进行 KV 量化;权重约 230 GB,71 个分片,62 层)形式提供。它总计 230B,每个 token 激活约 10B。约 230 GB 的权重可容纳在单个 8 × 64 GB 节点上,但该模型已在 Ascend 910B3(64 GB/卡)上跨两个节点运行,共 16 张卡,作为单个聚合的 DP2 × TP=8 + EP16 服务完成验证——与 DeepSeek-V4-Flash 的 16 卡拓扑进行同等比较;在以预填充为主的基准测试中,DP2 大致使预填充吞吐量翻倍。该模型通过 Alauda AI Platform 的 InferNex 界面运行 vLLM-Ascend v0.23.0 release engine,两个基准场景均通过 MaaS gateway(API-key)入口以并发度扫描方式驱动(8 / 16 / 32)。
不同于 DeepSeek-V4-Flash (W8A8),MiniMax-M2.5 以不带加速附加组件的纯聚合模式提供服务——不使用 mooncake KV store,也不使用 speculative decoding。这是经过有意选择的生产配置:由于该模型速度很快(激活约 10B + 全注意力 + W8A8),实测两个附加组件都会造成性能下降(请参见 Deployment spec)。
模型标识
这些权重无法使用内置 MTP 头。 配置声明了
use_mtp: true / num_mtp_modules: 3,但 QuaRot 量化的 checkpoint 不包含
MTP 张量(包含 143,967 个张量的 state dict 在第 61 层结束),因此
--speculative-config method=mtp 无法启动。MiniMax 唯一可用的 speculative 路径
是 eagle3(一个独立的 draft model),而 eagle3 已实测不纳入该模型的生产
配置——请参见 Deployment spec。
W8A8 ModelCar 以 OCI Image Layout tar 的形式分发在内部 package
store 中,而不是公共 Docker Hub 镜像。请将上方链接中的 <model-package-host> 替换为
Alauda 为该环境提供的 package store 地址。基准测试本身使用的是暂存于每个节点的
node-local PV/PVC 上的权重;下方清单挂载的就是该路径。ModelCar 是重新打包后的相同权重,
用于跨环境分发——将其导入自有 registry 一次,然后重新指向 model.uri(请参见
Deploy 部分)。由于此 ModelCar 超过 200 GB,oci:// storageInitializer
拉取操作需要额外处理临时磁盘。
已验证的硬件 × 栈
v0.23.0-openeuler 发布引擎包含完整的 minimax_m2 栈(模型 +
minimax_m2 tool-call / reasoning parsers),并且包含 vLLM #11505。该修复会将流式
tool-call 参数暂存至闭合的 </parameter>,因此不会将尾部标签片段拼接到命令参数中。之所以选择它而不是较早的 nightly-main-0709
snapshot,是因为它包含这项 parser 修复(经 3,123 次工具执行验证,尾部污染为 0);代价是相比 0709 有小幅
decode 回归——请参见
Benchmark results。
模型配置
部署规格
以 agg 方式提供服务——单个 DP2 × TP=8 聚合服务,不使用 mooncake KV store,也不使用 speculative decoding。路由器保持为 random,且关闭 cache-indexer:单个聚合端点无需全局 KV 索引或感知 KV-cache 的路由(与 GLM-5.2 / Qwen3-32B 聚合范式一致)。真正能带来净收益且此配置保留的,是 FULL_DECODE_ONLY decode graph,以及引擎的本地前缀缓存。
为何不使用 speculative decoding 和 KV store——经测试,两者在此模型上都会造成性能损失。 MiniMax-M2.5 速度很快(仅激活约 10B 参数 + full attention + W8A8),因此每个附加组件都会带来负面影响:
- eagle3(speculative decoding)——基于两项独立证据排除。 ① 批量吞吐量净损失:场景 ① 在并发数为 32 时,使用 eagle3 解码 377 tok/s,而基线为 631 tok/s(投机 token 越多,性能越差)。② 真实的 27k-prefill agent 请求返回 HTTP 500(引擎仍在运行,但此类请求全部失败),而基线处理相同请求时错误数为 0。其机制是:投机解码以计算量换取延迟——仅在解码受内存带宽限制(单流)时才有净收益;计算资源在批量场景中饱和后则会造成净损失。W8A8 基础模型与全精度 eagle 草稿模型也不匹配,pos-0 接受率仅约 44%(每个草稿接受 0.56 个 token)。内置 MTP head 无法使用(量化权重中没有 MTP 张量)。
- mooncake KV store——得不偿失。 即使 store 已完全预热(合并前缀命中率约 91%),仍然会造成净损失:场景 ② 在并发数为 16 / 32 时,吞吐量分别下降 14% / 13%,且所有情况下 TTFT 都更差。MiniMax 的 prefill 速度非常快,通过网络重新获取 KV 的耗时 ≥ 在本地重新计算——这与 DeepSeek 正好相反,后者的 prefill 较慢,因此 store 能带来明显收益。在真实 agent trace 中,本地前缀缓存的覆盖率已经达到 62.6%,store 仅额外增加约 3.6%。
部署
自包含的 InferNex 清单(将引擎内联在 LLMInferenceService leader +
worker 模板 + hermes-router 预设中,跨两台节点采用 DP2 × TP=8,纯 agg
基线):
基准测试结果
闭环 aiperf 0.7.0,DP2 × TP=8(16 × 910B3 64 GB),通过产品
MaaS gateway 在生产环境 v0.23.0-openeuler 引擎上运行。并发度测试为
8 / 16 / 32,每档 480 个请求(所有档位均为 0 错误 / 0 不匹配)。TTFT / E2E 的单位为秒,
ITL 的单位为毫秒;decode = 仅输出 tok/s(实测),TPS = 总 token/s(输入 + 输出,
计算值;以 prefill 为主)。输出长度固定为 128 个 token。
场景 ① — 固定长度 system prompt 复用(ISL ~8k / OSL 128)
场景 ② — 多轮对话,长上下文(ISL ~17.5k / OSL 128)
引擎选择——v0.23.0 与较早的 nightly-main-0709 对比。 在相同
硬件 / 配置 / 负载下重新测试,v0.23.0 相比 0709 解码性能略有回退
(解码吞吐量 −3…11 %,ITL +5…18 %,且随并发度升高而扩大;例如场景
① 并发数 32 时,解码速度从 631 降至 564 tok/s),而 TTFT(prefill)持平或有所改善。我们接受这一回退,
以换取固定于发布版本(不会漂移)的标签、统一的 minimax_m2 解析器,以及 #11505 流式工具调用修复。节点上保留了 0709 镜像,作为对解码吞吐量敏感的交付场景的回退选项。
配置决策——eagle3 和 mooncake 均造成性能损失(在基线上实测)
→ 纯 agg 基线在所有指标上均胜出;这两个加速层在这个高速模型上都适得其反。(eagle3 / mooncake 的 A/B 测试是在较早的 0709 基线上进行的,早于 v0.23.0 复测;在两种引擎上,结论均成立。)
如何解读这些数据。 每个档位均完成了 480/480 个请求,错误数和输出不匹配数均为零。随着并发度上升,系统吞吐量(decode / TPS)提升(低于线性增长并趋于饱和),同时尾延迟(TTFT / ITL / E2E)也会上升——这是更多在途请求带来的排队开销。TPS 表示总 token(输入 + 输出)吞吐量,以 prefill 为主(ISL 8k / 17.5k,OSL 128);仅输出的解码速率见单独的“Decode”列。
这些数据不能直接与本指南中的其他模型进行比较:这是并发度测试(而非 Qwen 模型采用的固定并发数 4 的测试),使用的是 910B3 64 GB 卡,拓扑为 16 卡 DP2 × TP=8。应将其视为这一特定大型 MoE 部署的运行范围,而非跨模型排名。
真实编码智能体验证
除了合成的 aiperf 扫描之外,MiniMax-M2.5 还通过 MaaS 网关作为真实编码智能体运行。Envoy AI Gateway v0.6.0 会通过 OpenAI→OpenAI 原样传递 vLLM Chat Completions 流,因此 minimax_m2 解析器的流式 reasoning_content 和结构化工具调用都能完整抵达客户端。两个智能体(OpenCode 1.17.18 和 Pi 0.80.6)以并发度 1 / 8 / 32 运行了同一组固定的 14 项 Terminal-Bench 任务(分别运行 14 / 14 / 42 次),并由客观验证器进行评分。
- 旧版
</parameter>命令尾部污染问题已修复: 在 3,123 次真实工具执行中,没有任何执行参数包含闭合标签片段(这也是引擎固定使用v0.23.0/ #11505 的原因)。 - 并发数 32 时链路速度快且未达到饱和: 等待请求数为 0,KV-cache 峰值为 14.6%,16 卡 AICore 平均值/p95 为 17.2% / 34%,vLLM 无错误 / 中止 / 抢占——因此 32 是经过验证的下限,而不是容量上限。
- 复杂链路上仍存在解析器风险: 在 10 / 70 次试验中,OpenCode 将原始工具 XML 错误解析为文本/推理;Pi 在 2 / 70 次试验中合并了相邻的工具边界。因此,结论是可用于 POC,但尚不能宣称达到生产稳定性,并且在此模型上 Pi 是两个智能体中表现更强的一个。