MiniMax-M2.5 (W8A8)

minimax_m2 架构模型(MiniMaxM2ForCausalLM)——一个包含 256 个专家的 MoE(每个 token 使用 8 个专家,无共享专家),具有 62 层全注意力(GQA 48/8 个头,head_dim 128——纯全注意力模型,不是 hybrid-KV / 滑动窗口模型)和原生 MTP 头,以 W8A8(W8A8_DYNAMIC、QuaRot int8 attention + expert,不进行 KV 量化;权重约 230 GB,71 个分片,62 层)形式提供。它总计 230B,每个 token 激活约 10B。约 230 GB 的权重可容纳在单个 8 × 64 GB 节点上,但该模型已在 Ascend 910B3(64 GB/卡)上跨两个节点运行,共 16 张卡,作为单个聚合的 DP2 × TP=8 + EP16 服务完成验证——与 DeepSeek-V4-Flash 的 16 卡拓扑进行同等比较;在以预填充为主的基准测试中,DP2 大致使预填充吞吐量翻倍。该模型通过 Alauda AI Platform 的 InferNex 界面运行 vLLM-Ascend v0.23.0 release engine,两个基准场景均通过 MaaS gateway(API-key)入口以并发度扫描方式驱动(8 / 16 / 32)。

不同于 DeepSeek-V4-Flash (W8A8),MiniMax-M2.5 以不带加速附加组件的纯聚合模式提供服务——不使用 mooncake KV store,也不使用 speculative decoding。这是经过有意选择的生产配置:由于该模型速度很快(激活约 10B + 全注意力 + W8A8),实测两个附加组件都会造成性能下降(请参见 Deployment spec)。

模型标识

字段值
发布方MiniMax
架构minimax_m2(MiniMaxM2ForCausalLM)——包含 256 个专家的 MoE(每个 token 使用 8 个专家,无共享专家)+ 62 层全注意力(GQA 48/8,head_dim 128;非 hybrid-KV)+ 原生 MTP 头;总计 230B / 激活约 10B
量化W8A8(W8A8_DYNAMIC、QuaRot;int8 attention + expert,不进行 KV 量化;权重约 230 GB,71 个分片,62 层);MIT license
上下文 / 词汇表196,608(约 192k,max_position_embeddings,rope_theta 5e6)/ 200,064
模型源(W8A8)https://www.modelscope.cn/models/Eco-Tech/MiniMax-M2.5-w8a8-QuaRot
ModelCar(OCI Image Layout tar)http://<model-package-host>/packages/aml-models-oci/v0.1.0/MiniMax-M2.5-w8a8-QuaRot/MiniMax-M2.5-w8a8-QuaRot.oci.tar
NOTE

这些权重无法使用内置 MTP 头。 配置声明了 use_mtp: true / num_mtp_modules: 3,但 QuaRot 量化的 checkpoint 不包含 MTP 张量(包含 143,967 个张量的 state dict 在第 61 层结束),因此 --speculative-config method=mtp 无法启动。MiniMax 唯一可用的 speculative 路径 是 eagle3(一个独立的 draft model),而 eagle3 已实测不纳入该模型的生产 配置——请参见 Deployment spec。

NOTE

W8A8 ModelCar 以 OCI Image Layout tar 的形式分发在内部 package store 中,而不是公共 Docker Hub 镜像。请将上方链接中的 <model-package-host> 替换为 Alauda 为该环境提供的 package store 地址。基准测试本身使用的是暂存于每个节点的 node-local PV/PVC 上的权重;下方清单挂载的就是该路径。ModelCar 是重新打包后的相同权重, 用于跨环境分发——将其导入自有 registry 一次,然后重新指向 model.uri(请参见 Deploy 部分)。由于此 ModelCar 超过 200 GB,oci:// storageInitializer 拉取操作需要额外处理临时磁盘。

已验证的硬件 × 栈

平台引擎版本 / 配置状态
Ascend 910B3 64 GB × 16,2 个节点(1 个实例,DP2 × TP=8 + EP16)vLLM-Ascendv0.23.0-openeuler(vLLM 0.23.0,发布版本固定)✅ 闭环,2 种场景的并发扫描(8/16/32),每档 480 个请求,0 错误;普通聚合基线(无 speculative decode,无 mooncake);+ 实际 coding-agent 验证(OpenCode / Pi),全部通过 MaaS gateway
NOTE

v0.23.0-openeuler 发布引擎包含完整的 minimax_m2 栈(模型 + minimax_m2 tool-call / reasoning parsers),并且包含 vLLM #11505。该修复会将流式 tool-call 参数暂存至闭合的 </parameter>,因此不会将尾部标签片段拼接到命令参数中。之所以选择它而不是较早的 nightly-main-0709 snapshot,是因为它包含这项 parser 修复(经 3,123 次工具执行验证,尾部污染为 0);代价是相比 0709 有小幅 decode 回归——请参见 Benchmark results。

模型配置

参数值
Tensor parallelism(tensor-parallel-size)8
Data parallelism(data-parallel-size)2(每个节点 1 个 rank,跨节点)
Replicas(实例)1 个聚合服务(leader + worker = 16 张卡)
Expert parallelism(enable-expert-parallel)on(EP16)
max-model-len196608(agent 长上下文;基准场景 ≤ ~17.5k)
max-num-batched-tokens16384
max-num-seqs32
gpu-memory-utilization0.85(官方值——长上下文,刻意未设为最大值)
Quantizationascend(W8A8_DYNAMIC / QuaRot)
Speculative decoding无(QuaRot 权重中缺少内置 MTP;eagle3 经测试未采用——见下文)
Decode graphFULL_DECODE_ONLY(ITL ~34 ms,而 eager 为 ~300 ms)
Prefix caching已启用,本地(实际 agent trace 命中率约为 ~62.6%;agent window 中 Prompt-Token 命中率为 91.8–95.5%)
Tool calling / reasoning--tool-call-parser minimax_m2 + --enable-auto-tool-choice + --reasoning-parser minimax_m2
Notable envVLLM_ASCEND_ENABLE_FLASHCOMM1=1。不要设置 enable_fused_mc2——它是“A3-recommended, not applicable to A2”,而 910B3 属于 A2 类。

部署规格

以 agg 方式提供服务——单个 DP2 × TP=8 聚合服务,不使用 mooncake KV store,也不使用 speculative decoding。路由器保持为 random,且关闭 cache-indexer:单个聚合端点无需全局 KV 索引或感知 KV-cache 的路由(与 GLM-5.2 / Qwen3-32B 聚合范式一致)。真正能带来净收益且此配置保留的,是 FULL_DECODE_ONLY decode graph,以及引擎的本地前缀缓存。

组件agg
hermes-router (EPP)✅ 已启动(单个 leader 端点,random 无操作)
路由策略random
mooncake KV store—(经测试后排除;见下文)
Speculative decoding(eagle3 / MTP)—(经测试后排除;见下文)
cache-indexer / 感知 KV-cache 的路由—(单个聚合端点不需要)
Decode graph + 本地前缀缓存✅(此配置保留的净收益加速项)
NOTE

为何不使用 speculative decoding 和 KV store——经测试,两者在此模型上都会造成性能损失。 MiniMax-M2.5 速度很快(仅激活约 10B 参数 + full attention + W8A8),因此每个附加组件都会带来负面影响:

  • eagle3(speculative decoding)——基于两项独立证据排除。 ① 批量吞吐量净损失:场景 ① 在并发数为 32 时,使用 eagle3 解码 377 tok/s,而基线为 631 tok/s(投机 token 越多,性能越差)。② 真实的 27k-prefill agent 请求返回 HTTP 500(引擎仍在运行,但此类请求全部失败),而基线处理相同请求时错误数为 0。其机制是:投机解码以计算量换取延迟——仅在解码受内存带宽限制(单流)时才有净收益;计算资源在批量场景中饱和后则会造成净损失。W8A8 基础模型与全精度 eagle 草稿模型也不匹配,pos-0 接受率仅约 44%(每个草稿接受 0.56 个 token)。内置 MTP head 无法使用(量化权重中没有 MTP 张量)。
  • mooncake KV store——得不偿失。 即使 store 已完全预热(合并前缀命中率约 91%),仍然会造成净损失:场景 ② 在并发数为 16 / 32 时,吞吐量分别下降 14% / 13%,且所有情况下 TTFT 都更差。MiniMax 的 prefill 速度非常快,通过网络重新获取 KV 的耗时 ≥ 在本地重新计算——这与 DeepSeek 正好相反,后者的 prefill 较慢,因此 store 能带来明显收益。在真实 agent trace 中,本地前缀缓存的覆盖率已经达到 62.6%,store 仅额外增加约 3.6%。

部署

自包含的 InferNex 清单(将引擎内联在 LLMInferenceService leader + worker 模板 + hermes-router 预设中,跨两台节点采用 DP2 × TP=8,纯 agg 基线):

规格文件
agg, DP2 × TP=8minimax-m2.5-w8a8-agg-llmisvc.yaml
base=https://raw.githubusercontent.com/alauda/aml-docs/master/docs/en/plan/validated_models/ascend/assets/minimax-m2.5-w8a8

# 1. Stage the ~230 GB weights on a node-local directory on BOTH nodes (byte-identical),
#    then edit the manifest: set the namespace, pin the two hostPath PVs to your node
#    hostnames (<node-0> / <node-1>) and weights path, and set the image tag (match your
#    CANN / host driver). Then apply — the engine mounts the on-node weights at /mnt/models
#    (the storageInitializer is off, so there is no 230 GB pull).
kubectl apply -f $base/minimax-m2.5-w8a8-agg-llmisvc.yaml

#    Cross-environment alternative — import the OCI ModelCar tar into your own registry
#    once (skopeo does the multi-arch amd64+arm64 push in one go), then set the manifest
#    model.uri to oci://<your-registry>/modelcar-minimax-m2.5-w8a8-quarot:v0.1.0:
#      curl -sO http://<model-package-host>/packages/aml-models-oci/v0.1.0/MiniMax-M2.5-w8a8-QuaRot/MiniMax-M2.5-w8a8-QuaRot.oci.tar
#      skopeo copy --all \
#        oci-archive:MiniMax-M2.5-w8a8-QuaRot.oci.tar:v0.1.0 \
#        docker://<your-registry>/modelcar-minimax-m2.5-w8a8-quarot:v0.1.0
#    (This ModelCar is >200 GB — keep storageInitializer.enabled:false and add an init
#    container that extracts the pulled layout to tmpfs.)

# Internal KServe ingress (no auth):
curl -s http://<gateway>/<namespace>/minimax-m25-w8a8-agg/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"minimax-m2.5-w8a8","messages":[{"role":"user","content":"hello"}]}'

# Product MaaS gateway (OpenAI-compatible, API-key auth + token rate limiting):
curl -s http://<maas-gateway>/v1/chat/completions \
  -H "Authorization: Bearer $MAAS_API_KEY" \
  -H 'Content-Type: application/json' \
  -d '{"model":"minimax-m2.5-w8a8","messages":[{"role":"user","content":"hello"}]}'

基准测试结果

闭环 aiperf 0.7.0,DP2 × TP=8(16 × 910B3 64 GB),通过产品 MaaS gateway 在生产环境 v0.23.0-openeuler 引擎上运行。并发度测试为 8 / 16 / 32,每档 480 个请求(所有档位均为 0 错误 / 0 不匹配)。TTFT / E2E 的单位为秒, ITL 的单位为毫秒;decode = 仅输出 tok/s(实测),TPS = 总 token/s(输入 + 输出, 计算值;以 prefill 为主)。输出长度固定为 128 个 token。

场景 ① — 固定长度 system prompt 复用(ISL ~8k / OSL 128)

并发数TTFT 平均值 (s)ITL 平均值 (ms)E2E 平均值 (s)Decode (tok/s)TPS (输入+输出)
81.1733.55.418912,004
161.3536.25.934421,967
321.4445.67.256436,012

场景 ② — 多轮对话,长上下文(ISL ~17.5k / OSL 128)

并发数TTFT 平均值 (s)ITL 平均值 (ms)E2E 平均值 (s)Decode (tok/s)TPS (输入+输出)
82.9544.08.512017,001
163.8156.711.018626,225
325.4287.916.624734,906
NOTE

引擎选择——v0.23.0 与较早的 nightly-main-0709 对比。 在相同 硬件 / 配置 / 负载下重新测试,v0.23.0 相比 0709 解码性能略有回退 (解码吞吐量 −3…11 %,ITL +5…18 %,且随并发度升高而扩大;例如场景 ① 并发数 32 时,解码速度从 631 降至 564 tok/s),而 TTFT(prefill)持平或有所改善。我们接受这一回退, 以换取固定于发布版本(不会漂移)的标签、统一的 minimax_m2 解析器,以及 #11505 流式工具调用修复。节点上保留了 0709 镜像,作为对解码吞吐量敏感的交付场景的回退选项。

配置决策——eagle3 和 mooncake 均造成性能损失(在基线上实测)

配置(场景 · 并发数)基线eagle3mooncake store
S① 并发数 32 — 解码 (tok/s)631377 (1-tok) / 300 (3-tok)—
S① 并发数 32 — ITL (ms)39.575.7 / 97.7—
S② 并发数 16 — TPS (输入+输出)27,792—23,902 (−14 %)
S② 并发数 32 — TPS (输入+输出)37,458—32,421 (−13 %)
真实 27k-prefill 智能体请求0 错误HTTP 500—

→ 纯 agg 基线在所有指标上均胜出;这两个加速层在这个高速模型上都适得其反。(eagle3 / mooncake 的 A/B 测试是在较早的 0709 基线上进行的,早于 v0.23.0 复测;在两种引擎上,结论均成立。)

NOTE

如何解读这些数据。 每个档位均完成了 480/480 个请求,错误数和输出不匹配数均为零。随着并发度上升,系统吞吐量(decode / TPS)提升(低于线性增长并趋于饱和),同时尾延迟(TTFT / ITL / E2E)也会上升——这是更多在途请求带来的排队开销。TPS 表示总 token(输入 + 输出)吞吐量,以 prefill 为主(ISL 8k / 17.5k,OSL 128);仅输出的解码速率见单独的“Decode”列。

这些数据不能直接与本指南中的其他模型进行比较:这是并发度测试(而非 Qwen 模型采用的固定并发数 4 的测试),使用的是 910B3 64 GB 卡,拓扑为 16 卡 DP2 × TP=8。应将其视为这一特定大型 MoE 部署的运行范围,而非跨模型排名。

真实编码智能体验证

除了合成的 aiperf 扫描之外,MiniMax-M2.5 还通过 MaaS 网关作为真实编码智能体运行。Envoy AI Gateway v0.6.0 会通过 OpenAI→OpenAI 原样传递 vLLM Chat Completions 流,因此 minimax_m2 解析器的流式 reasoning_content 和结构化工具调用都能完整抵达客户端。两个智能体(OpenCode 1.17.18 和 Pi 0.80.6)以并发度 1 / 8 / 32 运行了同一组固定的 14 项 Terminal-Bench 任务(分别运行 14 / 14 / 42 次),并由客观验证器进行评分。

智能体通过数(并发数 1 / 8 / 32)峰值正确任务吞吐量
OpenCode 1.17.186 / 14 · 4 / 14 · 14 / 4224.65 个任务/小时
Pi 0.80.67 / 14 · 8 / 14 · 18 / 4234.98 个任务/小时
  • 旧版 </parameter> 命令尾部污染问题已修复: 在 3,123 次真实工具执行中,没有任何执行参数包含闭合标签片段(这也是引擎固定使用 v0.23.0 / #11505 的原因)。
  • 并发数 32 时链路速度快且未达到饱和: 等待请求数为 0,KV-cache 峰值为 14.6%,16 卡 AICore 平均值/p95 为 17.2% / 34%,vLLM 无错误 / 中止 / 抢占——因此 32 是经过验证的下限,而不是容量上限。
  • 复杂链路上仍存在解析器风险: 在 10 / 70 次试验中,OpenCode 将原始工具 XML 错误解析为文本/推理;Pi 在 2 / 70 次试验中合并了相邻的工具边界。因此,结论是可用于 POC,但尚不能宣称达到生产稳定性,并且在此模型上 Pi 是两个智能体中表现更强的一个。