256 并发实测
DeepSeek-V4.1-Flash
单节点同时服务 256 路并发：系统 Decode 峰值 14,091.54 tok/s，人均 55 tok/s，Prefill 38,200.11 tok/s。
实测性能DeepAgent IE
14,091.54系统 Decode 吞吐峰值 · DeepSeek-V4.1-Flash · 256 并发 · 8×H200 SXM
55每用户速度（tok/s）· 256 并发实测 · H200
9.4×对比 InferenceX 公开基线 · 同一台 8×H200 SXM
1M每用户上下文 · V4 Pro / Kimi K3
H200 SXM · 实测
H200 集群 · 存量硬件复用
不支持 FP4 的 H / A 系列存量集群同样可以适配最新模型——已在同一台 8× H200 SXM 服务器上实测 GLM-5.3、GLM-5.3-Flash 与 DeepSeek-V4.1-Flash，附完整并发扩展曲线（系统级吞吐，tok/s）。
128 并发实测
GLM-5.3-Flash
单节点同时服务 128 路并发：系统 Decode 5,838.77 tok/s，人均 45.6 tok/s，Prefill 21,730.70 tok/s。
128 并发实测
GLM-5.3
单节点同时服务 128 路并发：系统 Decode 3,785.19 tok/s，人均 29.6 tok/s，Prefill 全档稳定在约 5,875 tok/s。
GLM 系列 · 同机实测
GLM-5.3 / GLM-5.3-Flash 并发扩展
两款 GLM 模型在同一台 8× H200 SXM 上的并发扩展实测（系统级吞吐，tok/s）。
| Concurrency | GLM-5.3 Prefill | GLM-5.3 Decode | GLM-5.3-Flash Prefill | GLM-5.3-Flash Decode |
|---|---|---|---|---|
| 1 | 5,506.49 | 252.90 | — | 225.85 |
| 2 | 5,553.50 | 375.57 | — | 282.33 |
| 4 | 5,578.19 | 665.87 | — | 523.84 |
| 8 | 5,581.76 | 1,043.85 | — | 859.66 |
| 16 | 5,605.31 | 1,662.93 | — | 1,363.30 |
| 32 | 5,817.33 | 2,452.36 | — | 2,377.24 |
| 64 | 5,858.66 | 3,193.16 | 18,589.19 | 3,887.37 |
| 128 | 5,875.43 | 3,785.19 | 21,730.70 | 5,838.77 |
以上数值均为系统级吞吐，单位 tok/s；“—”表示未测量的并发档位。测试硬件：8× H200 SXM。以上数据来自特定测试环境，仅供采购参考，具体以正式合同与 POC 实测结果为准。
DeepSeek-V4.1-Flash · 对比公开基线
256 并发稳定服务，公开基线未发布
同一台 8× H200 SXM：DeepSeek-V4.1-Flash 在 DeepAgent IE 上以 256 并发稳定服务，每用户 55 tok/s。InferenceX 在 H200 上的全部公开数据（含所有框架）最大并发仅 128——其中 vLLM 64 并发达峰、128 并发已过载。
| 同一模型 · 同一硬件 | DeepAgent IE 实测 | InferenceX 公开基线 | IE 优势 |
|---|---|---|---|
| 单用户 Decode（并发 = 1） | 450.27 | 153.66 持续 · 320.51 交互 P90 | 1.4×–2.9× |
| 峰值 Decode（各自最优并发档实测） | 14,091.54 @ 256 并发 | 1,496.62 @ 64 并发 | 9.4× |
| 可稳定服务的并发上限 | 256 用户实测 · 55 tok/s 每用户 | 64 用户达峰 · 128 并发过载（Decode 401.73 · TTFT 272s） | 4× |
对比口径：双方均为 DeepSeek-V4.1-Flash · 同一台 8× H200 SXM · 系统级 Decode（tok/s）。DeepAgent IE 为自测数据，vLLM 为 InferenceX（SemiAnalysis）2026-09-21 公开实测（FP4 · MTP · TP=8）。单并发公开成绩的持续吞吐与交互速度（P90，1/TPOT）为同一次测试的两项指标（153.66 与 320.51 tok/s），IE 的 450.27 tok/s 在两种口径下均领先；双方并发档位与负载口径存在差异。以上数据来自特定测试环境，仅供采购参考，具体以正式合同与 POC 实测结果为准。
实测数据
原生 FP4 · 增量硬件加速
新购 Blackwell（B 系列）/ DGX Spark 走原生 FP4 交付档，为最新模型提供开箱即用的最高吞吐。
Native FP4 inference
DeepSeek V4 Flash 0731
From a compact two-node team to a 64-user production service
A single DGX Spark is not a delivery profile for V4 Flash 0731. The service catalog starts at two 128 GB nodes, then scales to four nodes with IB and to a full PRO 6000 node.
| Deployment profile | Online users | Prefill / user | Decode / user | System Prefill | System Decode | Context / user | Cost index |
|---|---|---|---|---|---|---|---|
| 2× DGX SparkMinimum 1M-context delivery | 4–8 @ 1M | 217.38–434.75 | 16.13–32.27 | 1,739 | 129.06 | 1M | 0.018× |
| 4× DGX Spark + IBRecommended small-team profile | 8–12 @ 1M | 194.0–291.0 | 17.40–26.09 | 2,328 | 208.74 | 1M | 0.040× |
| 2× RTX PRO 60008-user · approx. 400K context profile | 8 | 1,606.13 | 72.59 | 12,849 | 580.7 | ≈400K | 0.45× |
| 4× RTX PRO 6000Balanced production profile | 8 @ 1M | 1,669.0 | 100.56 | 13,352 | 804.5 | 1M | 0.45× |
| 4× RTX PRO 6000High-concurrency profile | 64 @ 1M | 208.63 | 39.70 | 13,352 | 2,540.5 | 1M | 0.45× |
| 8× RTX PRO 6000Full-node · 1M long-context profile | 64 @ 1M | 421.9 | 80.34 | 27,001.6 | 5,141.9 | 1M | 0.45× |
| 4× RTX PRO 6000DIE measured · 1M profile | 8 @ 1M | 1,380.3 | 83.16 | 11,042.4 | 665.3 | 1M | 0.30× |
| 8× RTX PRO 6000DIE measured · 1M long-context profile | 64 @ 1M | 355.7 | 67.73 | 22,764.8 | 4,334.7 | 1M | 0.30× |
单位均为 tok/s；每用户速度按系统总吞吐除以所列在线用户数计算。上下文表示为每位用户预留的容量，不代表每次吞吐测试都将提示词填满至该长度。2× PRO 6000 的 8 用户档是唯一低于 1M 的配置，约为每用户 400K；其余档位均按每用户完整 1M 容量规划。
Hardware cost and delivery capacity
Put every deployment on one cost scale
One eight-GPU H200 SXM server is the 1.00× hardware cost baseline. Every card names its model and active-user profile: H200 uses DeepSeek-V4.1-Flash; Blackwell and Spark use V4 Flash 0731.
H200 SXM
1.00×- System
- 1× 8-GPU server
- Prefill / Decode
- 38,200.11 / 14,091.54 tok/s
- Hardware cost index
- 1.00×
RTX PRO 6000
0.45×- System
- 1× 8-GPU server
- Prefill / Decode
- 27,001.6 / 5,141.9 tok/s
- Hardware cost index
- 0.45×
RTX PRO 6000D
0.30×- System
- 1× 8-GPU server
- Prefill / Decode
- 22,764.8 / 4,334.7 tok/s
- Hardware cost index
- 0.30×
DGX Spark
0.018×- System
- 1× two-node cluster
- Prefill / Decode
- 1,739 / 129.06 tok/s
- Hardware cost index
- 0.018×
Performance for every user
Give every user enough performance
DeepSeek V4 Flash 0731, DeepSeek V4 Pro 0813, and Kimi K3 are shown as complete service profiles with per-user speed, total throughput, online capacity, context, and system cost.
Native FP4 · production
64DeepSeek V4 Flash 0731
同时在线用户 · 1M 长上下文生产档
- Hardware
- 8× RTX PRO 6000
- Total VRAM
- 768 GB
- Online users
- 64 @ 1M
- Prefill / user
- 421.9
- Decode / user
- 80.34
- System Prefill
- 27,001.6
- System Decode
- 5,141.9
- Hardware cost index
- 0.45×
Native FP4 · IE measured
64DeepSeek V4 Flash 0731
同时在线用户 · 1M 长上下文高性价比档
- Hardware
- 8× RTX PRO 6000D
- Total VRAM
- 672 GB
- Online users
- 64 @ 1M
- Prefill / user
- 355.7
- Decode / user
- 67.73
- System Prefill
- 22,764.8
- System Decode
- 4,334.7
- Hardware cost index
- 0.30×
Native FP4 · flagship
80DeepSeek V4 Pro 0813
同时在线用户 · 1M 上下文 · 640GB KV 池
- Hardware
- 16× RTX PRO 6000
- Total VRAM
- 1,536 GB
- Online users
- 80 @ 1M
- Prefill / user
- 34.20
- Decode / user
- 4.35
- System Prefill
- 2,736
- System Decode
- 348.0
- Hardware cost index
- 0.90×
Native FP4 · IE measured
64DeepSeek V4 Pro 0813
同时在线用户 · 1M 上下文 · 512GB KV 池
- Hardware
- 16× RTX PRO 6000D
- Total VRAM
- 1,344 GB
- Online users
- 64 @ 1M
- Prefill / user
- 29.45
- Decode / user
- 3.75
- System Prefill
- 1,884.8
- System Decode
- 240.0
- Hardware cost index
- 0.60×
Native FP4 · 32 / 48 GPU
2 / 3Kimi K3
同时在线用户 · 每用户完整 1M 上下文
- Hardware
- 32 / 48× RTX PRO 6000
- Total VRAM
- 3,072 / 4,608 GB
- Online users
- 2 / 3 @ 1M
- Prefill / user
- 840 / 826
- Decode / user
- 123.95 / 120.90
- System Prefill
- 1,680 / 2,478
- System Decode
- 247.9 / 362.7
- Hardware cost index
- 1.80× / 2.70×
Native FP4 · IE measured
2 / 3Kimi K3
同时在线用户 · 每用户完整 1M 上下文
- Hardware
- 32 / 48× RTX PRO 6000D
- Total VRAM
- 2,688 / 4,032 GB
- Online users
- 2 / 3 @ 1M
- Prefill / user
- 682.92 / 731.84
- Decode / user
- 100.77 / 107.12
- System Prefill
- 1,365.8 / 2,195.5
- System Decode
- 201.5 / 321.4
- Hardware cost index
- 1.20× / 1.80×
1M 表示每位用户可使用的上下文容量，不代表每次测速请求都使用了完整 1M-token 提示词。KV 显存开销因模型而异，V4 Flash、V4 Pro 与 Kimi K3 分别规划。
Context capacity
Keep the whole job in one private session
Long context keeps code, documents, tool results, and working history together. The service profile tells you how many complete sessions fit on the node.
1M users · 8× PRO 6000 / 6000D
The eight-GPU PRO 6000 node has 768 GB of physical VRAM; the 6000D node has 672 GB. Resident weights, runtime workspace, and the model-specific KV pool are budgeted independently so both delivery profiles reserve 1M context capacity for 64 users. The compact catalog starts at 2× DGX Spark with 4–8 users at 1M capacity.
1M users · 16× PRO 6000
After weights and runtime allocation, the profile keeps about 640 GB as pooled context memory: 80 users × 8 GB each at 1M. The 6000D profile serves 64 users at the same 1M context.
1M users · 32 / 48 GPUs
The 32-GPU profile serves two complete 1M users; the 48-GPU profile raises full-context capacity to three.
DeepAgent IE
Turn private hardware into usable AI capacity
Tell us the model, number of users, and context requirement. We will return a deployment profile with a clear performance and hardware cost index.