1 模型推理算力需求计算

1.1 推理 timeline

推理过程中，主要是两条时间线：CPU timeline，GPU timeline：

• CPU timeline：
  • tokenize，将 text 分割成一个个 token
  • detokenize and networking，将模型生成的 vector 转成文本
• GPU timeline：
  • kv cache，kv cache 只写入一次，一次性处理全部输入 token，并行计算，计算密集
  • prefill：计算用户输入所有词，并生成对应的键值(KV)缓存，过程计算压力大
  • decoding，每个 decoding 都会生成一个字符，过程访存压力大

1.2 推理显存占用

推理阶段，没有优化器状态和梯度信息，也不需要保存中间激活。因此推理阶段占用的显存要远远远小于训练阶段。模型推理阶段，占用显存的主要是模型权重和 kv cache。

$$显存占用=模型权重+kvcache$$

$$\begin{gathered} 模型权重=param{s}_{n}um\times size\_of\_precision \\ kv\_cache=batch\_size\times seq\_len\times 2\times block\_num\times hidden\_size\times size\_of\_precision \end{gathered}$$

• TTFT (Time to First Token) ：首 token 延迟的时间包括请求排队时间、预填充时间和网络延迟。Prompt 越长，TTFT 越大。因为 Attention 需要整个输入序列来计算和创建 KV cache。

$$TTFT=\frac{param{s}_{n}um\times batch\_size\times input\_seq\_len\times size\_of\_precision}{GPUflops}$$

• E2EL (End-to-End Request Latency)：用户发出请求并得到完整回复的延迟。

$$E2EL=TTFT+generation\_time$$

• ITL(Inter-token Latency)：非首 token 时延，也叫 TPOT (Time Per Output Token)

$$ITL=权重读取时延+kv\_cache读取时延+卡间通信时延$$

$$\begin{gathered} 权重读取时延=\frac{模型权重大小}{显存带宽\times 带宽利用率} \\ kv\_cache读取时延=\frac{kv\_cache大小}{显存带宽\times 带宽利用率} \\ 卡间通信时延=\frac{hidden\_size\times batch\_size\times size\_of\_precision\times 2\times block\_num}{显存带宽\times 带宽利用率} \end{gathered}$$

–>

$$ITL=\frac{E2EL-TTFT}{total\_output\_tokens-1}$$

• TPS (Tokens Per Second)，每秒处理的 token 数：

$$TPS=\frac{total\_output\_tokens}{T_y-T_x}$$

• RPS (Requests Per Second)：每秒处理的请求数：

$$RPS=\frac{total\_complete\_requests}{T_y-T_x}$$

• Throughput 指的是一定时间内全部的请求响应数量：

$$Throughput=\frac{total\_complete\_requests}{time}$$

• Goodput 指的是一定时间内满足要求的请求响应数量：

$$Goodput=\frac{completed\_request\_within\_SLO}{time}$$

2 DeepSeek 算力需求计算

2.1 几类 DeepSeek 模型说明

• DeepSeek-V3（671B）

使用大规模强化学习训练的 MOE 模型。

• DeepSeek-R1（671B）

在 V3 的基础上，采用传统预训练-监督微调+MoE架构模型，DeepSeek-R1专注高级推理，适合数学、代码生成和逻辑推理性能，用于科研等。

• DeepSeek-R1-Distill

通过知识蒸馏将 DeepSeek-R1 的模型参数迁移到更小参数规模的 Qwen、Llama 等小模型中，这些模型实际上就是 Qwen、Llama 模型。

常见 DeepSeek 模型的参规格：

模型	参数量	序列长度（输入+输出）	层数	hidden_size
DeepSeek-R1-Distill-Qwen-1.5B	1.5B	2048	28	1536
DeepSeek-R1-Distill-Qwen-7B	7B	2048	28	3584
DeepSeek-R1-Distill-Llama-8B	8B	2048	32	4096
DeepSeek-R1-Distill-Qwen-14B	14B	2048	48	5120
DeepSeek-R1-Distill-Qwen-32B	32B	2048	64	5120
DeepSeek-R1-Distill-Llama-70B	70B	2048	80	8192
DeepSeek-V3	671B	8192	61	7168
DeepSeek-R1	671B	8192	61	7168