📘 AI 模型部署体系全景：从 PyTorch 到 RKNN 的嵌入式类比解析

---

🧠 一、AI 模型部署的整体流程

AI 模型的部署流程可以类比嵌入式系统的启动流程：

阶段	嵌入式系统	AI 模型部署
源码定义	DTS + SPL + U-Boot	PyTorch / TensorFlow 模型结构
编译构建	U-Boot.img	ONNX / TFLite / RKNN / TensorRT
烧录部署	烧录到 eMMC / SPI	推理引擎加载模型
执行运行	SPL/U-Boot 启动	GPU/NPU 执行推理逻辑

---

🧩 二、主流 AI 框架与模型格式对照表

框架	常见模型	原始格式	可导出格式	推理引擎	典型后缀
PyTorch	YOLO, LLM, Qwen	.pt, .pth	.onnx	TensorRT, ONNX Runtime	.pt, .onnx, .engine
TensorFlow	SSD, MobileNet	.pb, .ckpt	.tflite, .onnx	TFLite, TensorRT	.pb, .tflite, .onnx
Caffe	AlexNet, VGG	.caffemodel, .prototxt	.onnx	Caffe, TensorRT	.caffemodel, .prototxt, .onnx
Darknet	YOLOv3/v4	.weights, .cfg	.onnx	TensorRT, OpenCV DNN	.weights, .cfg, .onnx
PaddlePaddle	PP-YOLO, ERNIE	.pdmodel, .pdparams	.onnx	Paddle Lite, ONNX Runtime	.pdmodel, .onnx
Keras	简化版 TF 模型	.h5	.tflite, .onnx	TFLite, ONNX Runtime	.h5, .tflite, .onnx
RKNN Toolkit	任意模型转 Rockchip 格式	.onnx, .tflite, .pb → .rknn	.rknn	RKNN Lite, RKNN API	.rknn

---

📦 三、模型文件后缀详解

后缀	来源	含义	特点
.pt / .pth	PyTorch	原始模型文件	包含结构和权重，训练环境使用
.onnx	通用	中间交换格式	跨框架部署，支持多平台
.pb	TensorFlow	Protocol Buffer 格式	TF 原始模型，适合服务器部署
.tflite	TensorFlow Lite	轻量模型	适合移动端和嵌入式设备
.caffemodel	Caffe	权重文件	与 .prototxt 配合使用
.prototxt	Caffe	网络结构定义	类似设备树结构定义
.weights	Darknet	权重文件	YOLOv3/v4 原始格式
.cfg	Darknet	网络结构定义	配合 .weights 使用
.h5	Keras	模型结构 + 权重	可导出为 .tflite 或 .onnx
.rknn	Rockchip	Rockchip 专用格式	用于 RK3588/NPU 推理
.engine	TensorRT	编译后的推理引擎	高速执行，适合 Jetson
.pdmodel / .pdparams	PaddlePaddle	Paddle 模型结构与参数	Paddle 专用格式

---

🔄 四、ONNX 的核心作用与转换流程

ONNX 是 AI 模型部署中的“中间格式”，类似于嵌入式系统中的 .dtb：

• 跨平台兼容：支持 PyTorch、TensorFlow、Caffe、Keras 等框架导出
• 部署灵活：可用于 TensorRT、ONNX Runtime、RKNN Toolkit 等推理引擎
• 便于优化：支持量化、剪枝、融合等模型优化操作

示例转换流程（YOLOv8）

YOLOv8.pt → YOLOv8.onnx → YOLOv8.engine（Jetson）
                     ↓
               YOLOv8.rknn（RK3588）

---

🚀 五、典型平台部署路径

Jetson 平台（NVIDIA）

步骤	工具	文件
模型训练	PyTorch	.pt
导出中间格式	ONNX	.onnx
编译推理引擎	TensorRT	.engine
推理执行	C++/Python + TensorRT	实时目标检测

RK3588 平台（Rockchip）

步骤	工具	文件
模型准备	ONNX / TFLite	.onnx / .tflite
转换为 RKNN	RKNN Toolkit	.rknn
推理执行	RKNN API / Lite	NPU 加速推理

Android 平台

步骤	工具	文件
模型训练	TensorFlow / Keras	.pb / .h5
导出轻量模型	TFLite Converter	.tflite
推理执行	TFLite Runtime	手机端部署推理

---

🧠 六、LLM 与 Qwen 的位置

名称	类型	说明
LLM（Large Language Model）	模型类型	用于自然语言理解与生成，参数量巨大
Qwen（通义千问）	模型实例	阿里巴巴推出的 LLM，支持中文、代码、多模态输入
部署方式	推理引擎	可导出为 ONNX，部署到服务器或边缘设备
类比嵌入式	脚本解释器	类似复杂 shell 脚本系统，支持上下文理解与生成

---

📘 七、嵌入式类比总结表

AI 概念	嵌入式类比	说明
PyTorch 模型（.pt）	U-Boot 源码	原始模型定义
ONNX 模型（.onnx）	编译后的设备树（.dtb）	中间格式，跨平台
TensorRT 引擎（.engine）	烧录后的 U-Boot 镜像	高速执行体
推理执行	SPL/U-Boot 启动	实际运行逻辑
模型结构定义（cfg, prototxt）	DTS	网络结构描述
模型转换工具链	编译器	模型构建与优化流程

---

🛠️ 八、推荐工具链与脚本模板

平台	工具链	推荐脚本
Jetson	PyTorch → ONNX → TensorRT	trtexec, torch.onnx.export
RK3588	ONNX → RKNN	rknn_toolkit, rknn_convert.py
Android	TF → TFLite	tflite_convert, FlatBuffer
通用服务器	ONNX → ONNX Runtime	onnxruntime.InferenceSession

---