Model conversion 和 量化

来自 PyTorch、Onnx、TensorFlow 或 LiteRT 是 QNN 转换器工具的输入，用于转换为 QNN 图 以高级可读 C++ 图形的形式表示。qnn-<framework>-converter

如果加速 模型在 HTP 上，模型必须进行量化。模型量化可以在 与 conversion 的步骤相同。必须提供校准数据集才能执行此作 quantization 步骤来执行静态量化。

要启用量化以及 conversion 中，使用 static 的选项 量化。 --input_list INPUT_LIST

有关更多信息，请参阅量化支持文档。

以下示例使用 ONNX 模型 （inception_v3_opset16.onnx） 从 ONNX Model Zoo 下载。下载模型作为您的工作区。在此示例中，我们 将模型下载到 目录。inception_v3.onnx ~/models

仅模型转换（适用于 CPU 后端）

Model conversion 和 量化（用于 HTP 后端）

要将模型转换为在 x86/Arm CPU 上运行，请运行 以下命令生成 inception_v3.cpp 和 inception_v3.bin

python ${QNN_SDK_ROOT}/bin/x86_64-linux-clang/qnn-onnx-converter --input_network ~/models/inception_v3.onnx --output_path ~/models/inception_v3.cpp --input_dim 'x' 1,3,299,299

inception_v3.cpp 文件 包含已转换模型的高级图形表示。这 inception_v3.bin 文件包含来自模型的权重/偏差。

模型转换和量化（适用于 HTP 后端）

要在 HTP，则需要量化步骤。对于 AI Engine Direct （QNN） 中的量化 SDK 是来自训练数据集的 50 到 200 张图像的代表性数据集 作为校准数据集提供给 QNN 转换器。“中 校准数据集经过预处理（调整大小、标准化等）并保存为 NumPy 数组.raw。这些 Input .raw 文件的大小必须与 Input Size 匹配 的模型。

出于演示目的，我们 可以使用随机输入文件评估量化过程。输入文件可以 使用下面显示的 Python 脚本为模型生成。将脚本另存为 ~并使用 .inception_v3.onnx generate_random_input.py /models python ~/models/generate_random_input.py

以下 Python 代码 创建一个包含校准数据集的input_list，该数据集用于量化 型。

import os
import numpy as np
 
input_path_list =[]

BASE_PATH = "/tmp/RandomInputsForInceptionV3"
 
if not os.path.exists(BASE_PATH):
    os.mkdir(BASE_PATH)
 
# generate 10 random inputs and save as raw 
NUM_IMAGES = 10

#binary files
for img in range(NUM_IMAGES):
    filename = "input_{}.raw".format(img)
    randomTensor = np.random.random((1, 299, 299, 3)).astype(np.float32)
    filename = os.path.join(BASE_PATH, filename)
    randomTensor.tofile(filename)
    input_path_list.append(filename)
 
#for saving as input_list text
with open("~/models/input_list.txt", "w") as f:
    for path in input_path_list:
        f.write(path)
        f.write("\n")

我们现在可以运行以下命令来转换 和 quantize 进行量化。默认情况下，模型针对 INT8 位宽进行量化。您可以指定和/或 for using INT16 量化。[--act_bw 16][--weight_bw 16]

${QNN_SDK_ROOT}/bin/x86_64-linux-clang/qnn-onnx-converter --input_network ~/models/inception_v3.onnx --output_path ~/models/inception_v3_quantized.cpp --input_list ~/models/input_list.txt --input_dim "x" 1,3,299,299

这 在目录中生成 and 文件。inception_v3_quantized.cpp inception_v3_quantized.bin ~/models

请参阅 qnn-<framework>-converter 文档或运行以查看所有可用的 量化的自定义，包括量化模式、优化、 等。qnn-<framework>-converter --help

型 汇编

转换/量化步骤完成后，用于编译生成的 C++ graph 转换为共享对象 （.so），使模型能够由 应用程序执行推理。qnn-model-lib-generator

对于 x86，编译器工具链用于编译 C++ graph 转换为 .so 库。对于 RB3Gen2 等 Linux Embedded 设备， 适当的编译器工具链 （） 必须为 使用。Clangaarch64-ubuntu-gcc9.4

编译模型以在 x86 上运行

生成共享的 对象模型，以在基于 x86 的 Linux 计算机上运行。这 使用 Clang-14 编译器工具链生成 inception_v3.so 来编译 C++ 图 转换为与 x86 主机兼容的 QNN 型号 .so。

${QNN_SDK_ROOT}/bin/x86_64-linux-clang/qnn-model-lib-generator -c ~/models/inception_v3.cpp -b ~/models/inception_v3.bin -o ~/models/libs/ -t x86_64-linux-clang

编译模型以在 Arm 架构上运行

以下步骤安装 将 Model .cpp 文件编译为 .so 所需的交叉编译器工具链 图书馆。

sudo apt install g++-aarch64-linux-gnu

export QNN_AARCH64_UBUNTU_GCC_94=/

一次 交叉编译器设置好了，使用以下命令在 ~/model/libs/aarch64-ubuntu-gcc9.4.. 中生成 libinception_v3.so。

提供此 location 添加到工具中 论点。qnn-model-lib-generator

${QNN_SDK_ROOT}/bin/x86_64-linux-clang/qnn-model-lib-generator -c ~/models/inception_v3.cpp -b ~/models/inception_v3.bin -o ~/models/libs/ -t aarch64-ubuntu-gcc9.4

编译 在 Hexagon Tensor Processor 上运行的模型

以下命令 在 中生成。libinception_v3_quantized.so~/models/libs/aarch64-ubuntu-gcc9.4

${QNN_SDK_ROOT}/bin/x86_64-linux-clang/qnn-model-lib-generator -c ~/models/inception_v3_quantized.cpp -b ~/models/inception_v3_quantized.bin -o ~/models/libs/ -t aarch64-ubuntu-gcc9.4