高通模型部署

高通提供 qai_hub_models 的 python 库，利用这个库，可以方便的对模型进行转换、量化和导出高通 NPU 可以加载的 BIN 文件，也支持使用高通在线虚拟设备对模型进行推理验证。

准备工作

1. 安装 qai_hub_models

pip3 install qai_hub_models

2. 配置 API Token

export PATH=~/.local/bin/:$PATH
qai-hub configure --api_token <API_TOKEN>

模型核心信息

qai_hub_models 支持的模型包含 Compute Vision、Multinodal、Audio和Generative AI 这 4 大类，详细情况见下表

Computer Vision

Multimodal

Audio

Generative AI

模型编译

以 real_esrgan_x4plus 为例

export PRODUCT_CHIP=qualcomm-qcs6490-proxy
python3 -m qai_hub_models.models.real_esrgan_x4plus.export --chipset ${PRODUCT_CHIP} \
        --target-runtime qnn_context_binary  --height 128 --width 128 --quantize w8a8 \
        --num-calibration-samples 10

• --chipset 指定目标运行的芯片
• --target-runtime 指定目标运行时
• --height 目标模型输入高度
• --width 目标模型输入宽度
• --quantize 指定量化方式
• --num-calibration-samples 指定量化校准集图片数量

上面的命令生成一个 mode-id 和一个名为 real_esrgan_x4plus.qnn_context_binary 的文件，这个文件是模型在目标芯片上的运行文件。

运行demo

python3 -m qai_hub_models.models.real_esrgan_x4plus.demo --eval-mode on-device --hub-model-id <mode-id> --chipset ${PRODUCT_CHIP}

• 请修改 hub-model-id 参数为模型编译结果最后打印的 hub-model-id

使用本地设备的NPU进行推理验证

参考 NPU开发指南

Q&A

• 如何利用模型开发 app ？

  高通提供 ai-engine-direct-helper SDK，这个 SDK 提供 python 和 c++ 的接口方便用户开发 app，来加载模型并运行推理。详细参见 ai-engine-direct-helper。