- 剪枝：将某些权重变为0

量化：用INT8表示FP32的权重/输入（activation）

  • PTQ post training quantization
    需要确定两个：where s is the scale factor and z is the zero-point - the integer value to which the real value zero is mapped
  1. 量化权重（已知分布方便量化）
  2. 量化输入（需要calibration dataset 表示所有输入数据）
  • QAT quatization aware training
# 设计规范
Logo
魔乐社区

魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。

更多推荐

cover

TensorFlow Playground 交互式神经网络可视化工具

avatar 魔乐社区
cover

java 图书管理系统

avatar 魔乐社区
cover

魔乐社区上线Qwen3.5全家桶！基于vLLM Ascend的昇腾部署教程已就位

avatar 魔乐社区