AI 开发中模型量化相关的技术实践—张志 商汤模型量化框架工程师

本演讲为2023年7月8日WasmEdge在北京举办的云原生开源AI基础设施Meetup第四场 完整列表和PPT下载戳github.com/second-state/meetups 神经网络量化是一种广泛应用的技术，可以在较低的成本下降低神经网络的计算代价和内存使用。目前使用最为广泛的量化技术将浮点模型转换为8位整数模型，并使用整数运算器完成网络的推理过程。量化技术目前正广泛应用于推理框架当中，大模型的压缩与部署也广泛地依赖于神经网络量化压缩，由商汤 OpenPPL 团队开发的量化框架 PPQ 是目前国内神经网络量化框架的佼佼者，其支持多个硬件后端平台的量化模拟与部署，并在此基础上抽象出一套完整的量化框架设计。我们将着重讲解大语言模型中广泛应用的量化技术，从weight only量化到groupwise kv cache量化，介绍这些技术的应用场景与性能收益。