10. 模型部署

前面的章节讲述了机器学习模型训练系统的基本组成,这一章节将重点讲述模型部署的相关知识。模型部署是将训练好的模型部署到运行环境中进行推理的过程，模型部署的过程中需要解决训练模型到推理模型的转换，硬件资源对模型的限制，模型推理的时延、功耗、内存占用等指标对整个系统的影响以及模型的安全等一系列的问题。

本章将主要介绍机器学习模型部署的主要流程，包括训练模型到推理模型的转换、适应硬件限制的模型压缩技术、模型推理及性能优化以及模型的安全保护。

本章的学习目标包括：

• 了解训练模型到推理模型转换及优化

• 掌握模型压缩的常用方法：量化、稀疏和知识蒸馏

• 掌握模型推理的流程及常用的性能优化的技术

• 了解模型安全保护的常用方法

• 10.1. 概述
• 10.2. 训练模型到推理模型的转换及优化
  • 10.2.1. 模型转换
  • 10.2.2. 算子融合
  • 10.2.3. 算子替换
  • 10.2.4. 算子重排
• 10.3. 模型压缩
  • 10.3.1. 量化
  • 10.3.2. 模型稀疏
  • 10.3.3. 知识蒸馏
• 10.4. 模型推理
  • 10.4.1. 前处理与后处理
  • 10.4.2. 并行计算
  • 10.4.3. 算子优化
• 10.5. 模型的安全保护
  • 10.5.1. 概述
  • 10.5.2. 模型混淆
• 10.6. 总结
• 10.7. 扩展阅读