7. 编译器后端和运行时

在上一章节，详细讲述了一个AI编译器前端的主要功能，重点介绍了中间表示以及自动微分。在得到中间表示后，如何充分利用硬件资源高效地执行，是编译器后端和运行时要解决的问题。

在本章节中， 将会介绍AI编译器后端的一些基本概念，详细描述后端的计算图优化、算子选择等流程。通过对编译器前端提供的中间表示进行优化，充分发挥硬件能力，从而提高程序的执行效率。在此基础上，介绍运行时是如何对计算任务进行内存分配以及高效地调度执行。

本章的学习目标包括：

• 了解编译器后端和运行时的作用

• 掌握计算图优化的常用方法

• 掌握算子选择的常用方法

• 掌握内存分配的常用方法

• 掌握计算图调度和执行的常用方法

• 了解目前算子编译器的基本特点以及其尚未收敛的几个问题

• 7.1. 概述
  • 7.1.1. 计算图优化
  • 7.1.2. 算子选择
  • 7.1.3. 内存分配
  • 7.1.4. 计算调度与执行
  • 7.1.5. 算子编译器
• 7.2. 计算图优化
  • 7.2.1. 通用硬件优化
  • 7.2.2. 特定硬件优化
• 7.3. 算子选择
  • 7.3.1. 算子选择的基础概念
  • 7.3.2. 算子选择的过程
• 7.4. 内存分配
  • 7.4.1. Device内存概念
  • 7.4.2. 内存分配
  • 7.4.3. 内存复用
  • 7.4.4. 常见的内存分配优化手段
• 7.5. 计算调度与执行
  • 7.5.1. 单算子调度
  • 7.5.2. 计算图调度
  • 7.5.3. 交互式执行
  • 7.5.4. 下沉式执行
• 7.6. 算子编译器
  • 7.6.1. 算子调度策略
  • 7.6.2. 子策略组合优化
  • 7.6.3. 调度空间算法优化
  • 7.6.4. 芯片指令集适配
  • 7.6.5. 算子表达能力
  • 7.6.6. 相关编译优化技术
• 7.7. 总结
• 7.8. 扩展阅读