规划系统
--------

机器人规划不仅包含运动路径规划，还包含任务规划 :cite:`9712373`
:cite:`wang2023mimicplay`,:cite:`li2023behavior`\ 。其中，运动规划是机器人技术的核心问题之一，在给定的两个位置之间为机器人找到一条符合约束条件的路径。这个约束可以是无碰撞、路径最短、机械功最小等，需要有概率完整性和最优性的保证，从导航到复杂环境中的机械臂操作都有运动规划的应用。然而，当经典运动规划在处理现实世界的机器人问题（在高维空间中）时，挑战仍然存在。研究人员仍在开发新算法来克服这些限制，包括优化计算和内存负载、更好地规划表示和处理维度灾难等。

同时，机器学习的一些进展为机器人专家研究运动规划问题开辟了新视角：以数据驱动的方式解决经典运动规划器的瓶颈。基于深度学习的规划器可以使用视觉或语义输入进行规划等。ML4KP是一个可用于运动动力学进行运动规划的C++库，可以轻松地将机器学习方法集成到规划过程中。

强化学习在规划系统上也有重要应用
:cite:`sun2021adversarial`\ ，最近有一些工作基于MetaDrive模拟器
:cite:`li2021metadrive`\ 进行多智能体强化学习、驾驶行为分析等
:cite:`peng2021learning` :cite:`peng2021safe`
:cite:`li2021efficient`\ 。为了更好地说明强化学习是如何应用在自动驾驶中，尤其是作为自动驾驶规划模块的应用，
图:numref:`rl\_ad`\ 展示了一个基于深度强化学习的自动驾驶POMDP模型，包含环境、奖励、智能体等重要组件。

.. _rl\_ad:

.. figure:: ../img/ch13/rl_ad.png
   :width: 800px

   基于深度强化学习的自动驾驶POMDP模型 :cite:`aradi2020survey`