规划系统

机器人规划不仅包含运动路径规划,还包含任务规划 [Sun et al., 2022a] [Wang et al., 2023],:cite:li2023behavior。其中,运动规划是机器人技术的核心问题之一,在给定的两个位置之间为机器人找到一条符合约束条件的路径。这个约束可以是无碰撞、路径最短、机械功最小等,需要有概率完整性和最优性的保证,从导航到复杂环境中的机械臂操作都有运动规划的应用。然而,当经典运动规划在处理现实世界的机器人问题(在高维空间中)时,挑战仍然存在。研究人员仍在开发新算法来克服这些限制,包括优化计算和内存负载、更好地规划表示和处理维度灾难等。

同时,机器学习的一些进展为机器人专家研究运动规划问题开辟了新视角:以数据驱动的方式解决经典运动规划器的瓶颈。基于深度学习的规划器可以使用视觉或语义输入进行规划等。ML4KP是一个可用于运动动力学进行运动规划的C++库,可以轻松地将机器学习方法集成到规划过程中。

强化学习在规划系统上也有重要应用 [Sun et al., 2021b],最近有一些工作基于MetaDrive模拟器 [Li et al., 2021a]进行多智能体强化学习、驾驶行为分析等 [Peng et al., 2021a] [Peng et al., 2021b] [Li et al., 2021b]。为了更好地说明强化学习是如何应用在自动驾驶中,尤其是作为自动驾驶规划模块的应用, 图:numref:rl_ad展示了一个基于深度强化学习的自动驾驶POMDP模型,包含环境、奖励、智能体等重要组件。

../_images/rl_ad.png

基于深度强化学习的自动驾驶POMDP模型 [Aradi, 2020]