月球探测专栏

月球南极巡视器多模态感知与避障方法

  • 孙龙 ,
  • 曹子健 ,
  • 施克恒 ,
  • 杨力
展开
  • 中国计量大学 信息工程学院, 杭州 310018

(1988-), 男,讲师,主要研究方向:遥感,AIGC,计算机视觉等。通信地址:浙江省杭州市钱塘区学源街258号中国计量大学(310018)电子邮箱:

网络出版日期: 2024-11-25

基金资助

国家自然科学基金项目(52372423)

版权

版权所有 © 2024 空间科学与试验学报编辑部

Multimodal Perception and Obstacle Avoidance Method for Lunar South Pole Rover

  • Long SUN ,
  • Zijian CAO ,
  • Keheng SHI ,
  • Li YANG
Expand
  • College of Information Engineering, China Jiliang University, Hangzhou 310018, China

Online published: 2024-11-25

Copyright

Copyright © 2024 Journal of Space Science and Experiment. All rights reserved.

摘要

月球南极地区地形复杂,太阳高度角极低导致阴影区域变化大,为巡视器的自主导航提出了巨大的挑战。本工作提出一种面向月球南极的巡视器多模态感知与避障路径规划方案。一方面通过RGB相机获得全局的场景影像,进行初步的障碍物检测;另一方面利用深度相机获取实时的环境深度,通过简化的SLAM算法构建局部地图,即实时生成点云图;根据点云信息,计算路面粗糙度、坡度、阶跃信息等物理环境信息。利用上述多模态数据结合地图数据实时更新巡视器位姿和周围环境,结合使用多模态局部算法和障碍检测算法进行障碍物感知和避障决策,使巡视器能够动态调整路径。仿真结果表明该自主导航系统显著提高巡视器在复杂未知环境中的自主导航能力。

本文引用格式

孙龙 , 曹子健 , 施克恒 , 杨力 . 月球南极巡视器多模态感知与避障方法[J]. 空间科学与试验学报, 2024 , 1(2) : 55 -60 . DOI: 10.19963/j.cnki.2097-4302.2024.02.006

Abstract

The terrain of the lunar south pole is complex, and the extremely low solar altitude angle causes large changes in the shadow area, which poses a huge challenge to the autonomous navigation of the rover. This work proposes a multi-modal sensing and obstacle avoidance path planning scheme for the rover facing the lunar south pole. On the one hand, the RGB camera is used to obtain the global scene image for preliminary obstacle detection; on the other hand, the depth camera is used to obtain the real-time environment depth, and a local map is constructed through a simplified SLAM algorithm, that is, a point cloud map is generated in real time; and based on the point cloud information, to calculate physical environment information such as road surface roughness, slope, step information, etc. The above-mentioned multi-modal data combined with map data are used to update the posture and surrounding environment of the patrol vehicle in real time, and a combination of multi-modal local algorithms and obstacle detection algorithms are used for obstacle perception and obstacle avoidance decision-making, so that the patrol unit can dynamically adjust its path. The simulation results show that the autonomous navigation system significantly improves the autonomous navigation capability of the patrol unit in complex and unknown environments.

0 引 言

地外天体探测是人类探索宇宙的重要方式,通过着陆探测巡视器可以获取有关地外天体的信息。月球南极受特殊地理位置影响,存在水冰等有价值的自然资源。我国正在实施“探月四期”和“行星探测工程”,在月球复杂未知的环境下,对于未来巡视器越障能力的提升,提高大范围巡视探测效率是关键需求。
目前一部分学者基于传统的图搜索算法(Graph-Search-based Algorithm, GSBA)和基于采样的算法(Sampling-based Algorithm, SBA)进行改进[1-4]。例如文献[1]提出了一种用于球形移动机器人导航的改进Hybrid A*方法以提高搜索效率,并确保在有限区域内通过有限次数的前后移动来保证转向任意方向的能力。文献[2]提出了一种基于准则的A*算法,该算法减少了计算的时间,同时采用了除了障碍以外的关键点的思想,能够更早和有效地实现避障,相较于以往的方法,性能更好。
然而,上述工作主要考虑了地形障碍限制,忽略了巡视器自身的局限性。目前巡视器存在算力和能耗限制,其自主导航规划能力和安全性远不能支撑复杂环境下长距离、高时效性探测任务,对地面人工遥操作指令仍然依赖很大,导致在未知复杂的月球南极环境下探测效率降低。因此,迫切需要开展月球环境高精度、智能化感知与避障方法研究。
近些年来,基于多模态信息融合的避障技术开始崭露头角[5-7]。通过多模态数据的信息互补,这些工作获得了更加显著的效果。但是,上述工作并没有考虑到月球南极的复杂环境,因此算法的实用性不足。为此,本文结合深度数据和点云数据,同时考虑到月球南极的复杂环境和巡视器的电源限制,提出了基于多模态的局部避障算法和点云全局快速定位算法。首先,利用深度图结合RGB图像进行多模态识别,采用简化版SLAM算法[8]实时构建局部地图,即生成点云图,并利用基础图像处理技术,诸如Canny边缘检测[8]和轮廓检测方法[8]精准提取障碍物空间位置信息,以重构局部路径;为更好检测出障碍物,采用基于特征金字塔网络的目标检测算法,用于检测不同大小的感兴趣目标;其次,鉴于月球南极光照影响下的定位难题,采用3D深度相机采集实时数据,并通过优化的点云全局快速定位算法,在克服跨视角、尺度差异及噪声干扰等因素的基础上,提高定位精确度,并与文献[8]中综述的VanillaICP、Vanilla RANSAC、DeepICP、LoGG3D-Net和DGR等算法进行对比分析。
本文提出一种月球南极巡视器的多模态感知与避障方法,并将其应用于月球南极巡视器设计中,使巡视器能够主动适应并探索未知环境,显著提高避障效能,有效助力未来的月球南极探测与资源开发工作。

1 多模态避障与点云定位

1.1 总体流程

本文提出的多模态避障与点云定位算法总体流程如图1所示。首先利用RGBD相机获取环境信息,采用简化版的SLAM算法构建局部点云地图;其次,结合RGB图像与点云地图,实施多模态局部避障算法,进行障碍物检测与避障,并采用点云全局快速定位来提升位置估计的精确度;最终,巡视器能够实时更新并依据最新的点云地图动态调整行驶路径,从而有效适应不断变化的月球南极环境,增强其自主导航性能。
图 1 方法总体流程图

Fig.1 Overall flow chart of the methods

1.2 多模态局部避障算法

月球南极表面坑洼较多,地形崎岖,石块等障碍较多。巡视器行驶过程中进入局部避障阶段,需要考虑动态障碍坐标及地形类别,如沙地、石块等信息。巡视器搭载的RGBD相机的深度图可以为局部避障提供感知能力,但仅仅通过深度图分析极易引起错误的障碍检测。要实现安全高效的局部避障,必须将全局几何地形、局部障碍坐标、地形类别等因素结合起来。
因此,首先在RGB图上实现障碍目标检测,然后回到深度图提取障碍的坐标信息,生成全局地图下的障碍三维信息,最后进行局部路径重新规划。巡视器搭载3D深度相机等传感器,采集环境信息并采用简化版SLAM算法实时构建点云图。原始相机坐标系下的深度数据与位置信息通过旋转和平移变换映射至巡视器坐标系统下,形成周围环境的三维点云表示。在巡视器坐标系中,对实时获取的点云数据进行分析,关键步骤包括提取各点的高度属性,并依据预设的高度阈值识别地形较高处,将其标记为潜在障碍或不可通行区域。当检测到影响路径规划的视觉障碍时,利用基础图像处理技术,诸如Canny边缘检测[9]和轮廓检测方法[10],以实现实时障碍物特征抽取。根据障碍物相对于巡视器的空间布局,计算出适宜的避障策略参数,包含转弯角度及安全行驶距离,确保巡视器在避开障碍后能准确回归原定路径。

1.3 障碍检测算法

月球南极地势起伏大,起伏地貌易误判为石块。为克服边缘检测将路面起伏凹陷误识别为障碍物的问题,本研究采用多模态结合的算法,精确区分巡视器RGB相机拍摄到的石头与非障碍路面。在Issac sim仿真平台上采集了100张从不同视角观察盒子的图像。这些图像按照8:1:1的比例随机划分为训练集、验证集和测试集。各个集合之间的图像独立不重复,一定程度上保证了训练和测试数据的独立性。为了减少计算复杂度,所有输入图片统一缩放至640像素×640像素。为了增加模型的鲁棒性,我们对每个集合采用了多种数据增强算法,例如随机裁剪、马赛克处理、翻转、旋转、色调调整、仿射变换以及添加高斯噪声等多种数据增强技术扩大数据集规模,以提升目标泛化性能。
为更好检测出障碍物,采用基于特征金字塔网络的目标检测算法[11],用于检测不同大小的感兴趣目标。我们采用Darknet作为特征提取、融合与目标预测的核心网络架构,如图2所示,并嵌入了CSPLayer_2Conv模块,如图3所示。该模块通过引入跳层连接和split操作优化信息传播。网络构建了一系列堆叠的卷积和池化层以多尺度方式提取图像特征,不同尺寸的卷积核确保捕获从低级到高级的多种视觉层次信息。借助“skip connection”机制将浅层特征与深层特征相结合,增强了特征融合效果,有助于提高目标检测算法对图像上下文的理解能力。
图 2 目标检测骨干卷积网络

Fig.2 Target-detection backbone convolutional network

图 3 CSPLayer_2Conv模块

Fig.3 CSPLayer_2Conv module

在Darknet的最终卷积阶段之后,使用全连接层联合特定激活函数处理这些特征输出,进而得到目标的位置、类别以及置信度等预测结果,为后续物体检测和分类任务提供基础。
当我们通过目标检测算法得到物体包围框之后,输出一个n×4的二维矩阵,为相应的boundingbox在图像上的位置信息。在仿真环境下,相机内参采用理想情况设定,计算过程如下。指定的相机水平视场角(Field Of View, FOV)为1.57 rad,图像分辨率为宽1280像素,高720像素。因此相机焦距为:
$ \left\{\begin{array}{l}{f}_{x}=width\times 0.5\times \mathrm{t}\mathrm{a}\mathrm{n}(FOV\times 0.5)\\ {f}_{y}={f}_{x}\end{array}\right. $
通过深度图取得小车距离物体深度,由于物体在小车观察视角下呈现不同形态,故取物体框中三分之二的像素点的深度做平均,进而求得平均深度。
通过上述步骤得到物体表面点距离巡视器的深度,而物体中心点的深度值还要再加上深度增加值,这个增加值约等于物体外包络的半径。在固定巡视器与物体位置情况下,不断改变该深度增加值,这里设置该值的梯度为0.01,观察取不同值情况下所求物体位置与仿真软件上给的真实位置差,取两者差最小时的值为选定值,结果显示如图4所示。
图 4 计算位置与实际位置之差

Fig.4 The difference between the caculated position and the actual position

因此取深度增加值为0.41。将内参矩阵和物体像素坐标转为齐次式后进行点乘,再将该矩阵运算结果乘以depth可得物体在相机坐标系下坐标$ (x,y,z) $。然后通过设定的坐标系计算出由相机坐标系到小车坐标系的旋转矩阵$ {\boldsymbol R}_1 $,以及小车坐标系到世界坐标系的旋转矩阵$ {\boldsymbol R}_2 $,将相机坐标系下的坐标和旋转矩阵均转为齐次式,然后进行矩阵乘法$ {\boldsymbol R}\times {\boldsymbol R}\times $$ (x,y,z) $,得出物体在世界坐标系下的位置,再使用A*算法规划巡视器到终点的路径。

1.4 点云全局快速定位算法

由于月球南极光照阴影变化大,空中和月面图像匹配定位不可行,地形结构的相似性造成误匹配频繁发生。为解决上述难题,本文提出点云全局快速定位算法。根据巡视器初始位姿进行地图裁剪,在裁剪后的点云地图上进行匹配,大大减少了误匹配率,提高了匹配成功率。通过由粗到精的匹配过程,防止了匹配陷入局部最优解,最后将获取的精确位姿结果用于更新下一帧初始位姿。
地图裁剪的原则是以巡视器当前位置为中心裁剪一定范围的局部地图,与巡视器采集的点云进行匹配。为了提高准确性,根据需要还可以多次裁剪不同范围局部地图进行计算,融合多次计算值得到最终结果。假设相机采集的点云和地图点云分别为:
$ {P}_{\mathrm{c}\mathrm{a}\mathrm{m}}=\left\{{p}_{1},{p}_{2},\cdots ,{p}_{n}\right\},{P}_{\mathrm{m}\mathrm{a}\mathrm{p}}=\left\{{p}_{1}',{p}_{2}',\cdots ,{p}_{n}'\right\} $
粗到精的点云匹配过程中,需要用欧氏变换将 $ {P}_{\mathrm{c}\mathrm{a}\mathrm{m}} $ 变换到 $ {P}_{\mathrm{m}\mathrm{a}\mathrm{p}} $。这个问题可以用迭代最近点(Iterative Closest Point,ICP)[17]求解,使得两簇点云对应点之间的距离最小。计算过程如下:
(1)使用ICP算法计算两组点的质心位置$ p $$ {p}{'} $,然后计算每个点的去质心坐标:
$ {\left\{\begin{array}{c}{q}_{i}={p}_{i}-p\\ {q}_{i}'={p}_{i}'-{p}'\end{array}\right.} $
(2)根据以下优化问题计算旋转矩阵$ \boldsymbol{R} $
$ \boldsymbol{R}=\mathrm{arg}\underset{\boldsymbol{R}}{\mathrm{min}}\left(\dfrac{1}{2}{\sum }_{i=1}^{n}{\Vert{q}_{i}-\boldsymbol{R}{q}_{i}'\Vert}^{2}\right) $
(3)根据第(2)步的$ \boldsymbol{R} $计算变换矩阵$ T $
$ T=p-\boldsymbol{R}{p}{'} $
ICP算法基于点云间最近邻匹配原则,但深度相机采集的深度信息存在噪声干扰,导致点云中存在一定比例的离群点,这些离群点会降低ICP配准的精确度。ICP易受噪声、局部最优解陷阱及误匹配等因素影响,因此其结果可能不稳定或收敛于非全局最优。
为解决这一问题,本文采用了改进版的GICP(Generalized Interative Closest Paint)[18]。GICP将ICP算法嵌入概率框架内,引入协方差矩阵作为权重机制,在迭代过程中对残差进行加权处理,从而有效地降低了离群点在求解过程中的不利影响,提高了算法对噪声数据的鲁棒性。定义点云间高斯分布为:
$ \left\{\begin{array}{c}{p}_{i}\thicksim N\left(\widehat{{p}_{i}},{\boldsymbol{C}}_{i}^{P}\right)\\ {p}_{i}^{'}\thicksim N\left(\widehat{{p}_{i}^{'}},{\boldsymbol{C}}_{i}^{{P}^{'}}\right)\end{array}\right. $
式中,$ {\boldsymbol{C}}_{i} $ 是每个点的协方差矩阵,$ {d}_{i}^{\boldsymbol{T}} $为残差。定义变换矩阵$ \boldsymbol{T} $$ \boldsymbol{T} $也属于高斯分布,$ {d}_{i}^{\boldsymbol{T}} $代表了对原始点云使用$ \boldsymbol{T} $做转换后,第$ i $个点对的有向距离。$ {d}_{i}^{\boldsymbol{T}} $服从正态分布:
$ {d}_{i}^{\boldsymbol{T}}={p}_{i}^{'}-\boldsymbol{T}{p}_{i}\thicksim N\left(0,{\boldsymbol{C}}_{i}^{{P}^{'}}+\boldsymbol{T}{\boldsymbol{C}}_{i}^{P}{\boldsymbol{T}}^{\mathrm{T}}\right) $
计算变换矩阵为:
$ \boldsymbol{T}=\mathrm{arg}\underset{\boldsymbol{T}}{\mathrm{min}}\left[{\sum }_{i=1}^{n}{d}_{i}^{\boldsymbol{T}}{\left({\boldsymbol{C}}_{i}^{{P}^{'}}+\boldsymbol{T}{\boldsymbol{C}}_{i}^{P}{\boldsymbol{T}}^{\mathrm{T}}\right)}^{-1}{d}_{i}^{\boldsymbol{T}}\right] $

2 仿真实验

2.1 多模态局部避障算法

实验过程中,未进行障碍目标检测算法前,因判定条件过于简单,出现了将地面凹陷判定为障碍物的情况,导致实际的路线规划出现问题,不仅出现了走弯路甚至走到死路的情况,还出现转弯半径过大,耗费时间过长的情况,实际路径如图5所示。
图 5 初版局部路径规划实际效果(图中白色部分为障碍区域)

Fig.5 Actual effect of the initial local path planning (white part in the figure is the obstacle area)

使用了目标检测算法之后,检测巡视器RGB相机中路面凹陷判定为障碍物的情况大大减少,且能够有效检测到石头等障碍物,效果如图6所示。
图 6 检测石头效果展示

Fig.6 Stone detection result

算法优化之后,只需要获取检测框内部的RGB信息和深度信息,将其转化成三维信息,根据这些三维信息更新巡视器周围的高程图,使用A*算法重新规划巡视器到终点的路径。研究发现优化算法后,不仅有效地避免了地面凹陷对于障碍物判定的影响,还减少了巡视器的转弯次数,节省了时间。
多模态避障算法与传统深度图避障算法的平均转弯耗时与平均转弯次数对比图如图7所示。实验结果显示,多模态避障算法的平均转弯耗时更少,平均转弯次数更少,表明多模态避障算法可显著提高巡视器避障效能。
图 7 算法平均转弯耗时与平均转弯次数对比

Fig.7 The algorithm average turning time is compared to the average number of turns

2.2 点云全局快速定位算法

本文按照算法设计进行实验并与其他方法进行对比,得到以下测试结果,见表1
表 1 点云定位算法测试结果

Table 1 Test results of the point-cloud localization algorithm

方法 PC 平均耗时/秒·帧−1 嵌入式平均耗时/秒·帧−1 累计误差/m·100 次 修正后误差/m
VanillaICP[12] 0.106 2.227 2.84 2.01
Vanilla RANSAC[13] 0.046 0.920 13.91 12.66
DeepICP[14] 0.760 17.117 1.94 1.03
LoGG3D-Net[15] 1.033 22.527 2.10 1.54
DGR[16] 1.530 36.060 1.58 0.82
本文工作 0.048 1.130 1.83 0.86
表1可见,本文提出的方案和对比算法相比,其他方法中几乎无法同时使PC平均耗时、嵌入式平均耗时、累计误差和修正后误差上都取得较小的值。Vanilla RANSAC算法虽然计算速度较快,但是累计误差较高;偏重降低累计误差的算法,如DeepICP、DGR,它们的耗时较大,难以做到巡视器的实时响应。而本文提出的算法在相对较小的帧耗时下,累计误差以及修正后误差相对较低,因此在月球南极巡视任务中,能够检具控制的实时性和路径的准确性,更加适合相关场景。

3 结论

本文针对自主导航系统实际在月球南极复杂环境下遇到的难题,设计了多模态局部避障算法和点云全局快速定位算法,通过理论分析与仿真实验计算得出结论。多模态局部避障算法结合目标检测,有效地避免了地面凹陷对于障碍物判定的影响,减少了巡视器的转弯次数,节省了时间;点云全局快速定位算法,在计算时间和误差整体上效果最佳。本文提出的方法可显著提高巡视器在月球南极环境中的自主感知与避障能力。
1
ZHANG Z,WAN Y,WANG Y,et al. Improved hybrid A* path planning method for spherical mobile robot based on pendulum[J]. International Journal of Advanced Robotic Systems,2021,18(1):1729881421992958.

2
ERKE S,BIN D,YIMING N,et al. An improved A-Star based path planning algorithm for autonomous land vehicles[J]. International Journal of Advanced Robotic Systems,2020,17(5):1729881420962263.

3
HONG Z, SUN P, TONG X, et al. Improved A-Star algorithm for long-distance off-road path planning using terrain data map[J]. ISPRS International Journal of Geo-Information, 2021, 10 (11): 785.

DOI

4
WANG J, LI B, MENG M Q H. Kinematic Constrained Bi-directional RRT with Efficient Branch Pruning for robot path planning[J]. Expert Systems with Applications, 2021, 170, 114541.

DOI

5
宋海荦. 基于多模态深度强化学习的移动机器人避障方法研究[D]. 安徽:中国科学技术大学,2021.

6
桂林, 颉潭成, 徐彦伟, 等. 基于多模态信息融合的四足机器人避障研究[J]. 传感器与微系统, 2023, 42 (9): 65- 67+76.

DOI

7
ZHOU J,OLOFSSON B,FRISK E. Interaction-aware motion planning for autonomous vehicles with multi-modal obstacle uncertainty predictions[J]. IEEE Transactions on Intelligent Vehicles,2023,9(1):1305-1319.

8
YOUNES G ,ASMAR D ,SHAMMAS E. A survey on non-filter-based monocular Visual SLAM systems[J]. Robotics & Autonomous Systems,2016,(98):67-88.

9
CANNY J. A computational approach to edge detection[J]. IEEE Trans. Pattern Anal. Mach. Intell. 1986,8(6):679-698.

10
XIE S,TU Z. Holistically-nested edge detection[C]. Proceedings of the IEEE international conference on computer vision. 2015.

11
LIN T Y,DOLLÁR P,GIRSHICK R et al. Feature pyramid networks for object detection[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition; Honolulu,HI,USA. 2017.

12
VISWANATHAN D G. Features from accelerated segment test (fast)[C]. Proceedings of the 10th workshop on image analysis for multimedia interactive services,London,UK. 2009.

13
LOWE D G. Object recognition from local scale-invariant features[C]. Proceedings of the seventh IEEE international conference on computer vision. Ieee,1999.

14
BESL P J,MCKAY N D. Method for registration of 3-D shapes[C]. Sensor fusion IV:control paradigms and data structures. Spie,1992.

15
FISHLER M A. Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography[J]. Communication of the ACM, 1981, 24 (6): 381- 395.

16
CHOY C,DONG W,KOLTUN V,Deep global registration[C]. Proc. Proceeding of the IEEE/CVF conference on Computer Vision and Pattern Recognition. 2020.

17
BESL P,MCKAY N D,A method for registration of 3-D shapes[J]. IEEE Trans. Pattern Anal. Mach. Intell. 1992,14(2):239-256.

18
SEGAL A,HAEHNEL D,THRUN S. Generalized-ICP[C]. washington. Robotics:science and systems,2009.

文章导航

/