Space Security and In Orbit Maintenance Column

Feature Recognition and Centroid Localization of Space Objects in the Complex Space Environment

  • Qingzheng SONG , 1, 2 ,
  • Hao HUANG 1, 2 ,
  • Zengyi LYU 1, 2 ,
  • Weifeng DU 1, 2 ,
  • Shuodong SUN 1, 2 ,
  • Weizhi QU , 1, 2, *
Expand
  • 1 Shanghai Aerospace Control Technology Institute, Shanghai 201109, China
  • 2 Shanghai Space Intelligent Control Technology Laboratory, Shanghai 201109, China

Online published: 2025-03-17

Copyright

Copyright © 2024 Journal of Space Science and Experiment. All rights reserved.

Abstract

During the process of accurate measurement and identification of space objects, space searching camera must overcome complex space environment, such as the noise of massive star background, the deficiency of features within single visible images, rapidly relative orbital maneuvering of the spacecraft. In this paper, far range area target detection and close range feature recognition were proposed to extraction, matching and tracking of target feature parts in real-time and accurately. Using feature detection, shape analysis and deep learning methods, centroid of target feature parts could be measured or calculated. Base on the design of space searching camera with dual-band common aperture system, simulation and experiment of high resolution images were promoted. The resolution show that the resolution of image details has been improved by 10%~30%. At the same time, function of feature detection, centroid localization and match recognition was realized.

Cite this article

Qingzheng SONG , Hao HUANG , Zengyi LYU , Weifeng DU , Shuodong SUN , Weizhi QU . Feature Recognition and Centroid Localization of Space Objects in the Complex Space Environment[J]. Journal of Space Science and Experiment, 2024 , 1(4) : 94 -99 . DOI: 10.19963/j.cnki.2097-4302.2024.04.010

0 引言

天基空间目标监视系统是基于天基平台对空间目标实现成像跟踪及其他监视手段监测的新型空间目标监视系统,具有不受地球大气层影响、不受时间空间限制、测量精度高、可近距离精确成像的优点,是空间目标监视跟踪的重要发展趋势[1-3]。天基共孔径复合相机[4-6]是天基空间目标监测系统最为常用的观测设备,相比于红外、微波雷达和激光等手段,天基共孔径复合相机在技术成熟性、使用范围、功耗等方面具有明显优势。因此,美国、俄罗斯和欧洲等国家和地区已经将可见光传感器广泛应用于天基监测系统中[7-9]。天基共孔径复合相机在执行空间目标精确测量和识别任务过程中,非合作目标与监视平台距离由远及近运动时,需克服海量复杂恒星背景下的干扰、单一探测手段下的图像特性缺失、目标与监视平台快速相对机动特性等复杂工况[10]。使用先进的计算机视觉、图像处理和传感器技术,可对多个运动、翻滚的非合作目标进行高精度的定位与特征提取,利用特征点检测、形状分析、深度学习等多种方法,可实时、准确地获取目标的特征部位的提取、匹配、跟踪,以及形心的测量和估计。
本文分别对目标跟踪过程中不同距离阶段的图像平面检测与聚类分割算法进行了阐述,结合天基共孔径复合相机的设计,开展了高分辨率成像仿真和验证,给出了相关结果,提出图像形心定位算法。

1 图像平面检测与聚类分割算法

1.1 算法流程

在由远及近的目标跟踪过程中,通过小视场光学相机可对探测目标进行高精度的面目标成像,在空间非合作目标的高分辨率图像中,平面检测可以用于识别目标表面的特定区域,例如平面结构、特征板等。围绕空间目标的特征识别任务,根据实际应用环境中空间目标由远到近接近目标的过程,将空间目标关键部件识别任务分成两个阶段:远距离的空间面目标检测阶段和近距离的空间目标关键部件识别阶段[11-12]
图1所示的两个阶段中,空间目标距离的远近导致天基相机的成像分辨率具有明显差异,因此需要采用不同的检测和识别算法。首先,距离相对较远的接近过程(几千米到几十米)是远距离的空间面目标检测阶段。该阶段的成像特征是图像分辨率较低,目标轮廓模糊,几何形状特征不明显。通过基于阈值分割和连通域标记的面目标检测算法来实现目标的准确定位,得到其形心位置,保证对目标的可靠跟踪和接近。其次,距离相对较近的绕飞、伴飞过程(几十米)是近距离的空间目标关键部位识别阶段。该阶段的目标图像分辨率较高,可以基于几何形状特征实现关键部位识别,得到其位置和结构参数。
图 1 空间目标关键部件识别流程

Fig.1 Identification process of key components of space target

1.2 远距离图像面目标检测

由于远距离成像时空间面目标的图像分辨率较低,目标表现为轮廓模糊且面积较小的斑点或团块,难以识别出明显的几何形状特征。在这里通过基于阈值分割和连通域标记的方法实现远距离面目标检测。如图2所示,首先通过滤波、直方图均衡等成熟的图像预处理操作来改善图像质量,有助于后续操作的准确性;其次,通过阈值分割区分图像中的目标和背景区域,得到二值化图像;再次,通过连通域标记来排除图像中背景区域的像素,并获得目标像素的分布特点;最后,根据目标像素的分布特点,计算其形心,实现面目标形心检测和定位。考虑面目标检测任务的实时性要求,在算法实现过程中需进行硬件加速分析。
图 2 面目标识别流程

Fig.2 Process of area target recognition

由于图像预处理方法已相对成熟,此处不再赘述,下面对后续检测流程进行详细介绍。阈值化方法可以有效地将图像分割为背景和目标,通过分析图像的统计信息得到恰当的阈值。为了在非均匀光照条件下仍然能够准确提取目标,此处选择高斯空间下的自适应阈值分割算法。图3为对在轨图像采用阈值化方法对目标进行检测处理的效果图,该方法可以有效地将目标从深空背景中提取出来。
图 3 采用最小误差阈值检测方法对目标进行背景分割

注:上图为实际拍摄图像、下图为检测获取算法处理后图像。

Fig.3 The minimum error threshold detection method is used to segment the background of the target.

在完成背景分割后,通过包围盒的连通域标记统计二值化图像中目标像素特点,可以对空间面目标进行快速检测和定位。图4展示了6幅二值化图像的处理结果,方框为包围盒标记的目标区域。图中目标连通区域均在方框内,证明该方法能够准确定位目标,并且在测试过程中,算法可以在图像传输完成的同时输出标记结果。
图 4 二值化图像实验结果

Fig.4 Experimental results of binary images

1.3 近距离图像关键部件识别

近距离的空间目标关键部件识别阶段,空间目标识别的重点在于提取目标的组成结构特征。该阶段空间目标具有纹理特性较弱,几何形状特征明显的特点,且空间目标关键部件与几何形状具有对应关系,因此考虑通过几何形状特征的提取识别来实现关键部位的分割与识别,比如引入Bag-of-Words模型(词袋模型)[12]。Bag-of-Words 模型是计算机视觉中一种常用的图像分类模型,该模型可以将空间目标分解成以下主要特征:太阳能电池帆板、目标主体(矩形或三角形)、光学观测镜头、雷达收发天线、发动机喷气口(圆形或椭圆)。本文我们选用基于矩形、三角形、圆形和椭圆形4种基本几何形状的快速检测方法,识别和定位目标的各个关键部件,具体流程如图5所示。
图 5 基于形状检测的关键部件识别流程

Fig.5 Identification process of key components based on shape detection

某卫星正面图像的算法识别结果如图6所示,共识别与分割出3个矩形,对几何形状重新排列组合,可与实际图像相对应。在此基础上,根据目标结构的对称性,对算法识别结果进行优化调整,实现近距离图像关键部件的分割与识别。
图 6 卫星正面图像及分割

Fig.6 Satellite front image and segmentation

2 天基相机设计和成像仿真验证

2.1 整体设计

天基共孔径复合相机可完成空间目标搜索捕获和稳定跟踪测量,通过内置的自然天体星库、导航星库和识别算法,识别出视场范围内优于7.0 MV的空间目标和恒星,连续稳定输出测量系下的多目标视线角测量信息(俯仰角、方位角)和姿态四元数。
天基共孔径复合相机采用了共孔径光学设计,属于小F数+小像元设计,结合微扫透镜和连续调焦技术,实现轻小型多模一体的高灵敏度、高精度、高分辨率的目标识别与探测。天基共孔径复合相机整机主要由遮光罩组件、光机组件、搜捕相机、折叠镜、可见电子学组件和红外电子学组件等组成,如图7所示。在仪器设计上,充分考虑红外和可见光学系统在装调过程中的可实现性和工艺性,采用碳纤维材料作为主结构材料,通过碳纤维结构的铺层优化,能够实现更高轻量化率和结构热稳定性。
图 7 天基共孔径复合相机整机构型

Fig.7 Overall configuration of space-based common aperture composite camera

2.2 成像仿真

根据天基共孔径复合相机的光电系统设计结果,在距离目标5~30 km的区域,可以把目标作为面目标进行质心提取,同时在这个距离段内能够完成卫星本体和卫星两翼的目标定位。在距离目标1~5 km的区域,可以完成目标特征部位精细识别,实现图像平面检测与聚类分割。本文设计了共口径的光路仿真场景,具体参数如下:
靶标距离:1 km、5 km
目标尺寸:2 m×2 m
仿真分析1:基于传递函数的细缝条纹图像分辨率仿真
仿真目标光源如图8(a)所示,采用标准分辨率板,细缝间隔100~160 mm。仿真结果如图8(b)和图8(c)所示,距离1 km时成像尺寸为0.760 mm,距离5 km时成像尺寸为0.152 mm。
图 8 细缝条纹成像仿真结果图

Fig.8 Simulation results of thin seam fringe imaging

仿真分析2:基于传递函数的靶标图像分辨率仿真
仿真目标的4个象限靶标如图9(a)所示,图中圆形特征尺寸Φ100~500 mm,矩形特征边长100~400 mm。仿真结果如图9(b)和图9(c)所示,距离1 km时成像尺寸为0.620 mm,距离5 km时成像尺寸为0.125 mm。
图 9 靶标成像仿真结果图

Fig.9 Simulation result diagram of target imaging

通过以上两种仿真分析可见,在距离目标1~5 km的区域,天基共孔径复合相机可以完成目标特征部位精细识别,实现图像平面检测与聚类分割。

2.3 成像验证

采用天基共孔径复合相机的原理样机进行成像验证,成像验证使用的卫星实物缩比模型和尺寸如图10所示。
图 10 卫星实物缩比模型和尺寸图

Fig.10 Scale model and size diagram of satellite

成像验证结果如图11所示。原始图像的关键特征细节分辨率约为50 mm,通过上文提到的近距离图像关键部件分割与识别技术,处理后图像的关键特征细节分辨率约为38~45 mm,相比原始图像提升了10%~30%,可更好地对图像进行形心定位。
图 11 缩比模型成像验证结果图

Fig.11 Scale model imaging verification result diagram

3 图像形心定位算法

3.1 算法流程

对于空间目标,可以利用卫星模型几何结构的特点,例如卫星的太阳能帆板和卫星主体位置仍存在较明显的直线特征,通过卫星几何特征进行空间目标形心定位,以形心定位代替质心定位[13-16]。图像形心定位算法主要包括两大部分:翼展方向提取和主体形心定位,下面以某卫星为例进行分析,算法流程如图12所示。
图 12 空间目标图像形心定位流程

Fig.12 Centroid positioning process of space target image

3.2 主体形心定位技术

实现卫星主体形心定位,首先要剔除太阳能帆板的位置。对常见卫星的特性进行分析发现太阳能帆板的边缘呈近似直线(见图13(a)),因此可采用卫星边缘拟合直线来检测帆板区域。图13(b)为采用Canny 算子等成熟算子进行图像边缘检测的结果。进一步,通过采用 Ransac方法对锚框内边缘采样点进行直线拟合,该直线的倾角为翼展方向,如图13(c)所示。
图 13 卫星翼展方向提取算法示意图

Fig.13 schematic diagram of satellite spanwise extraction algorithm

3.3 翼展方向提取技术

卫星主体一般位于太阳能帆板之间,两者的像素分布有明显差异。通过上一节的翼展方向提取技术剔除帆板部分后,可以计算主体部分的外接矩形。首先将卫星的翼展方向旋转到横坐标方向以减少计算量,其次对图像进行二值化,以卫星主体在水平方向上的边界为长度最长的区域,左右边界定位的结果如图14(a)所示。在翼展方向纵向统计每行有效像素(Active Projected Pixel,APP),在APP数目为0时即表示找到了卫星主体最小外接矩形的上下边界,如图14(b)所示。将卫星主体锚框的四个端点旋转回原图方向,4个端点的中心交点即为卫星主体形心,如图14(c)所示。需要注意的是,图像旋转会引入误差,实际应用时应根据最小外接矩形边界与目标的重合程度对最小外接矩形边界进行小范围平移,使其更贴合卫星主体,提高形心定位精度。
图 14 卫星主体形心定位过程示意图

Fig.14 Schematic diagram of satellite main body centroid positioning process

4 结论

本文围绕天基相机对空间目标的识别任务,阐述了基于图像处理和传感器技术的空间目标关键特征识别方法。通过分析空间目标由远及近地接近天基监视平台的过程,将任务划分为远距离的空间面目标检测和近距离的空间目标关键部件识别两个阶段。
结合天基共孔径复合相机的设计,开展了高分辨率成像仿真和验证,仿真分析表面,在距离目标1~5 km的区域,天基共孔径复合相机可以完成目标特征部位精细识别,实现图像平面检测与聚类分割。继续开展成像验证发现,通过上文提到的近距离图像关键部件分割与识别技术,图像的关键特征细节分辨率可提升10%~30%,可更好地对图像进行形心定位。最后,提出了图像精细识别与形心定位算法,以卫星模型为例,分别通过翼展方向提取和主体形心定位的算法,可进一步实现对目标的特征部位提取、特征部位匹配、形心定位等功能。
1
王雪瑶. 国外空间目标探测与识别系统发展现状研究[J]. 航天器工程, 2018, 27 (3): 86- 94.

2
刘佳, 张恒, 何漫, 等. 美国天基空间监视系统概述与分析[J]. 航天电子对抗, 2019, 35 (4): 60- 64.

3
宫经刚. 美国高轨天基态势感知技术发展与启示[J]. 空间控制技术与应用, 2021, 47 (1): 1- 7.

4
袁利,王苗苗,武延鹏,等. 空间星光测量技术研究发展综述[J],航空学报,2020,14(8):623724.

5
乔凯, 王治东, 丛明煜, 等. 空间目标天基与地基监视系统对比分析[J]. 光学技术, 2006, 32 (5): 744- 749.

6
谭莹. 天基空间碎片探测技术探讨[J]. 空间电子技术, 2006, (3): 5- 9.

7
何英姿, 杜船, 张海博, 等. 基于深度学习的非合作目标感知研究进展[J]. 飞控与探测, 2023, (6): 1- 14.

8
FLOHRER T,PELTONEN J,KRAME A,et al. Space-based optical observations of space debris[C]//Proceedingsof the 4th European Conference on Space Debris,2005.

9
SCOTT A,HACKETT J,MAN K. On-orbit results for Canada's Sapphire optical payload[J]. Proceedings of the Advanced Maui Optical and Space Surveillance Technologies Conference,2013:E41.

10
鄂薇, 王大轶, 邹元杰, 等. 复杂空间背景下暗弱目标的快速识别方法[J]. 中国科学, 2022, 52 (1): 214504.

11
潘迪, 温兆伦, 任平川, 等. 高动态下的星体目标质心提取方法[J]. 飞控与探测, 2022, (5): 19- 25.

12
刘鸿飞, 陈凡胜, 孙胜利, 等. 空间目标成像的边缘检测方法研究[J]. 科学技术与工程, 2007, 7 (17): 4301- 4306.

13
程瑞, 林喆, 张艾, 等. 基于相对运动的GEO目标精确成像跟踪方法研究[J]. 航天返回与遥感, 2020, 41 (1): 56- 63.

14
彭晓东, 刘波, 孟新, 等. 星载可见光相机成像仿真建模研究[J]. 光子学报, 2011, 40 (7): 1106- 1111.

15
韩意, 孙华燕. 空间目标天基光学成像仿真研究进展[J]. 红外与激光工程, 2012, 41 (12): 3372- 3378.

16
李崇远. 基于光线追踪的空间面目标可见光成像仿真技术研究[D]. 哈尔滨:哈尔滨工业大学,2020.

Outlines

/