红外序列图像中弱小飞机目标检测跟踪数据集

红外序列图像中弱小飞机目标检测跟踪数据集
作者：回丙伟　宋志勇　范红旗　钟平　胡卫东　张晓峰　凌建国　苏宏艳　金威　张永杰　白亚茜
2019年11月22日

本作品收錄於《中国科学数据》

回丙伟, 宋志勇, 范红旗, 等. 红外序列图像中弱小飞机目标检测跟踪数据集[J/OL]. 中国科学数据, 2019. (2019-11-22). DOI: 10.11922/csdata.2019.0074.zh.

摘要&关键词

摘要：红外弱小目标检测跟踪是远程精确打击、空天攻防对抗和遥感情报侦察等**应用中的重要研究内容。针对当前红外目标探测识别领域仿真数据真实性不足、实测数据样本匮乏的情况，本数据集面向低空弱小目标检测跟踪应用，通过外场实地拍摄和数据准备加工，提供了一套以一架或多架固定机翼无人机目标为探测对象的算法测试数据集。数据集获取场景涵盖了天空、地面等背景以及多种场景，共计22段数据、30条航迹、16177帧图像、16944个目标，每个目标对应一个标注位置，每段数据对应一个标注文件。本数据集可为弱小目标探测、精确制导和红外目标特性等研究提供基础数据。

关键词：红外目标；目标检测；目标跟踪；红外序列图像

Abstract & Keywords

Abstract: Dim-small target detection and tracking in infrared images is the main research content for long-range precision strike, aerospace defense confrontation, battlefield intelligence and reconnaissance. However, the simulation infrared data is not perfect and measured data lacks of samples in areas of infrared target detection and recognition. In response to this situation, we focus dim-small target detection and tracking of low altitude flying target, and provide a group of data for one or multiple fixed-wing UAV targets via outfield recording and post data processing. The data acquisition scenario covers sky background and complex field background. Dataset includes 22 image sequences, 30 trajectories, 16177 frames and 16944 targets. Each target correspond a label location in the image, and each image sequence correspond a label file. This dataset can serve researches on infrared target characteristics, dim-small object detection and precision guidance.

Keywords:  infrared target; target detection; target tracking; infrared image sequence

数据库（集）基本信息简介

数据库（集）名称	红外序列图像中弱小飞机目标检测跟踪数据集
数据作者	回丙伟、宋智勇、范红旗、钟平、胡卫东、张晓峰、凌建国、苏宏艳、金威、张永杰、白亚茜
数据通信作者	范红旗（fanhongqi@nudt.edu.cn）
数据时间范围	2017–2019年
地理区域	中国
空间分辨率	10–100 m
数据量	870 MB
数据格式	*.bmp，*.txt
数据服务系统网址	http://www.sciencedb.cn/dataSet/handle/902
基金项目	装备预研基金（2018年）ATR实验室重点基金，“面向地慢小防空目标识别应用数据集构建”
数据库（集）组成	本数据集由22个数据段组成，每个数据段包含2部分：（1）dataX.zip是第X段包含有目标的红外图像序列；（2）data_label.zip是对应于22段数据的标注文件，标注信息包括数据段名称、数据帧数、目标航迹数以及每一图像帧对应的目标数、目标编号和目标位置坐标。

Dataset Profile

Title	A dataset for dim-small target detection and tracking of aircraft in infrared image sequences
Data corresponding author	Hongqi Fan (fanhongqi@nudt.edu.cn)
Data authors	Hui Bingwei, Song Zhiyong, Fan Hongqi, Zhong Ping, Hu Weidong, Zhang Xiaofeng, Ling Jianguo, Su Hongyan, Jin Wei, Zhang Yongjie, Bai Yaxi
Time range	2017–2019
Geographical scope	China
Spatial resolution	10–100 m
Data volume	870 MB
Data format	*.bmp, *.txt
Data service system	<http://www.sciencedb.cn/dataSet/handle/902>
Source of funding	Equipment Pre-Research Fund (2018) ATR Lab. Key Projects, “Data Set Construction for Detection, Tracking and Recognition of Low Slow Small Targets for Air Defense”
Dataset composition	The dataset consists of 22 data subsets. The subsets are recorded as data1.zip data2.zip…data11.zip. Each subset comprises two parts: (1) dataX.zip is an infrared image sequence with aircraft target; (2) data_label.txt is the corresponding label files for dataX.zip. The label information includes the subset name, image frames number, target trajectories number and targets number, index and coordinate location in each frame image.

引 言

利用红外成像探测技术实现目标检测与跟踪是现代**对抗系统中的重要组成部分，也是武器系统信息化、智能化的重要体现^[1]。随着现代战争对抗广度和深度的不断延伸，武器装备对红外目标检测跟踪也提出了更高的要求。主要体现在：（1）对探测距离的要求越来越高。远程超视觉打击是现代高技术战争的必然要求，因此对目标的探测距离也提出了更高的要求，体现在数据上表现为目标信号更加微弱；（2）多目标跟踪需求日益突出。在集群化智能无人作战系统中，目标通常作为一个群体出现，因此引出了复杂情形下多目标跟踪的需求；（3）目标所处的自然环境复杂多变。目标背景环境中经常出现比目标的红外辐射强度更大的辐射源，这为感兴趣**目标的检测识别带来了较大困扰^[2]。然而，与上述紧迫的需求不相匹配的是，当前科研领域没有可以服务于**应用特别是目标探测识别应用的红外图像数据集^[3]，进而导致科研人员参与相关**科研工作受到了极大限制。鉴于上述迫切的**应用需求和匮乏的数据现状，本数据集通过典型场景设计、外场试验拍摄、数据处理标注、数据使用方法及评价准则设计等步骤和方法制备了面向红外序列图像中弱小飞机目标检测跟踪数据集。该数据集尚属首次成系统的公开发布以明确**应用需求为目标的红外图像数据集，填补了红外目标探测识别领域中的数据空白。

此外，本数据集中的部分数据已经提供给由**科技大学和中国航天科工二院联合主办的第二届“空天杯”创新创意大赛——探测识别算法挑战赛（红外赛题方向）使用。

1 数据采集和处理方法

1.1 数据采集方法

数据采集用到的主要设施和设备为高塔和二轴电控转台。数据采集试验采用高塔架设二轴电控转台并搭载红外传感器的方式开展，高塔距离地面约140 m，二轴转台可执行方位角−95°～+95°，俯仰角−45°～+45°范围内的摆动，高塔及转台如图1所示。高塔和二轴转台的使用为获取不同环境背景、不同观测视角下的目标动态红外序列图像提供了保障。

图片

图片

图1 数据获取试验中使用的转台及高塔

数据采集使用的传感器为制冷型中波红外相机，该相机的基本性能参数如表1所示。

表1 相机的基本性能参数

指标项	性能参数
探测波谱范围	3~5um
分辨率	256×256 pixels
最大拍摄频率	100Hz
视场角	3.0°×3.0°

数据采集的对象为空中固定翼无人机（燃油动力）目标，无人机的飞行速度约为30km/小时。目标无人机上装有GPS，目标航迹为事先设定程序，并在GPS的引导下自主飞行，同时无人机通过无线通信手段实时将自身的无人机位置坐标传回转台控制计算机，经测算后再引导二轴转台对无人机目标进行跟踪以维持目标位于红外相机的视场中，同时启动红外相机以100Hz的频率对目标进行同步拍摄并保存。

数据采集的主要环境背景及场景设计如表2所示。

表2 数据场景情况

数据段名	有效帧数	场景说明
data1	399	近距离、单个目标、天空背景
data2	599	近距离、两个目标、天空背景、交叉飞行
data3	100	近距离、单个目标、空地交界背景、目标出视场后又进视场
data4	399	近距离、两个目标、天空背景、交叉飞行
data5	3000	远距离、单个目标、地面背景、长时间
data6	399	由近及远、单个目标、地面背景
data7	399	由近及远、单个目标、地面背景
data8	399	由远及近、单个目标、地面背景
data9	399	由近及远、单个目标、地面背景
data10	401	远距离、单个目标、空地交界背景
data11	745	目标由近及远、单个目标、地面背景
data12	1500	目标由远及近、单个目标、目标中途机动、地面背景
data13	763	目标由近及远、单个目标、目标微弱、地面背景
data14	1426	目标由近及远、单个目标、地面背景、地面车辆目标干扰
data15	751	单个目标、目标机动、地面背景
data16	499	目标由远及近、单个目标、扩展目标、目标机动、地面背景
data17	500	目标由近及远、单个目标、目标微弱、地面背景
data18	500	目标由远及近、单个目标、地面背景
data19	1599	单个目标、目标机动、地面背景
data20	400	单个目标、目标机动、空地背景
data21	500	远距离、单个目标、地面背景
data22	500	目标由远及近、单个目标、地面背景

1.2 数据处理与标注

数据处理与标注是将采集到的原始红外图像数据进行格式转换，无效及污染数据剔除，按一定的原则对数据进行加工处理，并为感兴趣的目标打上标签的过程。

1.2.1 数据预处理

每个红外数据段的原始数据为视频格式，为了后续数据加工的方便，在数据预处理阶段将每个数据段的视频格式数据转换为8bit位深的windows位图格式的多文件的图像序列。此外原始数据中存在大量由于转台控制精度不足导致的图像严重晃动的情形，这些数据由于快速相对运动导致景象记录模糊，且不符合实际应用情况，故在预处理阶段对这些数据进行剔除处理。剔除的原则是在连续图像中是否能够目视分辨出目标。

1.2.2 数据标注

目标的数据特性是进行数据标注的基础。目前，已有的关于检测、跟踪、识别问题的公开数据集中通常使用方框标注或轮廓线标注的方式，在指定目标位置的同时，指定目标区域，也指定目标的边界。这是因为这些公开数据集通常以可见光图像为基础，目标在图像中表现为一个带有丰富纹理的较大区域。然而，本数据集中的红外数据特性与可见光图像中的数据特性有较大差异，主要表现在：

（1）由于拍摄距离的巨大差异导致目标尺度变化巨大，在较近距离处无人机在红外图像中表现为扩展目标，远距离表现为点目标；

（2）红外图像中目标的热辐射特性使其纹理相对单一，即在晴朗天空阳光照射条件下，无人机机身通体表现为高辐射亮区；在没有阳光照射条件下，仅无人机机头发动机位置表现为亮区。

基于上述两点分析，为适应目标的尺度变化并保持标注结果形式的一致性，同时考虑弱小目标检测跟踪的主题点目标的研究难度远大于扩展目标，且实际上点目标的数据也远多于扩展目标的情况。图像中目标标注采用点标注的方式，即通过目标在图像上的整像素坐标位置来表示目标。对于表现为扩展目标的数据，通过对目标亮区域进行二值化分割，计算区域重心并对坐标四舍五入的方式给出位置。

具体标注实践中采用人工标注和半自动标注人工确认的方式来完成。

2 数据样本描述

本数据集共包含有22个数据段，数据段的命名从data1开始依次递增至data22。每个数据段都主要包括序列图像数据和标注数据两类，下面分别对这两类数据的典型样本进行描述和分析。

2.1 图像数据样本

数据集中的每幅红外图像的分辨率为256×256像素、8 bit位深、大小为193 KB，图像存储格式为windows位图，后缀名为.bmp。每个数据段内的图像文件名即为对应数据帧的编号，图像文件示例如图2所示。即在每个数据段内图像数据文件名从0.bmp开始依次递增至N.bmp，其中N+1为本数据段内红外图像的总帧数。

图片

图2 windows文件系统下某数据段样本中图像数据详情

图3显示了从6个不同数据段中各抽取1帧图像的样本示例，目标在图像中显示为扩展目标或点目标。图3中的图像数据来源及目标位置坐标情况如表3所示。

图片（a）

图片（b）

图片（c）

图片（d）

图片（e）

图片（f）

图3 环境及目标的部分红外样本图像

表3 红外样本图像来源及目标位置说明

图号	数据段	帧号	目标位置坐标
a	data1	125	(116, 130)
b	data2	178	(117, 130) (142, 126)
c	data3	169	(98, 205)
d	data5	225	(101, 152)
e	data7	237	(126, 132)
f	data8	264	(89, 146)

2.2 标注数据样本

标注数据结果以*.txt文件为格式存储，其中*为对应的图像序列文件夹名称（如data1、data2等），具体格式约定如表4所示。

表4 数据标注文件格式说明

第1行	测试编号 数据名 数据总帧数 航迹总数
第2行	frame:0	目标数	object:1	x坐标	y坐标	object:2	x坐标	y坐标	……
第3行	frame:1	目标数	object:1	x坐标	y坐标	object:2	x坐标	y坐标	……
……	……
第N+2行	frame:N	目标数	object:1	x坐标	y坐标	object:2	x坐标	y坐标	……

标注文件的具体约束事项如下：

（1）每个图像序列的标注结果保存为1个文件；

（2）结果文件中所有英文标识均使用小写字母，所有数量标识均使用阿拉伯数字；

（3）每个结果文件中的目标都从1开始，递增编号，同一帧中目标无重复编号；

（4）同一段数据，若有目标出视场后再进入视场的情况，则需对重新进入的目标使用新的编号；

（5）同一图像帧的数据结果保存为一行，若本帧未检测到目标，则目标数量记为0；

（6）同一数据行内不同字段之间以空格间隔；

（7）目标x/y坐标值应该是位于0–255之间的浮点型数字，即以图像左上角为起始点，向右向下为正，且起始坐标为（0,0）；

（8）字段中的标点符号均为英文字符。

下面以数据集中data2数据为例对标注数据进行解释说明，如图4所示。

图片

图4 数据标注文件样本举例

在第1行中，字段“0”表示测试编号，数据集中提供的标注结果统一编号为0，若依据该文件格式生成测试结果，可用该编号对同一段数据的多次测试进行区分；字段“data2”表示标注结果对应data2数据段；字段599表示该数据段共有599帧图像；字段“2”表示该数据段内共有2条航迹。

在第2行中，字段“frame:0”表示当前行的标注结果对应第0帧图像；字段“2”表示当前帧图像中共计2个目标；字段“object:1”表示接续下来的两个字段是目标1的图像坐标；字段“127”表示目标1的图像位置为自图像左上点位0点，x坐标为127；字段“131”表示目标1的图像位置为自图像左上点位0点，y坐标为131；字段“object:2”表示接续下来的两个字段是目标2的图像坐标；字段“173”表示目标2的图像位置为自图像左上点位0点，x坐标为173；字段“125”表示目标2的图像位置为自图像左上点位0点，y坐标为125。第3–600行的字段含义同第2行，可依次类推。

3 数据质量控制和评估

本数据集中的所有图像采集都是通过中波红外成像设备在专门设计的实验中实测采集得到，目标和环境的红外辐射特性真实可靠。

目标在图像中的位置信息均为人工标注或半自动标注下人工确认的结果，并经过多次核查检验，以确保数据质量。数据集中所提供的评分准则及程序都已经过大量的实测验证，评分结果符合设计目标和**对抗需求^[4]。

本数据集中的部分数据已在第二届“空天杯”创新创意大赛（2019）——探测识别算法挑战赛中发布供参赛选手测试及正式比赛使用。目前大赛已经正式落下帷幕，本数据集作为探测识别算法挑战赛红外专题下算法性能比测的重要依据，为大赛评选出了相应奖项。大赛的圆满举办证实了本数据集中图像数据、目标标注和评分准则的质量和科学可信度，可作为更广泛科研人员的数据素材。

4 数据价值

本数据集针对固定翼无人机目标的红外序列图像检测跟踪问题，设计了22个典型场景，具体涵盖了单目标天空背景、两目标交叉飞行天空背景、单目标地面复杂背景、目标由远及近、目标由近及远、目标离开视场、目标重回视场等情形。每个典型场景对应1个段数据、共计22个数据段、30条航迹、16177帧图像、16944个目标及标注。该类型的数据集在国内尚属首次成系列的公开发布，这些数据情况包括了当前红外目标检测识别的以下重难点问题^[5]：

（1）长序列图像中目标跟踪；

（2）多目标相互干扰条件下的检测跟踪；

（3）复杂环境下弱小目标发现捕获。

为满足检测跟踪识别算法性能评估的需要^[6][7]，数据集对红外图像中的目标进行了位置坐标的标注，并在这些标注结果的基础上，综合考虑检测正确性、检测精度、航迹正确性、目标漏警、目标虚警等关键评价要素，研究提出了符合**对抗发展规律的检测跟踪算法综合性评价准则，并开放了评分程序代码。本数据集在为相关科研人员开展学习研究工作提供测试实验数据的同时，也能促进部分现有成果的实用化开发，打破当前**科研领域相对封闭的科研局面，吸引更多的青年科研人员参与**目标探测方法研究，为国家**科研事业发展做贡献。

此外，在第二届“空天杯”创新创意大赛结束后，众多参赛选手和国内同行对本数据集的补充完善版本都提出了申请需求，这也印证了本数据集科研价值。

5 数据使用方法和建议

5.1 数据使用方法

数据的推荐使用方法如下：

（1）使用者利用自己编制的红外图像弱小目标检测跟踪算法读取一段图像数据，并完成检测跟踪任务；

（2）按照标注文件的存储格式，将该段检测跟踪结果保存在自定义文件中；

（3）通过本数据集提供的评价准则（推荐使用数据集提供的评分程序代码）将标注数据与检测跟踪结果进行比对计算得分，作为当前数据段的结果；

（4）针对全部数据段顺次完成上述步骤后，累加可计算总得分。也可根据具体的实际应用需求，基于标注结果自行设计新的评分规则并计分比较。

5.2 数据使用评价

数据使用后其结果评价可通过如下原则计分评价，得分高者为优。数据使用结果的最终得分由检测跟踪得分和航迹连续性得分两部分累计得到。为区分检测跟踪的精度，在数据使用评价中给出标注框的定义，即以1.2.2节给出的标注点为中心，上下作用各扩充N个像素，得到(N+1)×(N+1)的标注框。下文通过标注框来定义检测跟踪的得分。

       1. 检测跟踪得分        

（1）正确检测且精度满足预定要求，即有且仅有1个检测结果位于3×3的标注框内（含），每个坐标位置得1分；

（2）正确检测但精度不满足预定要求，即有且仅有1个检测结果位于3×3的标注框外且位于9×9的标注框内（含），每个坐标位置得0分；

（3）漏检，即9×9的标注框内（含）无检测结果，每个坐标位置减1分；

（4）虚警，即在9×9的标注框外出现检测结果，或1个标注框内出现多于1个的检测结果，每个坐标位置减2分；

         2. 航迹连续性得分      

（5）在正确检测且满足预定精度的前提下，即在条目（1）情形下，每段数据的航迹连续性得分为：同一目标数量最多的航迹编号数目×1分。

在上述数据使用评价准则下，利用本数据集测试结果满分为41114分。本数据集提供上述评价准则的评分程序代码。

致 谢

本数据集中的部分数据曾供第二届“空天杯”创新创意大赛（2019）——探测识别算法挑战赛（红外探测识别方向）使用，感谢大赛组委会对本数据集的认可和采纳。在数据集整理、测试、评审和发布，特别是评分准则设计的过程中，得到了**研究院邱志明院士，中国空空导弹研究院白晓东研究员，中国航天科工二院陈军文研究员，北京航空航天大学王俊教授，厦门大学王程教授，华中科技大学张天序教授，北京理工大学杨小鹏教授，**装备发展部朱南机研究员，**科技大学付强、王宏强、王壮、张焱教授的指导，本数据集也凝结了这些专家们的宝贵经验和智慧。对上述专家辛勤付出，在此表示由衷的感谢。感谢**科技大学王平研究员带领的科研团队在第二届“空天杯”大赛前对本数据集中的部分数据进行了大量细致的测试和准备工作，并为数据的发布提供了大量帮助。感谢来自全国各大高校的30余支参赛队伍对本数据集提出了许多有益的建议和意见。

参考文献

1. 陈钱. 红外目标探测[M]. 北京: 电子工业出版社, 2016.
2. 皮特. 地面目标和背景的热红外特性[M]. 北京: **工业出版社, 2004.
3. 汪大宝. 复杂背景下的红外弱小目标检测与跟踪技术研究[D]. 西安: 西安电子科技大学, 2010.
4. WUB, JI H. A Novel algorithm for point-target detection based on third-order cumulant in infrared image[C]. ICSP Proceedings, Baltimore, USA, 2006.
5. ZHU F Y, QIN S Y. A detection algorithm for maneuvering IR point target and its performance evaluation[J]. IEEE, 2006:1-5.
6. KRISTAN M, MATAS J, LEONARDIS A, et al. The visual object tracking vot2015 challenge results[C]. Proceedings ICCV Workshop, Baltimore, USA , 2015.
7. BEARD M, REUTER S, GRANSTROM K, et al. Multiple expanted target tracking with labeled random finite sets[J]. IEEE Trans. On Signal Processing, 2016, 64(7):1638-1653.

数据引用格式

回丙伟, 宋志勇, 范红旗, 等. 红外序列图像中弱小飞机目标检测跟踪数据集[DB/OL]. Science Data Bank, 2019. (2019-10-28). DOI: 10.11922/csdata.2019.0074.zh.