紅外序列圖像中弱小飛機目標檢測跟蹤數據集

紅外序列圖像中弱小飛機目標檢測跟蹤數據集
作者：回丙偉　宋志勇　范紅旗　鍾平　胡衛東　張曉峰　凌建國　蘇宏艷　金威　張永傑　白亞茜
2019年11月22日

本作品收錄於《中國科學數據》

回丙偉, 宋志勇, 范紅旗, 等. 紅外序列圖像中弱小飛機目標檢測跟蹤數據集[J/OL]. 中國科學數據, 2019. (2019-11-22). DOI: 10.11922/csdata.2019.0074.zh.

摘要&關鍵詞

摘要：紅外弱小目標檢測跟蹤是遠程精確打擊、空天攻防對抗和遙感情報偵察等**應用中的重要研究內容。針對當前紅外目標探測識別領域仿真數據真實性不足、實測數據樣本匱乏的情況，本數據集面向低空弱小目標檢測跟蹤應用，通過外場實地拍攝和數據準備加工，提供了一套以一架或多架固定機翼無人機目標為探測對象的算法測試數據集。數據集獲取場景涵蓋了天空、地面等背景以及多種場景，共計22段數據、30條航跡、16177幀圖像、16944個目標，每個目標對應一個標註位置，每段數據對應一個標註文件。本數據集可為弱小目標探測、精確制導和紅外目標特性等研究提供基礎數據。

關鍵詞：紅外目標；目標檢測；目標跟蹤；紅外序列圖像

Abstract & Keywords

Abstract: Dim-small target detection and tracking in infrared images is the main research content for long-range precision strike, aerospace defense confrontation, battlefield intelligence and reconnaissance. However, the simulation infrared data is not perfect and measured data lacks of samples in areas of infrared target detection and recognition. In response to this situation, we focus dim-small target detection and tracking of low altitude flying target, and provide a group of data for one or multiple fixed-wing UAV targets via outfield recording and post data processing. The data acquisition scenario covers sky background and complex field background. Dataset includes 22 image sequences, 30 trajectories, 16177 frames and 16944 targets. Each target correspond a label location in the image, and each image sequence correspond a label file. This dataset can serve researches on infrared target characteristics, dim-small object detection and precision guidance.

Keywords:  infrared target; target detection; target tracking; infrared image sequence

數據庫（集）基本信息簡介

數據庫（集）名稱	紅外序列圖像中弱小飛機目標檢測跟蹤數據集
數據作者	回丙偉、宋智勇、范紅旗、鍾平、胡衛東、張曉峰、凌建國、蘇宏艷、金威、張永傑、白亞茜
數據通信作者	范紅旗（fanhongqi@nudt.edu.cn）
數據時間範圍	2017–2019年
地理區域	中國
空間分辨率	10–100 m
數據量	870 MB
數據格式	*.bmp，*.txt
數據服務系統網址	http://www.sciencedb.cn/dataSet/handle/902
基金項目	裝備預研基金（2018年）ATR實驗室重點基金，「面向地慢小防空目標識別應用數據集構建」
數據庫（集）組成	本數據集由22個數據段組成，每個數據段包含2部分：（1）dataX.zip是第X段包含有目標的紅外圖像序列；（2）data_label.zip是對應於22段數據的標註文件，標註信息包括數據段名稱、數據幀數、目標航跡數以及每一圖像幀對應的目標數、目標編號和目標位置坐標。

Dataset Profile

Title	A dataset for dim-small target detection and tracking of aircraft in infrared image sequences
Data corresponding author	Hongqi Fan (fanhongqi@nudt.edu.cn)
Data authors	Hui Bingwei, Song Zhiyong, Fan Hongqi, Zhong Ping, Hu Weidong, Zhang Xiaofeng, Ling Jianguo, Su Hongyan, Jin Wei, Zhang Yongjie, Bai Yaxi
Time range	2017–2019
Geographical scope	China
Spatial resolution	10–100 m
Data volume	870 MB
Data format	*.bmp, *.txt
Data service system	<http://www.sciencedb.cn/dataSet/handle/902>
Source of funding	Equipment Pre-Research Fund (2018) ATR Lab. Key Projects, 「Data Set Construction for Detection, Tracking and Recognition of Low Slow Small Targets for Air Defense」
Dataset composition	The dataset consists of 22 data subsets. The subsets are recorded as data1.zip data2.zip…data11.zip. Each subset comprises two parts: (1) dataX.zip is an infrared image sequence with aircraft target; (2) data_label.txt is the corresponding label files for dataX.zip. The label information includes the subset name, image frames number, target trajectories number and targets number, index and coordinate location in each frame image.

引 言

利用紅外成像探測技術實現目標檢測與跟蹤是現代**對抗系統中的重要組成部分，也是武器系統信息化、智能化的重要體現^[1]。隨着現代戰爭對抗廣度和深度的不斷延伸，武器裝備對紅外目標檢測跟蹤也提出了更高的要求。主要體現在：（1）對探測距離的要求越來越高。遠程超視覺打擊是現代高技術戰爭的必然要求，因此對目標的探測距離也提出了更高的要求，體現在數據上表現為目標信號更加微弱；（2）多目標跟蹤需求日益突出。在集群化智能無人作戰系統中，目標通常作為一個群體出現，因此引出了複雜情形下多目標跟蹤的需求；（3）目標所處的自然環境複雜多變。目標背景環境中經常出現比目標的紅外輻射強度更大的輻射源，這為感興趣**目標的檢測識別帶來了較大困擾^[2]。然而，與上述緊迫的需求不相匹配的是，當前科研領域沒有可以服務於**應用特別是目標探測識別應用的紅外圖像數據集^[3]，進而導致科研人員參與相關**科研工作受到了極大限制。鑑於上述迫切的**應用需求和匱乏的數據現狀，本數據集通過典型場景設計、外場試驗拍攝、數據處理標註、數據使用方法及評價準則設計等步驟和方法製備了面向紅外序列圖像中弱小飛機目標檢測跟蹤數據集。該數據集尚屬首次成系統的公開發布以明確**應用需求為目標的紅外圖像數據集，填補了紅外目標探測識別領域中的數據空白。

此外，本數據集中的部分數據已經提供給由**科技大學和中國航天科工二院聯合主辦的第二屆「空天杯」創新創意大賽——探測識別算法挑戰賽（紅外賽題方向）使用。

1 數據採集和處理方法

1.1 數據採集方法

數據採集用到的主要設施和設備為高塔和二軸電控轉台。數據採集試驗採用高塔架設二軸電控轉台並搭載紅外傳感器的方式開展，高塔距離地面約140 m，二軸轉台可執行方位角−95°～+95°，俯仰角−45°～+45°範圍內的擺動，高塔及轉台如圖1所示。高塔和二軸轉台的使用為獲取不同環境背景、不同觀測視角下的目標動態紅外序列圖像提供了保障。

圖片

圖片

圖1 數據獲取試驗中使用的轉台及高塔

數據採集使用的傳感器為製冷型中波紅外相機，該相機的基本性能參數如表1所示。

表1 相機的基本性能參數

指標項	性能參數
探測波譜範圍	3~5um
分辨率	256×256 pixels
最大拍攝頻率	100Hz
視場角	3.0°×3.0°

數據採集的對象為空中固定翼無人機（燃油動力）目標，無人機的飛行速度約為30km/小時。目標無人機上裝有GPS，目標航跡為事先設定程序，並在GPS的引導下自主飛行，同時無人機通過無線通信手段實時將自身的無人機位置坐標傳迴轉台控制計算機，經測算後再引導二軸轉台對無人機目標進行跟蹤以維持目標位於紅外相機的視場中，同時啟動紅外相機以100Hz的頻率對目標進行同步拍攝並保存。

數據採集的主要環境背景及場景設計如表2所示。

表2 數據場景情況

數據段名	有效幀數	場景說明
data1	399	近距離、單個目標、天空背景
data2	599	近距離、兩個目標、天空背景、交叉飛行
data3	100	近距離、單個目標、空地交界背景、目標出視場後又進視場
data4	399	近距離、兩個目標、天空背景、交叉飛行
data5	3000	遠距離、單個目標、地面背景、長時間
data6	399	由近及遠、單個目標、地面背景
data7	399	由近及遠、單個目標、地面背景
data8	399	由遠及近、單個目標、地面背景
data9	399	由近及遠、單個目標、地面背景
data10	401	遠距離、單個目標、空地交界背景
data11	745	目標由近及遠、單個目標、地面背景
data12	1500	目標由遠及近、單個目標、目標中途機動、地面背景
data13	763	目標由近及遠、單個目標、目標微弱、地面背景
data14	1426	目標由近及遠、單個目標、地面背景、地面車輛目標干擾
data15	751	單個目標、目標機動、地面背景
data16	499	目標由遠及近、單個目標、擴展目標、目標機動、地面背景
data17	500	目標由近及遠、單個目標、目標微弱、地面背景
data18	500	目標由遠及近、單個目標、地面背景
data19	1599	單個目標、目標機動、地面背景
data20	400	單個目標、目標機動、空地背景
data21	500	遠距離、單個目標、地面背景
data22	500	目標由遠及近、單個目標、地面背景

1.2 數據處理與標註

數據處理與標註是將採集到的原始紅外圖像數據進行格式轉換，無效及污染數據剔除，按一定的原則對數據進行加工處理，並為感興趣的目標打上標籤的過程。

1.2.1 數據預處理

每個紅外數據段的原始數據為視頻格式，為了後續數據加工的方便，在數據預處理階段將每個數據段的視頻格式數據轉換為8bit位深的windows位圖格式的多文件的圖像序列。此外原始數據中存在大量由於轉台控制精度不足導致的圖像嚴重晃動的情形，這些數據由於快速相對運動導致景象記錄模糊，且不符合實際應用情況，故在預處理階段對這些數據進行剔除處理。剔除的原則是在連續圖像中是否能夠目視分辨出目標。

1.2.2 數據標註

目標的數據特性是進行數據標註的基礎。目前，已有的關於檢測、跟蹤、識別問題的公開數據集中通常使用方框標註或輪廓線標註的方式，在指定目標位置的同時，指定目標區域，也指定目標的邊界。這是因為這些公開數據集通常以可見光圖像為基礎，目標在圖像中表現為一個帶有豐富紋理的較大區域。然而，本數據集中的紅外數據特性與可見光圖像中的數據特性有較大差異，主要表現在：

（1）由於拍攝距離的巨大差異導致目標尺度變化巨大，在較近距離處無人機在紅外圖像中表現為擴展目標，遠距離表現為點目標；

（2）紅外圖像中目標的熱輻射特性使其紋理相對單一，即在晴朗天空陽光照射條件下，無人機機身通體表現為高輻射亮區；在沒有陽光照射條件下，僅無人機機頭發動機位置表現為亮區。

基於上述兩點分析，為適應目標的尺度變化並保持標註結果形式的一致性，同時考慮弱小目標檢測跟蹤的主題點目標的研究難度遠大於擴展目標，且實際上點目標的數據也遠多於擴展目標的情況。圖像中目標標註採用點標註的方式，即通過目標在圖像上的整像素坐標位置來表示目標。對於表現為擴展目標的數據，通過對目標亮區域進行二值化分割，計算區域重心並對坐標四捨五入的方式給出位置。

具體標註實踐中採用人工標註和半自動標註人工確認的方式來完成。

2 數據樣本描述

本數據集共包含有22個數據段，數據段的命名從data1開始依次遞增至data22。每個數據段都主要包括序列圖像數據和標註數據兩類，下面分別對這兩類數據的典型樣本進行描述和分析。

2.1 圖像數據樣本

數據集中的每幅紅外圖像的分辨率為256×256像素、8 bit位深、大小為193 KB，圖像存儲格式為windows位圖，後綴名為.bmp。每個數據段內的圖像文件名即為對應數據幀的編號，圖像文件示例如圖2所示。即在每個數據段內圖像數據文件名從0.bmp開始依次遞增至N.bmp，其中N+1為本數據段內紅外圖像的總幀數。

圖片

圖2 windows文件系統下某數據段樣本中圖像數據詳情

圖3顯示了從6個不同數據段中各抽取1幀圖像的樣本示例，目標在圖像中顯示為擴展目標或點目標。圖3中的圖像數據來源及目標位置坐標情況如表3所示。

圖片（a）

圖片（b）

圖片（c）

圖片（d）

圖片（e）

圖片（f）

圖3 環境及目標的部分紅外樣本圖像

表3 紅外樣本圖像來源及目標位置說明

圖號	數據段	幀號	目標位置坐標
a	data1	125	(116, 130)
b	data2	178	(117, 130) (142, 126)
c	data3	169	(98, 205)
d	data5	225	(101, 152)
e	data7	237	(126, 132)
f	data8	264	(89, 146)

2.2 標註數據樣本

標註數據結果以*.txt文件為格式存儲，其中*為對應的圖像序列文件夾名稱（如data1、data2等），具體格式約定如表4所示。

表4 數據標註文件格式說明

第1行	測試編號 數據名 數據總幀數 航跡總數
第2行	frame:0	目標數	object:1	x坐標	y坐標	object:2	x坐標	y坐標	……
第3行	frame:1	目標數	object:1	x坐標	y坐標	object:2	x坐標	y坐標	……
……	……
第N+2行	frame:N	目標數	object:1	x坐標	y坐標	object:2	x坐標	y坐標	……

標註文件的具體約束事項如下：

（1）每個圖像序列的標註結果保存為1個文件；

（2）結果文件中所有英文標識均使用小寫字母，所有數量標識均使用阿拉伯數字；

（3）每個結果文件中的目標都從1開始，遞增編號，同一幀中目標無重複編號；

（4）同一段數據，若有目標出視場後再進入視場的情況，則需對重新進入的目標使用新的編號；

（5）同一圖像幀的數據結果保存為一行，若本幀未檢測到目標，則目標數量記為0；

（6）同一數據行內不同字段之間以空格間隔；

（7）目標x/y坐標值應該是位於0–255之間的浮點型數字，即以圖像左上角為起始點，向右向下為正，且起始坐標為（0,0）；

（8）字段中的標點符號均為英文字符。

下面以數據集中data2數據為例對標註數據進行解釋說明，如圖4所示。

圖片

圖4 數據標註文件樣本舉例

在第1行中，字段「0」表示測試編號，數據集中提供的標註結果統一編號為0，若依據該文件格式生成測試結果，可用該編號對同一段數據的多次測試進行區分；字段「data2」表示標註結果對應data2數據段；字段599表示該數據段共有599幀圖像；字段「2」表示該數據段內共有2條航跡。

在第2行中，字段「frame:0」表示當前行的標註結果對應第0幀圖像；字段「2」表示當前幀圖像中共計2個目標；字段「object:1」表示接續下來的兩個字段是目標1的圖像坐標；字段「127」表示目標1的圖像位置為自圖像左上點位0點，x坐標為127；字段「131」表示目標1的圖像位置為自圖像左上點位0點，y坐標為131；字段「object:2」表示接續下來的兩個字段是目標2的圖像坐標；字段「173」表示目標2的圖像位置為自圖像左上點位0點，x坐標為173；字段「125」表示目標2的圖像位置為自圖像左上點位0點，y坐標為125。第3–600行的字段含義同第2行，可依次類推。

3 數據質量控制和評估

本數據集中的所有圖像採集都是通過中波紅外成像設備在專門設計的實驗中實測採集得到，目標和環境的紅外輻射特性真實可靠。

目標在圖像中的位置信息均為人工標註或半自動標註下人工確認的結果，並經過多次核查檢驗，以確保數據質量。數據集中所提供的評分準則及程序都已經過大量的實測驗證，評分結果符合設計目標和**對抗需求^[4]。

本數據集中的部分數據已在第二屆「空天杯」創新創意大賽（2019）——探測識別算法挑戰賽中發布供參賽選手測試及正式比賽使用。目前大賽已經正式落下帷幕，本數據集作為探測識別算法挑戰賽紅外專題下算法性能比測的重要依據，為大賽評選出了相應獎項。大賽的圓滿舉辦證實了本數據集中圖像數據、目標標註和評分準則的質量和科學可信度，可作為更廣泛科研人員的數據素材。

4 數據價值

本數據集針對固定翼無人機目標的紅外序列圖像檢測跟蹤問題，設計了22個典型場景，具體涵蓋了單目標天空背景、兩目標交叉飛行天空背景、單目標地面複雜背景、目標由遠及近、目標由近及遠、目標離開視場、目標重回視場等情形。每個典型場景對應1個段數據、共計22個數據段、30條航跡、16177幀圖像、16944個目標及標註。該類型的數據集在國內尚屬首次成系列的公開發布，這些數據情況包括了當前紅外目標檢測識別的以下重難點問題^[5]：

（1）長序列圖像中目標跟蹤；

（2）多目標相互干擾條件下的檢測跟蹤；

（3）複雜環境下弱小目標發現捕獲。

為滿足檢測跟蹤識別算法性能評估的需要^[6][7]，數據集對紅外圖像中的目標進行了位置坐標的標註，並在這些標註結果的基礎上，綜合考慮檢測正確性、檢測精度、航跡正確性、目標漏警、目標虛警等關鍵評價要素，研究提出了符合**對抗發展規律的檢測跟蹤算法綜合性評價準則，並開放了評分程序代碼。本數據集在為相關科研人員開展學習研究工作提供測試實驗數據的同時，也能促進部分現有成果的實用化開發，打破當前**科研領域相對封閉的科研局面，吸引更多的青年科研人員參與**目標探測方法研究，為國家**科研事業發展做貢獻。

此外，在第二屆「空天杯」創新創意大賽結束後，眾多參賽選手和國內同行對本數據集的補充完善版本都提出了申請需求，這也印證了本數據集科研價值。

5 數據使用方法和建議

5.1 數據使用方法

數據的推薦使用方法如下：

（1）使用者利用自己編制的紅外圖像弱小目標檢測跟蹤算法讀取一段圖像數據，並完成檢測跟蹤任務；

（2）按照標註文件的存儲格式，將該段檢測跟蹤結果保存在自定義文件中；

（3）通過本數據集提供的評價準則（推薦使用數據集提供的評分程序代碼）將標註數據與檢測跟蹤結果進行比對計算得分，作為當前數據段的結果；

（4）針對全部數據段順次完成上述步驟後，累加可計算總得分。也可根據具體的實際應用需求，基於標註結果自行設計新的評分規則並計分比較。

5.2 數據使用評價

數據使用後其結果評價可通過如下原則計分評價，得分高者為優。數據使用結果的最終得分由檢測跟蹤得分和航跡連續性得分兩部分累計得到。為區分檢測跟蹤的精度，在數據使用評價中給出標註框的定義，即以1.2.2節給出的標註點為中心，上下作用各擴充N個像素，得到(N+1)×(N+1)的標註框。下文通過標註框來定義檢測跟蹤的得分。

       1. 检测跟踪得分        

（1）正確檢測且精度滿足預定要求，即有且僅有1個檢測結果位於3×3的標註框內（含），每個坐標位置得1分；

（2）正確檢測但精度不滿足預定要求，即有且僅有1個檢測結果位於3×3的標註框外且位於9×9的標註框內（含），每個坐標位置得0分；

（3）漏檢，即9×9的標註框內（含）無檢測結果，每個坐標位置減1分；

（4）虛警，即在9×9的標註框外出現檢測結果，或1個標註框內出現多於1個的檢測結果，每個坐標位置減2分；

         2. 航迹连续性得分      

（5）在正確檢測且滿足預定精度的前提下，即在條目（1）情形下，每段數據的航跡連續性得分為：同一目標數量最多的航跡編號數目×1分。

在上述數據使用評價準則下，利用本數據集測試結果滿分為41114分。本數據集提供上述評價準則的評分程序代碼。

致 謝

本數據集中的部分數據曾供第二屆「空天杯」創新創意大賽（2019）——探測識別算法挑戰賽（紅外探測識別方向）使用，感謝大賽組委會對本數據集的認可和採納。在數據集整理、測試、評審和發布，特別是評分準則設計的過程中，得到了**研究院邱志明院士，中國空空導彈研究院白曉東研究員，中國航天科工二院陳軍文研究員，北京航空航天大學王俊教授，廈門大學王程教授，華中科技大學張天序教授，北京理工大學楊小鵬教授，**裝備發展部朱南機研究員，**科技大學付強、王宏強、王壯、張焱教授的指導，本數據集也凝結了這些專家們的寶貴經驗和智慧。對上述專家辛勤付出，在此表示由衷的感謝。感謝**科技大學王平研究員帶領的科研團隊在第二屆「空天杯」大賽前對本數據集中的部分數據進行了大量細緻的測試和準備工作，並為數據的發布提供了大量幫助。感謝來自全國各大高校的30餘支參賽隊伍對本數據集提出了許多有益的建議和意見。

參考文獻

1. 陳錢. 紅外目標探測[M]. 北京: 電子工業出版社, 2016.
2. 皮特. 地面目標和背景的熱紅外特性[M]. 北京: **工業出版社, 2004.
3. 汪大寶. 複雜背景下的紅外弱小目標檢測與跟蹤技術研究[D]. 西安: 西安電子科技大學, 2010.
4. WUB, JI H. A Novel algorithm for point-target detection based on third-order cumulant in infrared image[C]. ICSP Proceedings, Baltimore, USA, 2006.
5. ZHU F Y, QIN S Y. A detection algorithm for maneuvering IR point target and its performance evaluation[J]. IEEE, 2006:1-5.
6. KRISTAN M, MATAS J, LEONARDIS A, et al. The visual object tracking vot2015 challenge results[C]. Proceedings ICCV Workshop, Baltimore, USA , 2015.
7. BEARD M, REUTER S, GRANSTROM K, et al. Multiple expanted target tracking with labeled random finite sets[J]. IEEE Trans. On Signal Processing, 2016, 64(7):1638-1653.

數據引用格式

回丙偉, 宋志勇, 范紅旗, 等. 紅外序列圖像中弱小飛機目標檢測跟蹤數據集[DB/OL]. Science Data Bank, 2019. (2019-10-28). DOI: 10.11922/csdata.2019.0074.zh.