網(wǎng)上有很多關(guān)于卷式pos機(jī)紙運(yùn)用于,武漢大學(xué)測繪遙感信息工程國家重點(diǎn)實(shí)驗(yàn)室張永顯的知識(shí)，也有很多人為大家解答關(guān)于卷式pos機(jī)紙運(yùn)用于的問題，今天pos機(jī)之家(www.rcqwhg.com)為大家整理了關(guān)于這方面的知識(shí)，讓我們一起來看下吧!

本文目錄一覽：

1、卷式pos機(jī)紙運(yùn)用于

卷式pos機(jī)紙運(yùn)用于

本文內(nèi)容來源于《測繪學(xué)報(bào)》2023年第2期（審圖號(hào)GS京（2023）0422號(hào)）

面向大視角差的無人機(jī)影像序列學(xué)習(xí)型特征匹配

張永顯1, 馬國銳1, 崔志祥2, 張志軍3

1. 武漢大學(xué)測繪遙感信息工程國家重點(diǎn)實(shí)驗(yàn)室, 湖北 武漢 430079;

2. 31682部隊(duì), 甘肅 蘭州 730020;

3. 中國地質(zhì)調(diào)查局西寧自然資源綜合調(diào)查中心, 青海 西寧 810000

基金項(xiàng)目：國家重點(diǎn)研發(fā)計(jì)劃（2018YFB1004603）；中國地質(zhì)調(diào)查局項(xiàng)目（DD20191016）

摘要：針對(duì)無人機(jī)大視角差影像之間存在仿射變形大、遮擋嚴(yán)重、視角差異顯著等問題導(dǎo)致的同名點(diǎn)匹配存在多解和大量誤匹配難題，本文提出了一種適用于大視角差影像穩(wěn)健匹配方法。利用改進(jìn)的具有雙頭通信機(jī)制的D2-Net卷積神經(jīng)網(wǎng)絡(luò)提取傾斜影像的學(xué)習(xí)型特征，在之后的同名點(diǎn)匹配搜索階段，為解決唯一匹配點(diǎn)受到較多潛在可行解干擾的問題，設(shè)計(jì)了一種由粗到精的提純策略，在穩(wěn)健匹配同名點(diǎn)對(duì)的同時(shí)大幅降低匹配開銷成本。將HPatches數(shù)據(jù)集中多組不同場景的影像序列和實(shí)地采集的無人機(jī)大視角差影像序列作為數(shù)據(jù)源對(duì)提出的方法進(jìn)行測試，并與具有代表性的基于手工設(shè)計(jì)的ASIFT方法和基于深度學(xué)習(xí)的多種方法進(jìn)行了比較。結(jié)果表明，本文方法能夠提取穩(wěn)健的大視角差影像序列仿射不變學(xué)習(xí)型特征，在正確匹配點(diǎn)數(shù)、匹配點(diǎn)正確率、匹配點(diǎn)均方根誤差和匹配時(shí)間開銷方面具有優(yōu)勢。

關(guān)鍵詞：影像匹配 仿射變換 深度學(xué)習(xí)特征 卷積神經(jīng)網(wǎng)絡(luò) 無人機(jī)

張永顯, 馬國銳, 崔志祥, 等. 面向大視角差的無人機(jī)影像序列學(xué)習(xí)型特征匹配[J]. 測繪學(xué)報(bào)，2023，52(2)：230-243. DOI: 10.11947/j.AGCS.2023.20210472

ZHANG Yongxian, MA Guorui, CUI Zhixiang, et al. Learning feature matching for UAV image sequences with significantly different viewpoints[J]. Acta Geodaetica et Cartographica Sinica, 2023, 52(2): 230-243. DOI: 10.11947/j.AGCS.2023.20210472

閱讀全文：http://xb.chinasmp.com/article/2023/1001-1595/20230206.htm

大視角差影像序列匹配是利用傾斜攝影平臺(tái)在不同時(shí)間、不同方位對(duì)目標(biāo)區(qū)域依次獲取多幅視角變化較大的影像，然后通過尋找不同影像之間的同名像點(diǎn)，得到像素級(jí)對(duì)應(yīng)關(guān)系的方法，在三維重建、災(zāi)害應(yīng)急、紋理映射等應(yīng)用發(fā)揮著重要作用^[1]，服務(wù)于地理空間感知智能的發(fā)展^[2]。不同于常規(guī)的航空或衛(wèi)星影像，無人機(jī)通過搭載非量測型相機(jī)拍攝大視角差影像序列，包含了更豐富的側(cè)面信息，能夠更加客觀真實(shí)地反映目標(biāo)區(qū)域的實(shí)際情況^[3]。隨著影像在質(zhì)與量方面的升級(jí)，實(shí)際應(yīng)用中對(duì)大視角差影像匹配算法的正確率、匹配點(diǎn)數(shù)量、匹配精度、匹配耗時(shí)等提出了更高的要求。但由于大視角差圖像序列中存在仿射變形大、遮擋嚴(yán)重、視角差異顯著等問題，使得被攝物體的幾何特征、紋理特征等信息缺失，出現(xiàn)了同名點(diǎn)匹配存在多解和誤匹配等現(xiàn)象，流失了大量有用的特征點(diǎn)信息，導(dǎo)致了最終確定的匹配點(diǎn)分布不均、穩(wěn)健性低下等問題，在此基礎(chǔ)上計(jì)算的圖像之間變換矩陣無法充分體現(xiàn)被攝物體復(fù)雜的變換關(guān)系，嚴(yán)重影響了后續(xù)的工程應(yīng)用^[4]。

針對(duì)上述問題提出的解決大視角差影像匹配方法可劃分為兩大類，一是基于手工設(shè)計(jì)型的特征匹配方法，二是基于深度學(xué)習(xí)型的特征匹配方法?；谑止ぴO(shè)計(jì)的影像視角變化較大的匹配方法歸納起來主要有4種^[5]：①由粗到精的特征匹配。文獻(xiàn)[6]利用SIFT算法獲取特征點(diǎn)，NCC算法優(yōu)選匹配點(diǎn)對(duì)，LSM算法精確定位匹配點(diǎn)同名點(diǎn)對(duì)，實(shí)現(xiàn)了傾斜影像的高精度匹配。②基于仿射不變特征的傾斜影像匹配。文獻(xiàn)[7]基于Gabor濾波分解及相位一致性提取歸一化區(qū)域內(nèi)的特征點(diǎn)，利用高斯混合模型確定同名點(diǎn)及影像間的變換矩陣來解決仿射不變區(qū)域特征點(diǎn)位精度低的問題。③基于幾何糾正的傾斜影像匹配。文獻(xiàn)[8]提出一種具有仿射不變性傾斜影像匹配方法，通過估算影像的相機(jī)軸定向參數(shù)計(jì)算初始仿射矩陣，再逆仿射變換得到糾正影像，對(duì)糾正影像進(jìn)行SIFT匹配實(shí)現(xiàn)傾斜影像的匹配^[9]。文獻(xiàn)[10]利用機(jī)載POS數(shù)據(jù)對(duì)傾斜影像進(jìn)行全局幾何糾正，然后利用SIFT算法實(shí)現(xiàn)影像特征提取和匹配，但這種方法需獲取相機(jī)外方位元素，對(duì)攝影系統(tǒng)提出了較高的要求。④基于模擬畸變的傾斜影像匹配。文獻(xiàn)[11]通過分析SIFT在仿射變化條件下的效率，提出了以圖像變換集為基礎(chǔ)的仿射尺度不變特征變換算法，對(duì)圖像平移、旋轉(zhuǎn)、尺度縮放、光照變化表現(xiàn)出了較好性能?？芍?，上述基于手工設(shè)計(jì)的方法多數(shù)是以SIFT算法為基礎(chǔ)進(jìn)行改進(jìn)，但由于SIFT算法僅適應(yīng)較小仿射變換的約束，使得在視角差異較大時(shí)會(huì)出現(xiàn)計(jì)算復(fù)雜度高，算法穩(wěn)健性低，實(shí)際應(yīng)用性能不佳等問題。

近年來隨著人工智能技術(shù)的發(fā)展，深度卷積神經(jīng)網(wǎng)絡(luò)CNN作為一種高層特征提取器被引入到圖像匹配領(lǐng)域，借助其強(qiáng)大的特征學(xué)習(xí)能力和視覺推理能力，在影像匹配領(lǐng)域取得較好效果^[12]，有望在應(yīng)對(duì)大視角差影像序列匹配存在的困難中取得突破。文獻(xiàn)[13]首先使用卷積神經(jīng)網(wǎng)絡(luò)MC-CNN計(jì)算序列影像匹配，證明了通過卷積神經(jīng)網(wǎng)絡(luò)提取的圖像特征比手工設(shè)計(jì)的特征算子更加準(zhǔn)確。受此啟發(fā)，大量影像匹配工作利用卷積神經(jīng)網(wǎng)絡(luò)來計(jì)算匹配代價(jià)，并取得較好的匹配結(jié)果。如利用孿生網(wǎng)絡(luò)提取特征和計(jì)算描述符相似度的MatchNet網(wǎng)絡(luò)^[14]，采用三元組損失函數(shù)的HardNet網(wǎng)絡(luò)^[15]，同時(shí)提取特征點(diǎn)和描述符的SuperPoint^[16]、D2-Net^[17]、R2D2^[18]等網(wǎng)絡(luò)，這些網(wǎng)絡(luò)模型在標(biāo)準(zhǔn)數(shù)據(jù)集上取得了較好的效果，但直接應(yīng)用于大傾斜無人機(jī)影像的匹配表現(xiàn)不佳^[19]。文獻(xiàn)[20]采用多分支卷積網(wǎng)絡(luò)的傾斜立體影像仿射不變特征匹配，驗(yàn)證了這種方法對(duì)于低空無人機(jī)傾斜立體影像匹配的有效性，然而其匹配精度和匹配效率都受到了限制。

由此可見，從經(jīng)典的特征匹配方法、仿射不變特征匹配、幾何糾正的方法、影像畸變模擬方法再到深度學(xué)習(xí)匹配方法都取得了長足的發(fā)展。但隨著應(yīng)用領(lǐng)域的深入，對(duì)視角變化較大的影像匹配提出了更高的要求，依然面臨較大挑戰(zhàn)，主要表現(xiàn)為：①視角變化大的影像仿射變形大，高分辨率影像潛在同名匹配特征點(diǎn)分布區(qū)域的精確位置難以獲??；②顯著的視角差異使得被攝區(qū)域存在嚴(yán)重遮擋和劇烈光照變化，會(huì)造成影像特征提取不完備、匹配效率低等問題，特別是密集建筑物地區(qū)表現(xiàn)更為突出；③弱光照或夜晚?xiàng)l件下拍攝的圖像往往分辨率低、有較多噪點(diǎn)，缺少足夠的紋理特征，給大視角差圖像匹配任務(wù)帶來了困難。

針對(duì)以上高分辨率大視角差影像匹配存在的相似特征干擾下匹配正確率低、計(jì)算規(guī)模大、同名特征點(diǎn)對(duì)稀少等挑戰(zhàn)，應(yīng)當(dāng)設(shè)計(jì)一個(gè)具備匹配點(diǎn)精度高、耗時(shí)少、穩(wěn)健性強(qiáng)等特點(diǎn)的學(xué)習(xí)型特征匹配模型。在已有的卷積神經(jīng)網(wǎng)絡(luò)模型中，D2-Net是一種能夠高效提取深層次特征的網(wǎng)絡(luò)，通過深層網(wǎng)絡(luò)的學(xué)習(xí)，提取不同影像間的同名特征，具備了高效抵抗影像間非線性輻射畸變和幾何畸變的性能。基于此，本文將通過對(duì)D2-Net網(wǎng)絡(luò)進(jìn)行適應(yīng)性改進(jìn)，使其能夠有效地提取具有旋轉(zhuǎn)不變性的學(xué)習(xí)型特征描述符，來彌補(bǔ)影像特征匹配算法對(duì)視角變化敏感的缺陷，然后采用由粗到精的特征提純策略，實(shí)現(xiàn)穩(wěn)健匹配同名點(diǎn)對(duì)的同時(shí)降低匹配時(shí)間成本，完成大視角差圖像序列高精度匹配。

1.1 本文方法基本思想與流程

大視角差影像序列的穩(wěn)健匹配，核心問題在于如何減小影像視角變化帶來的影響，找到具有旋轉(zhuǎn)不變性的特征表示方法^[21]。為實(shí)現(xiàn)這一目的，本文提出的大視角差影像序列匹配方法著重考慮以下3個(gè)方面：①構(gòu)建一種適合大視角差影像序列旋轉(zhuǎn)不變特征提取和描述的CNN網(wǎng)絡(luò)；②利用已經(jīng)配對(duì)好的光照和拍攝角度都存在較大差異的數(shù)據(jù)訓(xùn)練CNN網(wǎng)絡(luò)，讓CNN特征提取器能夠?qū)W習(xí)到具有視角、尺度、紋理、幾何等變化的影像不變性特征；③設(shè)計(jì)一種對(duì)低內(nèi)點(diǎn)率有較強(qiáng)穩(wěn)健性能的誤匹配剔除算法，以適應(yīng)影像的旋轉(zhuǎn)、尺度等變化。因此，匹配方法主要包括3個(gè)步驟：①網(wǎng)絡(luò)模型設(shè)計(jì)，網(wǎng)絡(luò)設(shè)計(jì)思想主要來源于D2-Net網(wǎng)絡(luò)，對(duì)其增加隨機(jī)旋轉(zhuǎn)單應(yīng)矩陣創(chuàng)建訓(xùn)練圖像對(duì)，形成雙頭通信的D2-Net網(wǎng)絡(luò)結(jié)構(gòu)；②旋轉(zhuǎn)不變學(xué)習(xí)型特征提取與描述，利用構(gòu)造的網(wǎng)絡(luò)模型作為特征提取器，在大視角差影像序列上提取學(xué)習(xí)型特征及其描述符；③特征匹配與誤匹配剔除，特征匹配方法采用特征描述符最近鄰和次近鄰動(dòng)態(tài)最優(yōu)距離之比得到粗匹配同名點(diǎn)，結(jié)合RANSAC算法完成誤匹配點(diǎn)對(duì)剔除，并通過重新驗(yàn)證相似性特征點(diǎn)的幾何一致性，完成特征精匹配。本文方法流程如圖 1所示。

圖 1 本文方法基本流程Fig. 1 The basic flowchart of the proposed algorithm

圖選項(xiàng)

1.2 網(wǎng)絡(luò)模型設(shè)計(jì)

1.2.1 網(wǎng)絡(luò)模型結(jié)構(gòu)

由于卷積神經(jīng)網(wǎng)絡(luò)模型單次輸入影像邊長的最大尺寸受到約束，因此，在處理大幅面影像時(shí)，設(shè)計(jì)對(duì)輸入影像自適應(yīng)降采樣策略，能夠滿足合適的輸入尺寸到網(wǎng)絡(luò)模型進(jìn)行提取特征。另外，卷積神經(jīng)網(wǎng)絡(luò)端到端的匹配方式，會(huì)由于缺少幾何約束，存在過擬合等問題，通常無法達(dá)到手工設(shè)計(jì)方法的精度，通過引入大型數(shù)據(jù)集上預(yù)訓(xùn)練模型到特征提取器中，往往可以達(dá)到更好的匹配效果。本文基于D2-Net網(wǎng)絡(luò)模型構(gòu)建的大視角差影像序列旋轉(zhuǎn)不變特征匹配模型，相比于原始網(wǎng)絡(luò)，顯著性體現(xiàn)在如下兩方面。

第一，通過遷移學(xué)習(xí)微調(diào)原始模型的骨干網(wǎng)絡(luò)VGG16，使構(gòu)建的網(wǎng)絡(luò)模型能夠適應(yīng)于視角差異顯著的圖像匹配。具體做法是通過遷移學(xué)習(xí)凍結(jié)淺層權(quán)重的同時(shí)微調(diào)最后一層，微調(diào)后網(wǎng)絡(luò)結(jié)構(gòu)如圖 2所示。微調(diào)VGG16骨干網(wǎng)絡(luò)能夠有效提取顯著性特征，在篩選特征明顯的關(guān)鍵點(diǎn)時(shí)，降低了在另一幅圖像中搜索同名特征點(diǎn)描述符的耗時(shí)，從而提高影像匹配效率和算法模型性能。為了在Rw×h×c特征空間篩選出較為顯著的特征點(diǎn)，采用了在高維特征圖的通道方向和局部平面內(nèi)同時(shí)最大的篩選策略^[17]，選取VGG16的Conv4_3層的特征描述輸出作為特征圖，為提升匹配效率，特征匹配時(shí)采用前256維向量；另外，為能夠擴(kuò)大卷積計(jì)算的感受野，增加網(wǎng)絡(luò)對(duì)全局特征的提取能力，避免空間分辨率的下降和模型參數(shù)量的提升，本文對(duì)Conv4_3所在的卷積模塊全部采用空洞率為2的空洞卷積，提升特征多尺度表征能力^[17]。

圖 2 特征提取網(wǎng)絡(luò)結(jié)構(gòu)Fig. 2 Feature extraction network structure

圖選項(xiàng)

第二，通過共享骨干網(wǎng)絡(luò)VGG16的方法增加分支網(wǎng)絡(luò)，形成雙頭通信的網(wǎng)絡(luò)結(jié)構(gòu)。不同于D2-Net網(wǎng)絡(luò)的是，設(shè)計(jì)網(wǎng)絡(luò)的輸入是隨機(jī)裁剪成400×400×3大小的圖像區(qū)域，隨機(jī)旋轉(zhuǎn)單應(yīng)矩陣HR(θ)用于在平面內(nèi)將圖像旋轉(zhuǎn)θ度，創(chuàng)建訓(xùn)練圖像對(duì)。本文采用的訓(xùn)練方式、特征提取和特征描述方法遵循文獻(xiàn)[17]中的定義，主要區(qū)別在于本文使用的訓(xùn)練數(shù)據(jù)是基于在平面內(nèi)旋轉(zhuǎn)后的圖像對(duì)。由于傳感器獲取影像的視角差異，不同視角影像中同名點(diǎn)特征描述符存在差異，訓(xùn)練影像除了具備一系列旋轉(zhuǎn)變化，還結(jié)合透視變換、尺度變換、光照變換等進(jìn)一步模擬真實(shí)的視角變化，文獻(xiàn)[22]提出的PhotoTourism數(shù)據(jù)集不僅具有同名點(diǎn)像素級(jí)標(biāo)注的圖像對(duì)，且能夠滿足上述特性，因此，本文還選用了該數(shù)據(jù)集進(jìn)行模型訓(xùn)練。

上述過程對(duì)影像在視角變化較大時(shí)，局部特征匹配性能提升明顯。但在視角變化不大時(shí)，則可能出現(xiàn)特征匹配不上的情況^[23]。為此，設(shè)計(jì)了雙頭通信的D2-Net網(wǎng)絡(luò)結(jié)構(gòu)方法，即第1個(gè)頭部是按照文獻(xiàn)[17]訓(xùn)練MegaDepth數(shù)據(jù)集，通過訓(xùn)練結(jié)果模型來獲取特征點(diǎn)和描述符；第2個(gè)頭部對(duì)應(yīng)于本文所使用的平面內(nèi)旋轉(zhuǎn)數(shù)據(jù)和PhotoTourism訓(xùn)練結(jié)果。由于網(wǎng)絡(luò)結(jié)構(gòu)的雙頭模型共享同一個(gè)骨干網(wǎng)絡(luò)，且僅微調(diào)了網(wǎng)絡(luò)輸出的最后一層，因此這種雙頭通信方法能夠提升模型的效率。在雙頭模型框架下，一旦獲得了特征關(guān)鍵點(diǎn)和描述符，就可以獨(dú)立地為每個(gè)頭部在圖像對(duì)之間獲得特征最近鄰的對(duì)應(yīng)關(guān)系。

1.2.2 特征多尺度檢測模型

盡管訓(xùn)練CNN模型使用了具有尺度差異的訓(xùn)練樣本，學(xué)習(xí)到的特征描述符可以一定程度上抵抗尺度變化，但對(duì)于大尺度差異表現(xiàn)并不理想^[21]。因此，為了獲得特征多尺度描述符，本文對(duì)輸入圖像進(jìn)行上下采樣操作來構(gòu)建圖像多尺度金字塔模型。對(duì)于輸入圖像，通過構(gòu)建5層金字塔來適應(yīng)影像尺度的劇烈變化，系數(shù)σ取值分別為0.25、0.5、1.0、2.0、4.0，中間第3層表示σ=1.0的原始輸入圖像，更高層是中間層的收縮層，更低層是中間層的擴(kuò)張層。上述5個(gè)層用于提取每個(gè)層級(jí)分辨率的特征圖Fl，并應(yīng)用式(1)來累積特征融合結(jié)果。最終從融合后的特征圖中提取特征描述符

(1)

由于圖像多尺度金字塔不同層級(jí)的分辨率不同，在特征累積融合之前，需要對(duì)齊低分辨率特征圖和高分辨率特征圖。對(duì)于在不同層級(jí)可能檢測到的重復(fù)特征，從最粗的尺度開始標(biāo)記檢測特征位置，這些位置被上采樣到更高層級(jí)的特征圖作為模板。如果從高一層級(jí)分辨率特征圖中提取的特征關(guān)鍵點(diǎn)落入模板中，它們將被丟棄^[21]。

1.3 旋轉(zhuǎn)不變學(xué)習(xí)型特征匹配

對(duì)于參考圖像I1第k1個(gè)特征點(diǎn)對(duì)應(yīng)的256維學(xué)習(xí)型特征向量可表示為^[4]

(2)

式(2)與圖像I2第k2個(gè)特征點(diǎn)對(duì)應(yīng)的特征向量歸一化內(nèi)積可用向量夾角θ的余弦值表示^[4]

(3)

利用式(3)可解算最近鄰與次近鄰?qiáng)A角余弦值的比值，以此來判定是否選擇最近鄰?qiáng)A角對(duì)應(yīng)向量作為匹配的特征向量^[4]。記φi1為最近鄰特征向量余弦值，φi2為次近鄰特征向量余弦值，如式(4)所示，閾值ratio越小，所得匹配點(diǎn)顯著性越高，對(duì)于大視角差無人機(jī)影像序列，存在大量潛在同名相似性特征的情況，小ratio值能夠得到更高匹配精度的同名點(diǎn)對(duì)

(4)

對(duì)于特征點(diǎn)數(shù)量豐富的高分辨率無人機(jī)影像而言，可通過尺度降采樣的方式，獲取更能表征圖像整體結(jié)構(gòu)的特征點(diǎn)，避免因影像分辨率較高使得特征點(diǎn)位置包含粗差帶來的錯(cuò)誤匹配，以實(shí)現(xiàn)影像的快速高精度初始匹配。根據(jù)文獻(xiàn)[4]，為在確保匹配正確率的基礎(chǔ)上保留更多匹配點(diǎn)對(duì)，匹配過程中ratio取值為0.4時(shí)最優(yōu)。

1.4 特征誤匹配剔除

當(dāng)影像間存在顯著的幾何變換時(shí)，在同名點(diǎn)匹配搜索過程中，理論上的唯一匹配點(diǎn)將受到更多潛在可行解的干擾^[4]。RANSAC算法常被用來探測最近鄰特征點(diǎn)集的內(nèi)點(diǎn)和外點(diǎn)，但最近鄰特征點(diǎn)集以外的正確匹配點(diǎn)難以檢測，因此可嘗試在RANSAC的基礎(chǔ)上，增加K近鄰特征點(diǎn)集的幾何一致性驗(yàn)證策略，提高正確匹配點(diǎn)數(shù)量和匹配正確率。為此，本文采用了一種由粗到精的提純策略，試圖在提高計(jì)算效率的同時(shí)，進(jìn)一步增加正確匹配點(diǎn)對(duì)數(shù)。具體步驟如下。

(1) 基于動(dòng)態(tài)自適應(yīng)閾值的粗提純。為提高RANSAC的計(jì)算效率和正確匹配點(diǎn)對(duì)的識(shí)別精度，本文采用文獻(xiàn)[21]的動(dòng)態(tài)自適應(yīng)閾值算法，它是在近鄰距離比基礎(chǔ)上進(jìn)行的改進(jìn)，首先根據(jù)描述符的相似性，搜索參考影像上的每個(gè)特征在待匹配影像上兩個(gè)最相似的特征點(diǎn)，即最近鄰特征和次近鄰特征，并將所有最近鄰特征與次近鄰特征在描述符空間的距離差均值作為正確匹配的依據(jù)，計(jì)算公式為^[21]

(5)

式中，dis和dis′分別為最近鄰距離和次近鄰距離；N為參考圖像上的特征點(diǎn)數(shù)；avgdis為距離差均值。當(dāng)dis和dis′距離差滿足式(6)時(shí)，將最近鄰特征作為候選匹配點(diǎn)保留，否則，將該初始匹配點(diǎn)對(duì)剔除^[21]

(6)

(2) RANSAC算法精提純。經(jīng)過動(dòng)態(tài)自適應(yīng)閾值粗提純后，能夠剔除大量誤匹配點(diǎn)，顯著提升內(nèi)點(diǎn)率，但大視角差影像序列之間仿射變形、遮擋、視角差異等問題顯著，仍含有部分錯(cuò)誤匹配點(diǎn)，為此采用RANSAC算法進(jìn)一步精提純，利用影像間單應(yīng)性矩陣作為估計(jì)模型，置信度設(shè)置為0.999，將滿足幾何一致性約束的點(diǎn)作為正確匹配點(diǎn)保留。由于粗提純后的匹配點(diǎn)對(duì)中誤匹配點(diǎn)顯著減少，因此可有效提升RANSAC隨機(jī)采樣和幾何一致性驗(yàn)證的計(jì)算效率，并提高匹配結(jié)果的穩(wěn)健性。

(3) K近鄰特征點(diǎn)的幾何一致性檢驗(yàn)。以上粗提純和精提純過程可能會(huì)錯(cuò)誤剔除正確匹配點(diǎn)，且RANSAC幾何一致性驗(yàn)證過程僅在最近鄰特征點(diǎn)集進(jìn)行，導(dǎo)致次近鄰特征點(diǎn)集的正確匹配點(diǎn)被忽略^[24]，因此本文利用第(2)步計(jì)算的幾何變換矩陣對(duì)基準(zhǔn)影像特征點(diǎn)的k(k=2)近鄰特征再次執(zhí)行幾何一致性檢驗(yàn)，以識(shí)別出更多的正確匹配點(diǎn)，計(jì)算公式為^[24]

(7)

式中，pj為基準(zhǔn)影像上特征點(diǎn)j的坐標(biāo)；p′j和p″j為j點(diǎn)的K近鄰特征點(diǎn)在待匹配影像上的坐標(biāo)；H為影像對(duì)間的變換矩陣；||·||2為L2范數(shù)運(yùn)算符；ε為投影誤差閾值，本文設(shè)置為3。對(duì)于參考影像上的特征點(diǎn)，當(dāng)其最近鄰和次近鄰特征中至少有一個(gè)在預(yù)測同名點(diǎn)pjH的ε范圍內(nèi)時(shí)，即可將投影誤差最小的特征添加到內(nèi)點(diǎn)集當(dāng)中，依次遍歷基準(zhǔn)影像上的所有特征點(diǎn)，最終得到影像間的正確匹配點(diǎn)對(duì)。

本節(jié)首先介紹大視角差影像序列匹配的試驗(yàn)數(shù)據(jù)情況；然后基于HPatches數(shù)據(jù)集對(duì)比分析適應(yīng)于大視角差影像匹配的基于手工設(shè)計(jì)的ASIFT^[11]算法和基于深度學(xué)習(xí)的D2-Net^[17]、ASLFeat^[25]、R2D2^[18]和CMM-Net^[21]算法計(jì)算的匹配結(jié)果；最后利用無人機(jī)實(shí)際飛行數(shù)據(jù)進(jìn)一步對(duì)比試驗(yàn)分析。試驗(yàn)過程中，上述算法模型試驗(yàn)平臺(tái)為聯(lián)想LEGION筆記本，CPUi7-9750H，顯卡GeForce GTX 1660Ti(6 GB顯存)，內(nèi)存32 GB，編程語言Python，操作系統(tǒng)Ubuntu16.04。

2.1 試驗(yàn)數(shù)據(jù)

數(shù)據(jù)包括HPatches標(biāo)準(zhǔn)數(shù)據(jù)集和實(shí)地采集影像兩種類型。HPatches數(shù)據(jù)集包含多組劇烈視角變化的圖像序列，每組圖像序列由1幅參考圖像、5幅不同視角的目標(biāo)圖像以及參考圖像到目標(biāo)圖像的單應(yīng)變換矩陣文件組成，能夠較好地適用于算法性能測試。針對(duì)大視角差影像仿射變形大、視角差異顯著、弱光照或夜晚?xiàng)l件等實(shí)際應(yīng)用中的問題，按照無人機(jī)序列影像關(guān)鍵幀模式在維度上定向抽幀方法^[26]，實(shí)地采集了2組可見光和3組熱紅外大視角差圖像序列，共20幅影像，其中可見光圖像尺寸為2000×1125像素，熱紅外圖像尺寸為640×512像素，此外兩種不同模態(tài)影像之間還存在灰度、分辨率、信噪比、紋理特征等方面的差異，每種場景大視角差圖像序列之間存在尺度、旋轉(zhuǎn)、地物類型、飛行模式(繞飛、直飛、俯沖)等多方面差異，對(duì)測試算法適應(yīng)性具有較好的代表性?；厩闆r如圖 3所示。

圖 3 大視角差影像序列試驗(yàn)數(shù)據(jù)Fig. 3 The test data of image sequences with significantly different viewpoints

圖選項(xiàng)

由圖 3展示的測試數(shù)據(jù)可知，場景1和場景2為尺度近似，視角差異較大的可見光大視角差圖像序列，與基準(zhǔn)圖像視角差異分別約25°、50°、75°，主要差異體現(xiàn)在地物類型。場景3為噪聲明顯、紋理稀疏、尺度差異顯著的夜間熱紅外大視角差圖像序列。場景4為地面建筑密集、尺度近似、視角不同、紋理相對(duì)豐富的繞飛熱紅外圖像序列。場景5為地面建筑密集、尺度差異顯著、視角近似、紋理相對(duì)豐富的平飛熱紅外圖像序列。

2.2 評(píng)價(jià)指標(biāo)

2.2.1 特征重復(fù)率

特征重復(fù)率衡量了特征檢測器在不同視點(diǎn)、不同尺度、不同光照等條件下識(shí)別相同特征的能力，特征檢測器的重復(fù)率越高，找到匹配項(xiàng)的可能性就越高。假設(shè)圖像對(duì)重疊區(qū)域特征點(diǎn)檢測的數(shù)量為N1和N2，對(duì)于第1幅圖像中的每個(gè)特征點(diǎn)，檢測其在第2幅圖像中同名像點(diǎn)是否存在，則同名點(diǎn)特征重復(fù)率計(jì)算為

(8)

式中

式中，xi是從第1幅圖像檢測的特征點(diǎn)；xj是從第2幅圖像檢測的特征點(diǎn)；H計(jì)算第1幅圖像上特征點(diǎn)xi到第2幅圖像的映射。

2.2.2 特征匹配率

基于單應(yīng)性矩陣將待匹配圖像的特征點(diǎn)映射到參考圖像上，可計(jì)算得出重投影誤差矩陣DN1×N2，該矩陣元素表達(dá)成

(9)

當(dāng)相應(yīng)的限差小于設(shè)定的閾值dij<d時(shí)，認(rèn)為是正確匹配點(diǎn)對(duì)。特征匹配率則是基于該公式得到的正確匹配點(diǎn)對(duì)數(shù)量占所有匹配點(diǎn)對(duì)數(shù)量的百分比。

2.2.3 最近鄰重投影誤差

完好的最近鄰特征描述符匹配具有低值的重投影誤差。當(dāng)單應(yīng)性矩陣完美地描述了兩幅圖像之間變換關(guān)系時(shí)，特征重投影誤差趨于0。對(duì)于理想的特征匹配，重投影誤差僅在0處得到峰值。假設(shè)兩幅圖像的同名點(diǎn)滿足xit=Hxi，H是平面單應(yīng)矩陣，xit和xi分別是圖像中對(duì)應(yīng)的同名點(diǎn)，重投影誤差表述為

(10)

式中，xit和xi的估計(jì)值。

2.2.4 匹配點(diǎn)均方根誤差

匹配精度的優(yōu)劣可通過同名點(diǎn)的均方根誤差(RMSE)刻畫，描述為

(11)

式中，xi和

2.3 試驗(yàn)結(jié)果

2.3.1 標(biāo)準(zhǔn)數(shù)據(jù)集匹配測試

為驗(yàn)證本文方法的穩(wěn)健性，基于HPatches數(shù)據(jù)集分別從算法本身改進(jìn)對(duì)比、其他方法對(duì)比和定量檢測描述3個(gè)方面進(jìn)行驗(yàn)證。

首先，由于本文方法是在D2-Net方法基礎(chǔ)上改進(jìn)的，因此算法本身改進(jìn)對(duì)比是與D2-Net算法在特征點(diǎn)檢測和特征描述符進(jìn)行對(duì)比評(píng)價(jià)，特征點(diǎn)檢測的評(píng)價(jià)從特征重復(fù)性方面衡量，特征描述符的評(píng)價(jià)指標(biāo)主要體現(xiàn)在單應(yīng)矩陣的變換精度和特征匹配率。此外，利用尺度上有差異的數(shù)據(jù)集訓(xùn)練結(jié)果，其特征描述符能夠一定程度上抵抗尺度變化，但對(duì)于尺度差異較大的情況難以適應(yīng)，因此還需要構(gòu)造多尺度特征檢測器以增加匹配的穩(wěn)健性。

由圖 4可知，構(gòu)建多尺度特征檢測器對(duì)特征檢測具有非極大值抑制作用，得到更穩(wěn)健的特征點(diǎn)，本文的多尺度方法相比D2-Net多尺度方法，雖匹配點(diǎn)數(shù)量略低，但具有更高的特征重復(fù)率和正確匹配率，且當(dāng)匹配閾值ε=3像素時(shí)具有最優(yōu)的匹配性能，為真實(shí)場景中大視角差圖像序列匹配明確了閾值設(shè)置。

圖 4 模型改進(jìn)前后特征提取重復(fù)率、匹配數(shù)量、匹配率對(duì)比Fig. 4 Comparison of feature repetition rate, matching number, and matching rate

圖選項(xiàng)

然后，選取了HPatches數(shù)據(jù)集中視點(diǎn)變化顯著的55組圖像對(duì)，對(duì)比本文方法、D2-Net方法^[17]、適應(yīng)異源遙感影像匹配的D2-Net改進(jìn)方法CMM-Net^[21]、為獲取高精度的像素級(jí)特征匹配對(duì)D2-Net改進(jìn)的ASLFeat^[25]、R2D2和ASIFT方法。為公平比較，對(duì)比方法的參數(shù)配置為：ASIFT參數(shù)為傾斜度采樣間隔Δt=?=72°t和3×3的二次采樣，最近點(diǎn)與次近點(diǎn)比值ratio設(shè)置成0.8，基于卷積神經(jīng)網(wǎng)絡(luò)的方法中RANSAC約束模型使用單應(yīng)性矩陣作為估計(jì)模型，最小隨機(jī)樣本數(shù)設(shè)置為4，殘差閾值設(shè)置為10，隨機(jī)樣本選擇最大迭代次數(shù)10 000次。試驗(yàn)中把匹配誤差控制在3像素內(nèi)的結(jié)果認(rèn)定為正確匹配點(diǎn)對(duì)，上述6種方法匹配結(jié)果的具體統(tǒng)計(jì)值如圖 5所示?？芍?種不同的匹配方法計(jì)算結(jié)果差異顯著，本文方法在所有對(duì)比方法中匹配點(diǎn)對(duì)數(shù)量位于中間相對(duì)穩(wěn)定位置，且匹配耗時(shí)受不同圖像對(duì)的影響較小，始終保持在較小的匹配時(shí)長。因此，本文設(shè)計(jì)的雙頭D2-Net網(wǎng)絡(luò)通信算法，不僅獲取了豐富的特征點(diǎn)信息，得到穩(wěn)健的匹配結(jié)果，而且匹配耗時(shí)較少，具有較高的綜合性能。此外，也表明了直接利用在大型數(shù)據(jù)集上預(yù)訓(xùn)練模型，其泛化能力對(duì)視角差異較大的影像匹配具有一定的適應(yīng)性，但獲取的正確匹配點(diǎn)對(duì)相對(duì)稀少且分布不均勻，會(huì)使得算法穩(wěn)健性較弱，對(duì)后續(xù)變換矩陣計(jì)算等操作影響嚴(yán)重。

圖 5 HPatches數(shù)據(jù)集55組影像對(duì)匹配Fig. 5 Fifty-five image pairs matching in HPatches dataset

圖選項(xiàng)

2.3.2 實(shí)際數(shù)據(jù)匹配測試

為進(jìn)一步驗(yàn)證本文方法的穩(wěn)健性，采用了5種不同的實(shí)際場景下大視角差圖像序列數(shù)據(jù)進(jìn)行試驗(yàn)，參數(shù)設(shè)置與標(biāo)準(zhǔn)數(shù)據(jù)集一致，具體匹配結(jié)果如圖 6所示。

圖 6 不同方法在5種場景測試數(shù)據(jù)集的匹配結(jié)果Fig. 6 The matching results of the six comparison methods in five scenarios test data

圖選項(xiàng)

圖 6展示了6種方法在5種不同場景的匹配，其中本文方法能夠?qū)λ袌鼍暗挠跋裥蛄薪o出一定數(shù)量的正確匹配點(diǎn)對(duì)?；谑止ぴO(shè)計(jì)的ASIFT方法對(duì)視角差異顯著的影像序列具有較好的適應(yīng)性，但當(dāng)視角差異約50°或者更大時(shí)，存在較多誤匹配(圖 6(b)，場景2)，甚至失敗的情況(圖 6(d)，場景4)，基于深度學(xué)習(xí)的D2-Net、R2D2、CMM-Net和ASLFeat方法對(duì)視角差異較大的圖像對(duì)較為敏感，匹配點(diǎn)對(duì)稀少或者匹配失敗，但在尺度差異大的影像序列上，均取得了較好的匹配效果?？芍瑢?duì)比方法能夠適應(yīng)一定視角差異的影像匹配，但當(dāng)視角差異超過50°時(shí)，匹配效果急劇下降，出現(xiàn)匹配失敗情況，視角差異較大的影像序列匹配穩(wěn)健性較弱。而本文方法在5種場景的所有圖像序列中均得到數(shù)量豐富的正確匹配點(diǎn)，對(duì)于角差異超過50°的影像和尺度差異大的影像匹配，識(shí)別到的同名點(diǎn)均較為充足且分布均勻，說明本文方法在不同視點(diǎn)的傾角變化較大的影像匹配中有著較好的穩(wěn)健性。

圖 7統(tǒng)計(jì)了6種對(duì)比方法在5種場景中的精提純后匹配點(diǎn)數(shù)量和匹配耗時(shí)兩個(gè)指標(biāo)。從匹配點(diǎn)數(shù)量來看，本文方法在以視角差異顯著的場景1、場景2和場景4影像序列中具有較為明顯的優(yōu)勢，其他方法均出現(xiàn)匹配數(shù)量稀少甚至匹配不上的情況，在尺度差異明顯的場景3和場景5中對(duì)比方法有著豐富的匹配點(diǎn)對(duì)數(shù)量，其中D2-Net、ASIFT、CMM-Net和R2D2匹配點(diǎn)數(shù)量均有超過本文方法的情況，說明了在極端視角差異情況下，劇烈的仿射變換會(huì)嚴(yán)重影響匹配算法性能，而尺度差異對(duì)算法性能影響不大。匹配耗時(shí)方面，D2-Net方法對(duì)于視角差異顯著的場景1和場景2，匹配耗時(shí)嚴(yán)重，遠(yuǎn)高于其他方法，基于手工設(shè)計(jì)的ASIFT方法同樣耗時(shí)較長，其他幾種深度學(xué)習(xí)方法匹配耗時(shí)小于手工設(shè)計(jì)方法，且每種場景的影像序列匹配耗時(shí)相當(dāng)，本文方法耗時(shí)在5種不同場景均用時(shí)相對(duì)較少。由此說明，對(duì)于大視角差圖像序列匹配，通過構(gòu)建雙頭通信機(jī)制的本文方法在保證識(shí)別出豐富的同名匹配點(diǎn)對(duì)的同時(shí)，降低了匹配時(shí)間成本，表現(xiàn)出較佳的匹配效果。

圖 7 不同場景匹配結(jié)果對(duì)比Fig. 7 Comparison of matching results in different scenarios

圖選項(xiàng)

表 1重點(diǎn)從匹配精度方面統(tǒng)計(jì)了精提純后特征點(diǎn)數(shù)量占粗匹配特征點(diǎn)數(shù)量的比率(MR)和匹配點(diǎn)對(duì)的均方根誤差(RMSE)。分析表 1數(shù)據(jù)可知，以成像視角差異為主的場景1、場景2和場景4中，本文方法相較于其他方法具有較高的MR，且能夠得到較為可靠的RMSE，而其他方法在這3個(gè)場景中均出現(xiàn)匹配率低下，RMSE結(jié)果值較大等情形。以尺度差異為主的場景3和場景5中，本文方法和其他方法的MR和RMSE均具有較好的結(jié)果。表明本文方法相對(duì)于其他方法能夠很好地適應(yīng)視角差異較大的大傾角影像序列匹配，對(duì)于尺度差異顯著的影像序列，本文方法和其他方法表現(xiàn)相當(dāng)。

表 1 不同場景匹配精度對(duì)比Tab. 1 Comparison of matching accuracy in different scenarios

大視角差影像序列之間由于存在仿射變換、遮擋、視角、紋理等差異，使得同名點(diǎn)匹配存在多解和誤匹配現(xiàn)象，導(dǎo)致了最終識(shí)別的匹配點(diǎn)分布不均、穩(wěn)健性低下等問題。本文提出了一種適用于大視角差影像穩(wěn)健匹配的方法，該方法通過構(gòu)建一種適用于大視角差影像旋轉(zhuǎn)不變學(xué)習(xí)型特征提取和描述的CNN網(wǎng)絡(luò)，設(shè)計(jì)了一種對(duì)低內(nèi)點(diǎn)率有較強(qiáng)穩(wěn)健性能的誤匹配剔除算法，引進(jìn)已經(jīng)配對(duì)好的光照和拍攝角度都存在較大差異的訓(xùn)練數(shù)據(jù)，實(shí)現(xiàn)了在穩(wěn)健匹配同名點(diǎn)對(duì)的同時(shí)大幅降低匹配開銷成本。在HPatches標(biāo)準(zhǔn)數(shù)據(jù)集和5種典型實(shí)地場景進(jìn)行了大視角差影像序列匹配，并與適用于大視角差影像匹配的具有代表性的6種匹配方法進(jìn)行了性能對(duì)比，驗(yàn)證了提出方法在正確匹配點(diǎn)數(shù)、匹配點(diǎn)正確率、匹配點(diǎn)均方根誤差和匹配時(shí)間開銷方面的優(yōu)勢。

本文方法僅使用局部學(xué)習(xí)型特征和由粗到精的誤匹配約束策略來探索大視角差影像不變特征匹配。然而，在視角差異巨大時(shí)，兩幅圖像不再滿足單一的仿射變換，如果要獲得具有很強(qiáng)特征表示能力的卷積神經(jīng)網(wǎng)絡(luò)模型，往往需要大量的訓(xùn)練數(shù)據(jù)，而深度學(xué)習(xí)特征識(shí)別和檢測的準(zhǔn)確性高度依賴于訓(xùn)練數(shù)據(jù)集的質(zhì)量和多樣性。因此，在進(jìn)一步的研究中可以利用遷移學(xué)習(xí)的思想，找到一個(gè)在大型數(shù)據(jù)集上預(yù)訓(xùn)練的網(wǎng)絡(luò)模型和一些接近目標(biāo)數(shù)據(jù)集的標(biāo)記數(shù)據(jù)，利用這些模型和數(shù)據(jù)構(gòu)建模型，增加目標(biāo)數(shù)據(jù)的標(biāo)記，更好地實(shí)現(xiàn)大視角差小樣本圖像匹配和大傾角圖像的亞像素級(jí)精確匹配，以更好地服務(wù)于實(shí)際工程應(yīng)用。

作者簡介

第一作者簡介：張永顯(1990-), 男, 博士生, 研究方向?yàn)槎嘣催b感影像智能化處理。E-mail: zhyx009@whu.edu.cn

通信作者：馬國銳，E-mail：mgr@whu.edu.cn

初審：張 琳

復(fù)審：宋啟凡

終審：金 君

資訊

以上就是關(guān)于卷式pos機(jī)紙運(yùn)用于,武漢大學(xué)測繪遙感信息工程國家重點(diǎn)實(shí)驗(yàn)室張永顯的知識(shí)，后面我們會(huì)繼續(xù)為大家整理關(guān)于卷式pos機(jī)紙運(yùn)用于的知識(shí)，希望能夠幫助到大家！