本算法是基于PM擴(kuò)散神經(jīng)網(wǎng)絡(luò)紅外圖像非均勻校正的方法，我實(shí)現(xiàn)了一下效果還不錯
746 電子與信息學(xué)報 第35卷 從式(13可以看出求導(dǎo)方程的第1項和第2項-1-1,VEP=+1-,;擴(kuò)散門限S般采 均含有+Y,-Y-1和-Y,這3個因子。若用自適應(yīng)估計方法,即當(dāng)前鄰域內(nèi)梯度的絕對偏差 中值。 (19 +1. E :-Y+=0,則 s-MvY-M(vrD)l/6745 WN(Yi,, k-Yi-1j :+ww(Yi, j,j-1,k:) 式中M為中值濾波。常數(shù)的改置是因為0均值和1 (14 方差的正態(tài)分布的絕對偏差中值為0.6745 將式(13)中第1項和第2項的相同部分 4k-k可以進(jìn)行逆推,并令t= (Yk-)合并可以得到關(guān)于G;和O,的代 s=cs,=cw和=cF,得到 公式為 2入VyA(1+02+0) GNVNY+Gsvsr+cwVwr+GEVEY k+1 k-7 I+cn+cs+cw+ 1+VY, i 4/s2 可以得到徧徼分迭代方稈為 fi b)Xiii i3k+入+ 2Ayk(1+20+w) 十￠N+Cs+Cw+E +1 1+ (EnvY+ss+Cwvwy+CEVEY)(21) 1+VYi j, k 式中μ般取值為10。由于1+c+cs+c+cE :k) 數(shù)值范圍為1~5,對比μ值的大小可以忽略,這樣 (15)/(1+c+cs+cw+c)為迭代步長,PMNN 其中n一般取值為10于1+17/的計NC的最終偷微分達(dá)代方程為 算值大約為幾百左右,其與η的乘積近似為常量。 Y1.+1=Yijk 1+CN+Cs+Cw +Ce 所以 PM-NN-NUC的最終梯度下降迭代方程為 (anvY+sVsY +CwwY+CEVEY)(22) (Yi,j.k-fin)X +|;/s2 新模型與PM模型具有相似的偏微分方程形 式,新模型的迭代步長更能精確控訇噪聲圖像的進(jìn) ,h+1 1+vIi k/s 化和還原效果,可與PM算法共同控制無噪圖像的 更新,實(shí)現(xiàn)了偏微分求解方式的一體化。 (16) PM-NN-NUC算法流程如下(用符號Y和 式中r可設(shè)定為106。通過上述推導(dǎo)和分析可見 3k表示校正估計值和PM擴(kuò)散值) 本文PM擴(kuò)散止則化項本身就含有神經(jīng)網(wǎng)絡(luò)非均勻 1)初始化各探測元的增益系數(shù)估計G30和偏 校正的因素,可與神經(jīng)網(wǎng)絡(luò)校正算法共同控制校正置系數(shù)估計O,0。 系數(shù)的更新,真正實(shí)現(xiàn)了最陡下降法求解方式的 (2)對于輸入噪聲圖像X利用增益系數(shù)Gk 體化 繼續(xù)求解式(10)關(guān)于Y的偏微分方程,得到 和偏置系數(shù)O,k計算校正估計值NM 其離散格式為 +O2 aY Ot=A(cNVNY+CsVsr+evRy (3)根據(jù)校正估計值γM計算一步PM擴(kuò)散結(jié) 果Y,并作為新算法的最終輸出結(jié)果,其表達(dá)式 (Yk-f,k)(17)為 其中E,S,W和N代衣東南西北4個方向,擴(kuò)散系 A PM XUC 數(shù)c和梯度V可表示為 1+Cn +os +Cw-CE NUC 少-/s) CNVNYij, &: +cs NUC +CwVwri, k+CEVEY (24) (4)當(dāng)k>maxK(最大迭代次數(shù))或者δ≤5(迭 (18)代終止閾值)時, PM-NN-NUC算法停止迭代,否則 其中VN=F1-,VsP+1-Y,VY=進(jìn)入步驟(5)。其中迭代誤差8定義為 第11期 楊碩等:基于PM擴(kuò)散的紅外焦平面陣列神經(jīng)網(wǎng)絡(luò)非均勻校正算法 2747 6-(+-2((2 第4個是結(jié)構(gòu)相似度SSIM( structure similarity) /=1 SSIM(1,)=(1,D)[c(1,J)[(1,J)(30) (5)令PM擴(kuò)散結(jié)果參與期望值f的計算式中,J表小待比較的兩幅圖像,(),c()和)表 并對k值進(jìn)行奇偶判斷:當(dāng)k為奇數(shù)時,令s=0,示亮度、對比度和結(jié)構(gòu)比較函數(shù),所有參數(shù)根據(jù)文 g=0;當(dāng)為偶數(shù)時,令ω=0w=0。通過獻(xiàn)[14的方法設(shè)置,SSIM越接近于1表明處理結(jié)果 最陡下降方程佔(zhàn)計增益系數(shù)G,A和偏置系數(shù)越理想。 O;,b1,返回第(2)步循環(huán)上述過程。最陡下降方程 最后個是非均勻性NU(Non- Uniformity): 表達(dá)式如下: M A NU (31) i k: X NUCI2 YVMNEE(Y +vY 式中Y;為校正后圖像輸出灰度,Y,為陣列的空間 響應(yīng)均值。 1+VY,i k 為了檢驗PM-NN-NUC算法單幀去噪的能力, 采用了從實(shí)際128×128規(guī)格 LW MCT IRFPA所采 36)集的1幅圖像,場景為室外樓頂處的霓虹燈廣告 其中 “源”字及其背后的支架。本文采用傳統(tǒng)的NN-NUC. TV-NUC. PDE-NUO和 PM-NN-NUC算法進(jìn)行實(shí) PM APM ∠PM , ,, +UNYi-1j, k+Ww ri,j-1, A+us YH+1j.k+WE Y :,i+1/ 驗,各算法的增益系數(shù)和偏移系數(shù)初始值為1和0, t UN t wlw t s+ We 最大迭代次數(shù)maxK設(shè)定為600次,迭代終止閾值 實(shí)驗結(jié)果與分析 選用為實(shí)驗值2×103。NN-NUC算法的達(dá)代步長 選為106, PDE-NUC算法的校非線性擴(kuò)散的迭代 為了測試算法的有效性,設(shè)計了模擬紅外圖像步長為0.25,迭代步長為10-5,擴(kuò)散系數(shù)為100 和實(shí)際紅外圖像的神經(jīng)網(wǎng)絡(luò)校正處理實(shí)驗,計算機(jī)根據(jù)卜述5個評價標(biāo)準(zhǔn)進(jìn)行性能比較。圖1給出了 配置為ntel酷容i72670qm,基準(zhǔn)頻率為2(H,幾種算法的校正結(jié)果,其中圖1(a)為噪聲圖像,圖 4核睿頻為28GHz,內(nèi)存為4G,處理軟件平臺為 1(b).1(c),1d).1(e)分別是 NN-NUC算法,TV-NUC Matlab R2012(a) 算法, PDE-NUC算法和木文算法迭代100次后的 41PM- NN-NUC的單幀圖像校正性能 校正結(jié)果,圖1(f)是兩點(diǎn)定標(biāo)校正結(jié)果。 為了客觀地評價校止性能,采用如下評判標(biāo)準(zhǔn) 從圖1可以看出,中于NN-NUC算法的期望值 第1個是均方根誤差RMSE( Root Mean square為鄰域平均,所以隨著迭代次數(shù)增加,圖像出現(xiàn)了 Error 模糊和退化現(xiàn)象:TV-NUC算法校正后圖像的邊緣 RMSE=N>>0,=x)2(27)得到保圖,但是“訴”字部分的紋發(fā)生退化,這 是由」TV-NUC算法期望值的計算以線性平均運(yùn) 式中y,和y表示校正圖像和理想圖像。RMSF越算為主的緣故。 PDE-NUC算法利用了各向異性擴(kuò) 小,效果越好 散特性,校正后圖像的邊緣和紋理保持的很好。但 第2個是信噪比SNR( Signal to Noise ratio):存留了大量的剩余噪聲。這是由于校正期望值主要 SNR=∑∑Y/RMSE2 取決于非線性濾波的結(jié)果,·旦非線性濾波效果不 好,直接影響整幅圖像的校正質(zhì)量。而木文提出的 SNR用于衡量圖像質(zhì)量高低,降噪效果越好,則新算法經(jīng)過多次迭代,“源”字的質(zhì)感依然存在,旁 SNR越人 邊的欄桿也清晰可見。校正后圖像的剩余噪聲最少, 第3個是圖像佳數(shù)FOM( Figure Of Merit:這是由于新算法中校正和打散過程是交替進(jìn)行,護(hù) 散系數(shù)和迭代步長又是自適應(yīng)調(diào)整的,所以校正效 FOM= 1+ 果要優(yōu)于其它幾種算法。 式中N,和N2表示檢測邊緣和理想邊緣點(diǎn)數(shù),d2表 圖2為不同方法進(jìn)行100次迭代后所得到的 示第i個檢測邊緣與最近的理想邊緣之間的歐氏距RMSE曲線,以兩點(diǎn)校正后的圖像作為參考的理想 離,ε為常數(shù)。FOM越接近于1表明檢測到邊緣越圖像,如圖1f)所示。可以看出本文提出的算法只 丑想。 經(jīng)過二十多次迭代就基本達(dá)到穩(wěn)定,且對應(yīng)的 2748 電子與信息學(xué)報 第35卷 s出 (a)原始圖像 (bNN-NUC c)TV-NUC (OIPDE-NUC (O)PM-N\-NLC (門兩點(diǎn)定標(biāo)校正 圖1單幀紅外圖像校正結(jié)耒比較 RMSE也最小,校正后的圖像與真實(shí)圖像最接近。最不理想。所以 PM-NN-NUC算法的校正效果最 利用信噪比SNR來量化對比不同校止方法經(jīng)100次好。 迭代后的校正效果。實(shí)驗結(jié)果如圖3所示,木文提42 PM-NN-NUC的多幀圖像抑制鬼影性能 出的算法校正后圖像對應(yīng)的SNR佶最大,因此校正 為了描述 NN-NUC算法中引起鬼影的原因,本 效果最好。 文采用另外一組來用 Hgcdte長波IFPA所采集 表1為各算法的FOM,SSIM和NU參數(shù)性能的200幀紅外圖像序列進(jìn)行試驗,場景內(nèi)容是室外 比較,依然以兩點(diǎn)校正后的圖像作為參考的理想圖大空冷背景下的飛機(jī)目標(biāo)。圖4為 NN-NUC算法中 邊緣點(diǎn)(64,59)的偏移校正系數(shù)?？梢钥闯?偏移校 像。比較結(jié)果表明本文提出的新算法邊緣保留程度正系數(shù)在第120幀圖像處發(fā)牛了明顯的異常。圖5 最高,與理想圖像的結(jié)構(gòu)最相似。NN-NUC算法的為第120咴原始圖像和 NN-NUC算法校正后圖像 剩余非均勻性最低,但是其校正后的圖像整體模糊,從圖5(b)上可以看出校正后圖像上存在鬼影。 表1紅外圖像校正結(jié)果的FOM,SIM和NU參數(shù)性能比較 原始圖像 NN-NUC TV-NUC PDE-NUC PM-NN-NLC FOM 0.42 0.56 0.62 SSIM 0.61 1.57 1.0 4) 0 0.6 2 0,2 0.2 403 2)4C 10 0 04083120160200 選代次數(shù) 迭代次數(shù) 楨數(shù) P\nN-NUC+ TV-NUC HNN-NUC 0- PDE-NUC NN-NUC -D- PDENUC 圖2兒種算法的RMSE比較 圖3川種算法的SN比較 圖4 NN-NUC算法中邊緣點(diǎn) (641,59)的偏置校正系數(shù) 第11期 楊碩等:基于PM擴(kuò)散的紅外焦平面陣列神經(jīng)網(wǎng)絡(luò)非均勻校正算法 2749 圖7為新算法中像素(64,59處得到的偏移校止 系數(shù)。偏移校正系數(shù)在第120幀圖像處無異常變化。 最后比較NN-NUC, TV-NUC, PDE-NUC和 PM-NN-NUC算法的去鬼影效果。都采用像素(64 59處偏置系數(shù)的時域變化米衡量上述4種算法的去 鬼影能力。其比較結(jié)果如圖8和圖9所示,不具有 去鬼影能力的 NN-NUC算法的偏置系數(shù)更新至100 a)原始圖像 ( bJN NLC校正后圖像 幀左右時校正系數(shù)發(fā)生異常跳躍,從而產(chǎn)生鬼影。 而其它具有去除鬼影能力的算法各自偏置系數(shù)的更 圖5紅外圖像的鬼影實(shí)驗 新相對比較平穩(wěn),沒有發(fā)生異常更新,因此在一定 為了說明新算法 PM-NN-NUC具有抑制鬼影 程度上抑制了鬼影產(chǎn)生。其中 PDE-NUC和PM NN-NUC算法的偏置系數(shù)在100幀左右時變化相對 的能力,本節(jié)對新算法在邊緣像素(64,59)處的相關(guān) 史加屮穩(wěn),也進(jìn)一步說明了擴(kuò)散系數(shù)對邊緣區(qū)域的 計算進(jìn)行了分析取第100幀校正后圖像中像素(64 濾波處理控制的更好。 59)為中心的3×3區(qū)域,如圖6(a所示。圖6(b)為 中心像素與鄰域各像素之間的灰度差值。各向異性 總結(jié) 擴(kuò)散擴(kuò)散系數(shù)控制擴(kuò)散濾波處理,使得具有較人 本文提出了·種基于PM模型的神經(jīng)網(wǎng)絡(luò)非均 梯度值的邊緣位置停止擴(kuò)散,避免異常校正。圖6(c)勻校正算法( PM-NN-NUC),建立了關(guān)于非均勻校 給出了新算法在(6459)處計算得到的北、南、西、正的極小化模型。通過對新模型的最陡下降方程和 東4個方向上的擴(kuò)散系數(shù),其中擴(kuò)散門限為50。通偏微分方程的推導(dǎo)和分析,得出了PMNN-NUC算 過圖6()可以看出由于像素(64,59)的擴(kuò)散系數(shù)非常法中存在著神經(jīng)網(wǎng)絡(luò)校正和PM擴(kuò)散在濾潑過程相 小,兒乎不會產(chǎn)生迭代更新,所以該邊緣點(diǎn)濾波后似性的結(jié)論。不儀直接用于產(chǎn)生神經(jīng)網(wǎng)絡(luò)校正的期 能保留下來 望值,還作用于計算迭代步長,而校正系數(shù)又反作 302 5 763 000245 0.00635 1003.3 b 03.0025s0 (e)像素(4,59處:×區(qū)域 (b)中心像素與鄰域灰度差值 cH4個方向的擴(kuò)散系數(shù) 圖6邊緣像素(64,59)的計算分析 400 4 0 400 0120160200 0 060120160200 幀數(shù) 幀數(shù) PAN-NUC→ TV.NUC N\NCC D PDE-NUC 圖7PMNN-NUC算法中點(diǎn)(64,59)的偏置校正系數(shù) 圖8兒種算法對像素(64,59)的時域偏置校正系數(shù) 2750 電子與信息學(xué)報 第35卷 Eao=Ba=心 a) \A-NUC校后圖像 ( byTV-NtC校正后圖像 (c) PDE-NUC校正后圖像 ( dPN-NN-NUC校正后圖像 圖9幾種算法去鬼影能力的比較 用于PM的擴(kuò)散過程,貞正地實(shí)現(xiàn)了PM擴(kuò)散和神 Sang Hong-shi, Yuan Ya-jing, and Zhang Tian-xu. Non 經(jīng)網(wǎng)絡(luò)校正一體化。通過對實(shí)際非均勻性紅外圖像 uniformity correction af infrared focal plane array based on 進(jìn)行校正實(shí)駿,證明新模型可以有效地抑訇非均勻 motion guidance[J. Journal of Image and Graphics, 2011 169):1577-1582 噪聲和偽像產(chǎn)生。 9 Vera. Fi, Meza P, and Torres S. Total variation approach f 參考文獻(xiàn) adaptive non uniformity correction in focal-plane arrays[J 1]盧光林,李閏龍,李濤,等.基于全變分理論的紅外圖像去噪 10]張犬序,袁雅婧,桑紅白,等.基于PDE去鬼影的自適應(yīng)非 J光技術(shù),2012,36(2:194-197 均勻性校正算法研究J.紅外與毫米波學(xué)報,2012,31(2 Lu Zhao-lin, Li Run-long, Li Tao, et al.. Infrared image 177-1×2. denoising based on total variation theory. Laser Zhang Tian-xu. Yuan Ya-jing, Sang Ilong-shi, et al technology,2012,36(2):194-197 PDE-based deghosting algorithm for correction of 2洪聞青,楊南生,王曉東,等,紅外焦平面聯(lián)合非均勻性校正 nonuniformity in infrared focal plane array. Journal of 算法J.光學(xué)學(xué)報,2011,31(61:81-86 Infrared and Millimeter Waves, 2012, 31(2): 177-1 ong wen-ning, ang an-Sheng, ang Xian-dong, et n1l王炳健,拜麗萍,劉上乾,紅外焦平面非均勻性自應(yīng)校正算 Combined nonuniformity correction algorithm of infrared 法實(shí)時實(shí)現(xiàn)門.中匡電子科學(xué)研究院學(xué)報,208,3(2 focal plane arrays[J]. Acta Optica Sinica, 2011, 31(6): 81-86 174-176 3 Harris J G and Chiang Y M. Nonuniformity correction of Wang Bing-jiaIl, Bai Li-pirg, and Liu Shang-qian. Adaptive infrared image sequences using the constant-statistics non-uniformity algorithm real-time constraint[J]. IEEE Transactions on Image Proccssing, 1999 implementation for IRFPA J. Journal of China Academy of 8(8):11481151 Electronics ond Infornation Teclenolag y, 2008, 3(2): 174-176 ady K A. Kruer M R, et al. Adaptive (12 Perona P and Malik J Scale-space and edge detection using nonuniformity correction for IR focal planc arrays using anisotropic diffusion[J]. IE'E't' Transactions on Pattern enra.I networks[C. International Society for Optics and Analysis and Machirie Intelligence, 1990, 12(7): 629-639 Photonics, San diego, CA. USA, 1991: 100-109 13 Yu Y and Acton S T. Speckle reducing anisotropic 5 Vera E and Torres S. Fast adaptive nonuniformity correctio diffusion. TFEE Tran. sect..s an Image Processing, 2002 for infrared focal-plane array detectors. EURAsIPJJournal 11(11):1260-1270 on Applied in Signal Processing, 2005(13): 1994 6施長城,張?zhí)煨?劉慧娜,等,一科紅外焦平面非均勻性組合14韓園強(qiáng),李永禎,王雪松,等基于修正 SSTM HJ SAR T擾效 校正算法紅外與毫米波學(xué)報,2010,29(1):2326 果評佔(zhàn)方法小電子與信息學(xué)報,2011.33(3:711-716 Li Yong-zhen, Wang Xue-song, et al Shi Chang-cheng, Zhang Tian-xu, Liu Hui-na, et al Combinational algorithm for nonuniformity correction of Evaluation of jamming effect on Sar based on method of nfrared focal plane array J. Journal of Infrared and modified structural similarity. Journal of Electronics Millimeter Waves, 2010, 29(1): 23-26 nformation Technology. 2011, 33(3): 711-716 7]劉秀、徐超,金偉其,等.基于幀間運(yùn)動的神經(jīng)網(wǎng)絡(luò)非均勻性 校正及其硬件實(shí)現(xiàn)「.北京理工大學(xué)學(xué)報,2010,301:碩:男,19s3年生,博士,研究方向為紅外圖像預(yù)處理、包 括圖像的非均勻校正和增強(qiáng)等技術(shù) Liu xiu,. Xu Chao, Jin Wei-ai,etal. Neural network趙保軍:男,190年生,教授,博士生導(dǎo)師,研究方向為多光譜 non-uniformity correction by means of frames motion 圖像融合、識別與跟蹤的埋論與技術(shù);高分辨圖像實(shí)時 on and its hardware implementation. Tmnsactions 壓縮、恢復(fù)與傳輸?shù)睦碚撆c技術(shù);智能圖像處理的珪論 of Beijing Institate of Technology, 2010, 30(11): 1331-1335 與技術(shù):激光成像與識別的堐論與技術(shù) 8桑紅石,雅靖,張?zhí)煨?基于運(yùn)動指導(dǎo)的紅外焦平面非均勻唐林波:男,1978年生,講師,碩士生導(dǎo)師,研究方向為高速數(shù) 性校正方法門中國圖象圖形學(xué)報,2011,169):15771582 字信號處理與圖像處理