圖像拼接的綜述、各種算法描述，算是對自己學習的一個交代
均值濾波的方法是,對將處理的當前像素,選擇一個模板,該模板為其鄰近 的若干像素組成,用模板中像素的均值來替代原像素的值。 ②中值濾波——中值濾波是基于排序統計理論的—種能有效抑制噪聲的非線性 信號處理技術。它的核心算法是將模板中的數據進行排序,這樣,如果一個 亮點(暗點)的噪聲,就會在排序過程中被排在數據序列的最右側或者最左 側,因此,最終選擇的數據序列中見位置上的值一般不是噪聲點值,由此便 可以達到抑制噪聲的目的 這部分的算法很成熟,在FPGA上的實現也很多,也可以比較方便地找到參考算法的 實現。 12圖像配準 其實是四個要素的組合,即: 1.選定特征空間——特征空間是由參與匹配的圖像特征構成。特征可以為圖像的灰 度特征,也可以是邊界、輪廓、顯著特征(如角點、線交叉點、高曲率點)、統計 特征(如矩不變量、中心)、高層結構描述與句法描述等;這兒其實是定義了配準 的空間范圍; 2.相似性度量——評估待匹配特征之間的相似性,它通常定義為某種代價函數或者 是距離函數;這兒是定義需要選定的某種算法 3.搜索空間——待估計參數組成的空間就稱為搜索空間。也就是說,搜索空間是指 所有可能的變換組成的空間,這兒其實是定義了搜索算法的空間復雜度 4.搜索策略—搜索策略是指用合適的方法在搜索空間中找出平移、旋轉等變換參 數的最優估計,使得相似性度量達到最大值,這兒其實是定義了搜索算法的時間 復雜度; 121基于區域的配準方法 基于區域的配準方法——不檢測圖像中的特征,直接使用窗口或者整幅圖像來進行配 準 從待拼接圖像的灰度值出發,對待配準圖像中一塊區域與參考圖像中的相同尺寸的區 域使用最小二乘法或者其它數學方法計算其灰度值的差異,對此差異比較后來判斷待拼接 圖像重疊區域的相似程度,由此得到待拼接圖像重疊區域的范圍和位置,從而實現圖像拼 接。也可以通過FFT變換將圖像由時域變換到頻域,然后再進行配準。對位移量比較大的 圖像,可以先校正圖像的旋轉,然后建立兩幅圖像之間的映射關系。 總而言之,有很多不定,已經不是現在主流的研究方向。 評價: 基于區域的方法實現簡單,應用范圍較窄,它的局限性來源于它的基本思想。 ◇首先,它使用的矩形窗口只適用于配準平移變換的圖像,如果圖像有更復雜的變 形,矩形奩口就不能覆蓋參考圖像和待匹配圖像中的同一場景區域; ◇另外,它依賴于窗口中的圖像內容,當窗口中圖像內容平滑而沒有顯著細節時, 很容易引起與其他平滑區域的錯誤匹配。 ◇再次,在最優變換的搜索過程中往往需要巨大的運算量,且對噪聲的影響和對比 度的差異很敏感,魯棒性不強。 22基于特征的配準方法 基于特征的圖像配準方法有很多基本形式及其改進,其總體特點是:不直接利用圖像 像素值,而是通過像素值導出圖像內容最抽象的描述和符號特征,并用此特征為匹配模板, 查找幾幅待配準圖像的灰度局部最大值點、邊界邊緣輪廓、邊緣點、邊緣線段、組織(紋理) 結構、角、頂點、拐點、交叉點、線段、封閉曲線等低級對應特征點及利用特征圖像關系 圖等高級特征,構造方程組,通過數值計算得到變換數來進行圖像對齊,進而確定兩者的 匹配位置,實現特征點、特征線段等的拼接,并且可以提高計算速度。 基于特征的配準方法,一般分為四個步驟 1.特征檢測——從圖像中檢測出顯著且獨特的圖像特征,包括閉合區域、直線段 邊緣、輪廓、點。 2.特征匹配——相似性度量,確定圖像之間特征的對應關系,又分為如下幾小類 )使用空域關系的方法 ②使用不變描述符的方法、 ③松弛方法、 ④金字塔和小波的方法 3.變換模型的估計——變換函數選擇和函數參數估計 4.圖像變換和重采樣——可以通過前向或后向的方式來實現,插值的方法有最近鄰 插值、雙線性插值、雙三次函數插值、二次樣條插值、三次B樣條插值、高階B 樣條插值 評價 基于特征的方法普遍適用于局部結構信息比灰度信息更顯著的情況,能夠處理圖像之 間復雜變形的情況,不足之處是特征檢測困難且不穩定,最關鍵的一點是需要有一種判別 力很強的、魯棒的且對圖像之間變化保持不變的特征匹配算法。 13圖像再投影 基本方法:需要選擇一個合成面,如果僅僅是只有幾張圖像進行拼接,一個普遍的方 法是選擇其中的一幅圖像作為參考圖像,然后把所有其他的圖像都進行扭曲變形到參考圖 像的坐標系上去,這樣合成的結果稱為平面全景圖,這是一個透視投影變換。 為了減少投影失真,平面投影→圓柱面投影→球面投影→立方體投影 13.1平面再投影 選其中某一張圖像為參考圖像,然后把所有其它的圖像進行扭曲變形,從而變換到參 考圖像的坐標系中去。由于這種模型本質上還足透視投影,因此圖像在扭曲變形之后直線 仍然還是直線。對丁大視場的圖像拼接,平面投影方法會使得最終拼接圖像在邊緣出現扭 曲過大的情況。在實際,當視場接近或超過90時,平面投影的拼接圖像會有很大的失真。 132柱面再投影 圓柱面再投影非常適合于相機繞單一軸線旋轉所得到的圖像序列拼接,在這種情形 下.在不同旋轉角度得到的圖像由完全的水平位移相關聯。這一點很有意義,因為它避免 了復雜的單應變換的計算,而且輸出得到的圖像沒有平面再投影存在的扭曲。相反,場景 中的直線被映射為正弦曲線。但是,這種方法需要對相機進行預先的標定,計算出相機的 焦距和光心的偏移半標。 133球面再投影 球面再投影的優點是可以實現任意角度的旋轉,但缺點是由于每個球面圖像有多個相 鄰圖像,因此在球面再投影中圖像求交定位比較困難,而且很難找到一個與球面相對應且 易于存取的數據結構。 14圖像融合技術 在完成了兩幅圖像的配準之后,得到了兩幅圖像之間的變換矩陣,就可以確定它們之 間的重疊區域,圖像融合的任務就是把配準后的兩帽圖像根據配準的位置合并為一幗拼接 圖像。這一步主要包括了如何選擇再投影合成面以及如何對兩幅圖像重疊區域的像素進行 混合而得到一幅無縫且清晰的圖像。 所謂無縫,是指在圖像拼接結果中,不應該看到兩幅圖像在拼接過程中留下的痕跡, 即不能出現圖像拼接縫隙。然而,由于待拼接的兩咡圖像分別是由不同的相機在同一時刻 采集的,受相機固有因素的影響,采集得到圖像的曝光率不可能完全一致,如果在圖像的 融合中,僅僅將兩幅圖像重疊區域簡單地疊加起來,在它們的過渡區域必然會有明顯的拼 接縫隙。另一方面,在圖像配準階段所得到的圖像之間的變換模型只是針對整個圖像區域, 對一些存在局部非規則形變的圖像而言,全局變換模型在圖像的局部區域可能不適用,而 使得拼接圖像的局部沒有對齊,因此在拼接圖像中會岀現局部模糊。如何處理圖像融合過 程中岀現的拼縫和模糊問題,實現真正意義上的無縫且清晰的圖像,正是圖像融合過程所 要解決的問題。 融合策略的選擇應當滿足兩方面的要求 拼合邊界過渡應平滑,消除拼合接縫實現無縫拼接; 2.盡量保證不因拼合處理而損失原始圖像的信息 圖像融合可分為三類:像素級融合、特征級融合和決策級融合 1.像素級(數據級)融合是在圖像嚴格配準的條件下,直接進行像素關聯融合處理; 像素級融合是最基本的處理手段,也是硏究最多的—種,目前主要有以下幾種方 法 平均值法 ②加權平均法 ③中值濾波法 ④多分辨率技術 2.特征級融合是在像素級融合的基礎上,使用模式相關、統計分析的方法進行目標 識別、特征提取,并得到融合結果; 3.決策級融合主要是基于認知模型的方法,采用大型數據庫和專家決策系統,模擬 人的分析、推理過程,以增加判決的智能化和可靠性。 2參考資料 1.碩士論文《門」001_圖像拼接技術研究》 2.碩士論文《門」_002_基于 Levenberg-Marquardt算法圖像拼接硏究》 3.碩土論文《門003_圖像拼接技術研究》 4.網 頁 http://xgli0910.blog.163.com/blog/static/46962168200962583143227 5.科技論文《P」200基于角點特征的KLT跟蹤全景圖像拼接算法》 6.本科論文《門』100圖像邊緣檢測與提取算法的比較》 7.http://www.cnblogs.com/xrwang/archive/2010/03/03/imagefeaturedete ction html 8.http://www.cnblogs.com/xrwang/archive/2011/03/09/ransac-1.html 9.http://blog.163.com/pz124578@126/blog/static/2352269420122271004 7109 10.http://blog.csdnnet/xuyuhua1985/article/details/6371751 11.http://www.openhw.org/project/index.php?act=view&id=1851 12.碩士論文《門」015多圖像拼接算法研究》 13.碩士論文《門010基于特征點圖像拼接的配準算法硏究》 14.http://blog.csdnnet/abcjennifer?viewmode=contents 3圖像拼接中的算法 31圖像預處理 通過幾何變形校正方法對采集到的圖像進行校正后,可以使得相同景物在圖像重疊區 域所成的像有相同的形狀和一致的空間相對位置。 3.2圖像特征檢測 圖像特征檢測包括如下幾種類型的特征檢測 閉合區域 2.輪廓和邊綠區域 3.角點 4.線條 321閉合區域 閉合區域特征是通過圖像分割的方法來檢測到的,分割的精度會大大地影響配準的結 果。近年來,選擇尺度不變區域特征引起了關注,虛擬圓的思想來計算圖像之間平移和尺 度的變化,虛擬圓是一個半徑最大的圓,這個圓所涵括的背景區域不包含邊緣點,一對虛 擬圓就足夠求出平移和尺度的變化量,它相對于圖像邊緣特征來說魯棒性更強,但缺點是 易受局部變化的影響 322邊緣和輪廓 邊緣和輪廓——所謂邊綠輪廓是指甚周圍像素灰度有階越變化或屋頂變化的那些像