一個統(tǒng)計與自適應(yīng)信號處理的學(xué)習(xí)總結(jié)，不再贅述，自己看把
這個模型被稱為諧波過程模型。 下面給定一個獨立的、同分布的觀察序列,我們可以用的值的線性組合建立 個相關(guān)觀察的時間序列 如下式所小: x(n) ∑ h(kw(n-k) 該模型便是得到廣泛應(yīng)用的線性隨機信號模型。該模型是線性時不變系統(tǒng),其沖激響應(yīng) 決定了模型的記憶,因此也就決定了輸岀的相關(guān)性質(zhì)。通過適當(dāng)?shù)倪x擇,我們可 以生成具有幾乎任何類型相關(guān)性的時間序列。 除此之外,有理式或極點一零點模型,如 還有分?jǐn)?shù)極 點一零點模型和分形模犁(暫不懂) 從實用的角度看,我們對含參數(shù)模型最感興趣,含參數(shù)模型采取一個完全由有限個參數(shù) 確定的函數(shù)形式,線性含參數(shù)模型更好。 個好的模型應(yīng)具有如下特性:()模型參數(shù)個數(shù)應(yīng)該盡可能的少;()根據(jù)模型對模 型參數(shù)的估計應(yīng)該比較容易:()模型參數(shù)應(yīng)該具有物理意義。 信號建模包括一下幾步:()恰當(dāng)選擇模型;()選擇正確的參數(shù)個數(shù);()使模型適 合實際數(shù)據(jù);()測試模型,看模型是否滿足用戶特殊應(yīng)用的要求 自適應(yīng)濾波 傳統(tǒng)的有固定系數(shù)的頻率選擇性數(shù)字濾波器,有一個特定的響應(yīng)以希望的方式改變輸入 信號的頻譜,它們的關(guān)鍵特征如下: ()濾波器線性時不變 )設(shè)計過程用到希望的通帶、轉(zhuǎn)換波段、通帶波紋和阻帶衰減。我們無需知道要處 理信號的采樣值。 ()因為濾波器是頻率選擇性的,所以當(dāng)輸入信號的各個部分占據(jù)不重疊頻帶時,濾 波器工作得最好。 ()濾波器系數(shù)在設(shè)計階段選定,并在濾波器的正常運行中保持不變。 自適應(yīng)濾波器的顯著特征是:它在上作過程中不需用戶的預(yù)就能改變響應(yīng)以改善性能。 自適應(yīng)濾波器的主要應(yīng)用范闈:系統(tǒng)識別、系統(tǒng)求逆、信號預(yù)測(編碼)、多傳感器 干擾抵消(主動噪聲控制) 自適應(yīng)濾波器的基木要素 期望信號 輸入信號 濾波結(jié)構(gòu) + 自適應(yīng) 誤差信號 算法 先驗知識 性能標(biāo)準(zhǔn) 僅用于設(shè)計階段 ()濾波結(jié)構(gòu):這個模塊使用輸入信號的測量值產(chǎn)生濾波器的輸出。其結(jié)構(gòu)由設(shè)計者 設(shè)定,參數(shù)由自適應(yīng)算法調(diào)整; ()性能標(biāo)準(zhǔn):自適應(yīng)濾波器的輸出和期望響應(yīng)(當(dāng)可獲得時)由模塊處理,并 參照特定應(yīng)用的需要來評佔它的質(zhì)量 )自適應(yīng)算法:自適應(yīng)算法使用性能標(biāo)準(zhǔn)函數(shù)的數(shù)值或它的函藪、輸入的測量值 期望的響應(yīng)值來決定如何修改濾波器的參數(shù),以改善性能。 每個自適應(yīng)濾波應(yīng)用涉及個或多個輸入信號和個期望響應(yīng)信號,這個響應(yīng)信號對 自適應(yīng)濾波器來說可能得到也可能得不到,我們統(tǒng)稱這些有關(guān)信號為自適應(yīng)濾波器的信號工 作環(huán)境()。根據(jù)期望響應(yīng)信號的可得性,我們區(qū)分監(jiān)督型、無監(jiān)督型自適應(yīng)濾波器。設(shè) 計仼何自適應(yīng)濾波器,都需要知道關(guān)于的大量的先驗信息和對特定應(yīng)用的深刻理解。不 可靠的先驗信息或關(guān)于的不正確假設(shè),都可能導(dǎo)致自適應(yīng)濾波性能的嚴(yán)重下降,甚至失 敗 陳列處理(見后) 第二章離散時間信號處理 章主要參考教材,分別復(fù)習(xí)了離散時間信號、確定性信號的變換域分析、離散時 間系統(tǒng)、最小相位系統(tǒng)和系統(tǒng)的可逆性、格型濾波器實現(xiàn)。 其中,最小相位系統(tǒng)和系統(tǒng)的可逆性、格型濾波器實現(xiàn)還需進(jìn)一步研究 第三章隨機變量、矢量和序列 關(guān)于隨機變量、隨機矢量、隨機過程的討論與其他書籍類似,如下僅為一些與本書相 關(guān)的特別之處。 隨機過程的易變性 線性時不變系統(tǒng)的二階矩的穩(wěn)定隨機序列 時域 頻域 域 y(n)=h(n)*x(n) rvx(=h)*r R、(el R(z=h(zr,(z rxy()=h(-1)*r2() Rxv(ejo)=heI rx(ejo Rxy(z=h"(1/ZRx(z ry) h(I)*Ixy Ryejo)=h(ej )Rxy (ejo Ry(Z)=H(ZRx(z ry(=h(*h(D)* Ry (el)=H(cio h (e Rx((e) Ry (Z)=H(Z)H(1/Z")Rx(Z 隨機信號的記憶性 對于方差有限的過程,相關(guān)長度的定義如下 0) ()=)p2() =0 它等于在標(biāo)準(zhǔn)的自相關(guān)序列曲線下的面積,這表明了兩個顯著相關(guān)的樣本之間的最大距 離,其中,)=2=1x(n)x(n N=0|x(n)|2 為時間序列的采樣的自相關(guān)的估計。 過程是沒有記憶的,因此完全可以由它的一階密度米措述,給出一個“零記憶”過程 ω(n)~ID(0,8a)。線性的過程具有記憶特性,它是由生成系統(tǒng)的脈沖響應(yīng)引起的,即 rx()=82rn(1)。 相關(guān)矩陣的一些性質(zhì) 隨機矢量的相關(guān)矩陣是共軛對稱的或者叫厄米特共軛( ),即Rx=R; 隨機矢量的相關(guān)矩陣是非負(fù)定的; 假定矩陣Rx是厄米特的和非負(fù)定的,它的特征值和特行失量分別為A增1和q1, 矩陣R( )特征值為入 假如特征根是互不相同的,那么相應(yīng)的特征矢量q;1就是線性狙立的 特征根11是實的和非負(fù)的 假如特征根入是互不相同的,那么相應(yīng)的特征矢量就是相互正交的,也就是 A≠→qHq1=0i≠ 假定{q1}1是特征矢量的個止交組,這些特征矢量與×的相關(guān)矩陣R的不同特 征值入1相對應(yīng),那么矩陣Rx可以出下式表示 ∧=QRQ 這里止交矩陽Q≌q1…qM,A是×的對角陣,可以用下式來衣示: ∧-diag(λ1…,λM) 隨機過程的相關(guān)矩陣 個隨機過程可以用一個隨機矢量來表示,它的二階統(tǒng)計量可以由均值矢量和相關(guān)矩陣 給出。很顯然,這些量是指數(shù)的函數(shù)。設(shè)隨機過程導(dǎo)出導(dǎo)出的一個×階的隨機矢量 表示如下 x(n)[x(n)x(n-1)…x(n-M+1) 它的均值可以由個×階的矢量來表示: x(n)2[2(n)2n-1)…x(n-M+1)]T 相關(guān)可由×階的矩陣來表示 rx(n,n) rx(n, n-M+1) Rx(n)=[ rx(n-M+ 1, rx(n-M+1,n-M+1) 很顯然,Rx(n)是一個厄米特矩陣,因為rx(n-i,n-j)=rx(n-j,n-1),0≤ij≤M 平穩(wěn)隨機過程的相關(guān)矩陣 對」平穩(wěn)過程來講,這個矩陣的結(jié)構(gòu)是有趣的。首先,R2(n)是一個常量矩陣Rx,即自相 關(guān)函數(shù)與時間無關(guān),也即r2(n-i,n-j)=r2(j-i)=r2(j-)。容易看出,Rx是厄米特和 托普利茲知陣。通常矩陣Rx不是全對稱矩陣,因為主反對角線上的元素一般不相等 矩陣R2的性質(zhì)隨它的條件指數(shù)x(Rx)=m/入的升高而變得惡劣 隨機矢量的更新表示 詐多實踐和理論應(yīng)用中,希望用不相關(guān)的分量組成線性等價的矢量(或者序列)來措述 個隨機矢量(或者序列)。如果是一個相關(guān)隨機矢量,是一個非奇異矩陣,那么由下面 的線性變換: 生成一個隨機矢量,該隨機矢量包含與隨機矢量相同的信息,因此說隨機矢量Ⅹ和 W是線性等價的。進(jìn)一步講,如果W是非相關(guān)的隨機矢量,那么W的每個分量可以認(rèn)為是對o 的原有分量信息的補充(或更新)。這樣一種表示稱為更新表示,它使得對所研究的隨機矢量 和序列有了更進(jìn)一步的了解。 由于必須是一個對角矩陣,因此我們需要用變換矩陣米對角化厄米特、正定的矩陣 常見的對角化的方法有兩種:()特征根分析,也就是著名的 變換; ()三角變換,用它可以進(jìn)行 和 分解。現(xiàn)綜述如下,具體的推導(dǎo)和幾何 解釋見 表零均值隨機矢量下正交和三角變換的比較 正交變換 角變換 X Rq;=入q Q=[. 9M 單位下三角矩陣 A=diag{A1λ2…2M} D=diag{1E2…5M} R=0AQ"=∑入qq L-IRL R1=LHD 1 A=QRQ D-1=LHR-IL 1 R-1=QA-1QH qi q detr= det d=|5i A=QRIQ detr= det a trr= tr a i=1 白化(無關(guān)聯(lián)) 白化(關(guān)聯(lián) QX L-IX H Wn A W H D 具有給定階矩的實數(shù)隨機矢量的生成 假定我們想要生成只有零均值、對稱且正定的自相關(guān)矩陣Rx的實值隨機矢量的個樣 本,x1x2…,xM。上一節(jié)所給出的更新表示法提供了生成這樣一個隨機矢量的三種方法。一般 方法是分解Rx,用正交或者三角變換來獲得對角知陣(Ax或D或D),用得劍的對角線上 的元素作為序列的方差,生成一個序列的個樣本,然后,用逆變換矩陣(Q或Lx或Ux)對 這些樣本徴變換。需要補充說明的是,通常樣本的原始分布不一定會被俁持不變,除非樣 本是聯(lián)合正態(tài)的。因此下面的討論中,我們假設(shè)用一個正態(tài)的偽隨機數(shù)生成器米生成的 個獨立樣本。三種方法如下所述 )特征根分解方法首先分解成R=QAQ,然后用分布A來生成,最后用 來計算想要的 ()三角分解過程首先可以被分解成DLLH,然后用分布D1來牛成 最后用 來計算想要的 ()三角解析過程首先可以表示成D1UH,然后用分布Du來生成 最后用 米計算想要的 估計理論原理 個平穩(wěn)序列的觀察值81,我們對其均值的估計如下: n=0 對其方差的估計為 2)-32 第四章線性信號模型 本章介紹并分析一類特殊平穩(wěn)隨機序列的性質(zhì),這種序列是用白噪聲激勵一個線性時不 變系統(tǒng)產(chǎn)生的。我們著重講述系統(tǒng)數(shù)為有理數(shù),即兩個多項式之比的濾波器。這樣得到的 輸出過程的功率譜密度也是有理的,它的形狀完全由濾波器系數(shù)決定。當(dāng)我們想強調(diào)系統(tǒng)觀 點時使用術(shù)語“極點一零點模型”,用術(shù)語“自回歸滑動平均模型”指得到的隨機序列 在實際中,我們也需要產(chǎn)生某種已知的具有二階特征的隨機信號,或需要據(jù)已知隨機過 程的參數(shù)描述觀察到的信號。 最簡單的隨機信號模型是具有不相關(guān)特性和平坦 的廣義平穩(wěn)白噪聲序列 o)(n)~WN(O,o2),在實際中使用簡單的算法就能比較容易的生成它。如果我們用一個穩(wěn)定的 濾波器濾波包噪聲,就能得到有兒乎仼意隨機非周期相關(guān)結(jié)構(gòu)或連續(xù)的隨機信號。 當(dāng)濾波器由它的沖擊相應(yīng)指定時,因為關(guān)于模型的形式?jīng)]有仟何限制,且參數(shù)個數(shù)是 可以無限的,所以就有了一個無參數(shù)模型。但是,如果我們通過一個有限階有理系統(tǒng)函數(shù)指 定一個系統(tǒng),就有了一個由有限個參數(shù)描述的有參數(shù)信號模型。本章亙點講解有參數(shù)模型。 這一章主要講兩個主題:()已知系統(tǒng)函數(shù)的系數(shù),導(dǎo)出 或系統(tǒng);()設(shè)計一個 能生成具有給定自相關(guān)序列或函數(shù)的隨機信號的 或系統(tǒng)。 上述第二個問題稱為信號建模。在實際應(yīng)用中,將建模的信號的二階矩?zé)o法預(yù)先知道, 必須從一組對信號的觀測中估計。 線性無參數(shù)信號模型 考慮一個穩(wěn)定的沖激響應(yīng)為輸入為ω(n)的系統(tǒng)。輸出由下面的卷積和給出: h(k)o(n-k) 因為此時輸出是通過線性加權(quán)輸入信號的采樣計算待到的,所以稱為非遞歸系統(tǒng)表小法。 線性隨機信號模型 如果輸入o(n)是方差為a2、自相關(guān)函數(shù)ro(1)=o26(1)和R(eo)=a3,-m≤o≤ 的均值為零的白噪聲過程。 那么,的自相關(guān)函數(shù)、復(fù)數(shù)和分別由下列等式給出: h(k)h(k-1)=or(D Rx(Z=OH(Z)H*( Rx(ei)=odeh(ejo) 我們注意到,當(dāng)輸入是一個白噪聲過程時,輸出信號的自相關(guān)函數(shù)和功率譜(二階矩) 的形狀完仝由系統(tǒng)確定。 遞歸表示法 假定現(xiàn)在逆系給()=1/H7是因果和穩(wěn)定的。如果我們假定,不失一般性, 那么h1(n)=Z1田H1(Z)},有h1(0)=1。因此輸入o(n)可由下式得到 n)=x(n)+2h(k)x(n-k) 解出,我們得到輸山信號的遞歸衣示法: h,(k)(n-k)to(n) 我們用術(shù)語“遞歸”表示法來強調(diào):輸出的當(dāng)前值通過所有過去輸出值的線性組合,加 上輸出的當(dāng)前值得到。結(jié)構(gòu)上,系統(tǒng)的非遞歸和遞歸表示法是等價的,即輸入相同激勵時 它們產(chǎn)生相同的輸出 更新表示法 如果系統(tǒng)是最小相位的,那么和h1(n)都是因果的和穩(wěn)定的。因此,輸出信號可 由下列非遞歸地表示: h(k)w(n-k)=>h(n-k)o(k) k=-∞ x(n+1)=〉h(n+1-k)(k)+(n+1) x(n+1)=〉h(n+1-k)),h1(k-)x()+o(n+1) 仔細(xì)檢查上式發(fā)現(xiàn),如果產(chǎn)生的系統(tǒng)是最小相位的,那么由采樣攜帶的所有新 的信息是由采樣o(n+1)帶來的。從信號的過去采樣 可以預(yù)測所有其他信息。這 里我們強調(diào)只有是最小相位時,這個解釋才成立。 系統(tǒng)通過在白噪聲輸入ω(n)中引進(jìn)相關(guān)關(guān)系來產(chǎn)生信號,稱為綜合或有色濾波 器。相反,逆系統(tǒng)H(∽可用于恢復(fù)輸入ω(n),稱為分析或白化濾波器。在這個意義上,更新 濾波器和輸出過程是完全相等的。綜合和分析濾波器圖小如下: u(n)lID(0,04) H(2 XIn 宗合或色化濾波器 H1(2=/H(z u(m).分析或白化濾波器 有參極點一零點信號模型 有參模型描述一個具有有限個參數(shù)的系統(tǒng),本書主要處理具有有理系統(tǒng)函數(shù)的有參模型 考慮一個由下列線性常系數(shù)差分方程描述的系統(tǒng) x(n)+> akx(n-k)=>dk o(n-k) 這里,和ω(n)分別是輸入信號和輸出信號。兩邊取變換,我們發(fā)現(xiàn)系統(tǒng)函數(shù)是: X(Z) W()-1+E12kD(Z dZ H Z AG 根據(jù)系統(tǒng)的極點零點,我們能接下式 H(Z)=do (1- T=1(1-p 這個系統(tǒng)有個零點z和個極點pk(這里不考慮的極點零點) 系數(shù)d是系統(tǒng)增益。本書剩余部分都假設(shè)多項式和沒有共同根,即共同的零點 和極點已經(jīng)被消掉了。 極點一零點模型的類型 對于 ,我們有一個板點一零點模型,由于 表示。如果系統(tǒng)假定為因果 的,它的輸出由卜式給出: x(n)= ak X(n-k)+>dko(n-k) 對于,我們有一個極點一零點模型,由于表示。如果系統(tǒng)假定為因果的,它的 輸出由下式給出 x(n)=〉dko(n-k 對于,我們有一個極點一零點模型,由于表示。如果系統(tǒng)假定為因果的,它的 輸出由下式給出: kx(n-k)tdoa(n) 如果白噪聲激勵一個有參模型,會得到一個階矩由模型的參數(shù)決定的信號。如果 o(n)~ID(0,02)有有限方差,那么 r()=o2r1()=o2h()*h(- Rx(a=oRh(z)=oH(ZH*(1/Z%) Rx(ejo)=orh (ejo)=o2H(ej H"(eja) 這樣的信號模型有很大的實際用處,且在統(tǒng)計學(xué)文獻(xiàn)中有專用的名字: 稱為移動平均模型,表示為 () 稱為自遞歸模型,表小為 () 稱為自遞歸移動平均模型,表示為 我們通過歸化d和設(shè)輸入的方差σ指定個有參信號模型。模型的參數(shù)定義為 a1,a2灬…,ap;d1,…,do;od}這些模犁假定結(jié)果過程是平穩(wěn)的,只要對應(yīng)系統(tǒng)是穩(wěn)定的, 這是可以保證的。 混合過程的 分解 個任意的平穩(wěn)隨機過程可構(gòu)造成一個連續(xù)R(eo)和一個離散功率譜。這樣的過程 稱為混合過程,因為連續(xù)的R(e)應(yīng)歸功于規(guī)則過程,而離散頻譜應(yīng)以因于諧波過程(或 幾乎周期性)過程。混合過程的進(jìn)一步解釋:第一部分是一個不可預(yù)測過程,而第二個部分 是可預(yù)測過程(即過去的釆樣可以用來準(zhǔn)確的確定未米采樣),這個解釋應(yīng)歸功于 分解 定理。 Wold分解 一般的平穩(wěn)隨機過程能寫成如下和的形式 x(n)=x(n)+x,(n) 這里,x(n)是一個有連續(xù)頻譜的規(guī)則過程,xp(n)是一個離散頻譜的可預(yù)測過程。而且 xr(n)與xp(n)是相互正交的,即 E(x(n2)xp'(n2)=0n1,n2取任意值 第九章信號建模和參量譜估計 本章是從理論到實際的過渡,其第步模型選擇|選澤模型 重點是:對給出的一組數(shù)據(jù)選擇一個 階次和結(jié)構(gòu) 合適的模型、估計模型參數(shù)、模型與 數(shù)據(jù)事實上在多大程度上相匹配。雖 然參數(shù)估計技術(shù)的發(fā)展需要一個堅實第二步模型估計模型參數(shù) 估計 的理論基礎(chǔ),一個好模型的選擇以及 對它的評估需要使用者有充分的實際 經(jīng)驗并熟悉該應(yīng)用領(lǐng)域。這里用最小 二乘技術(shù)給出了使極點一零點模型和第三步模型確認(rèn)檢查備選 數(shù)據(jù)匹配的全面而詳細(xì)的算法 模型性能 信號建模和作為結(jié)果的參量譜佔 計的實質(zhì)是:當(dāng)給定了有限長數(shù)據(jù) 區(qū)x()別m=0時,它可以被認(rèn)為是考慮中 的信號序列的采樣,這是我們想估計 模型是合 雪 出信號模型參數(shù){a、{、σ以 滿足 滿足預(yù)先制定的標(biāo)準(zhǔn)。這些模型建立 的主要步驟如右圖所示 模型選擇、模型估計與模型檢驗 見教材 采用此模型 作為應(yīng)用