《北理工賈云德《計算機視覺》chapter15三維運動估計(共20頁)》由會員分享，可在線閱讀，更多相關(guān)《北理工賈云德《計算機視覺》chapter15三維運動估計(共20頁)（20頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、精選優(yōu)質(zhì)文檔-----傾情為你奉上 第十五章 三維運動估計 三維運動估計是指從二維圖象序列來估計物體三維運動參數(shù)以及三維結(jié)構(gòu)。具體地說，假定三維物體上一點相對于攝象機坐標(biāo)系從時刻的位置運動到時刻的位置，它在二維圖象平面上的投影從運動到，然后，通過分析二維運動來恢復(fù)物體的三維運動及物體上感興趣點的深度值。這一點類似于立體視覺的深度恢復(fù)，不過立體視覺是從立體圖象對來恢復(fù)深度值，而三維運動分析是從圖象序列中恢復(fù)參數(shù)。三維運動估計有著廣泛的應(yīng)用，如機器人視覺，自主導(dǎo)航，目標(biāo)跟蹤，圖象監(jiān)控，智能車輛高速公路系統(tǒng)，基于物體的圖象壓縮等。三維運動估計仍然是一個不適定問題，必須增加適當(dāng)?shù)募s束才能得到有效

2、解。 三維運動估計和分析也可以是基于場景的深度圖像序列，其方法與基于二維圖像序列完全不同?；谏疃葓D像序列的三維運動估計是一個適定問題，求解方法要比基于二維圖像序列要簡單一些，主要問題是數(shù)據(jù)量十分巨大，因此許多研究人員一開始就以實現(xiàn)大規(guī)模集成電路（VLSI）作為三維場景估計的基礎(chǔ)。我們將不討論深度圖像序列運動估計問題，感興趣的讀者可以查閱有關(guān)文獻[Wheeler 1996,Jiar 1996]. 15．1 基于成象模型的對應(yīng)點估計 首先回顧一下第十二章引入的三維剛體運動方程。假定三維場景中有一個剛性物體，其上一點從時刻的位置經(jīng)過旋轉(zhuǎn)和平移，運動到時刻的位置。設(shè)旋轉(zhuǎn)矩陣和平移向量分

3、別是和,則三維剛體運動模型重新表示為 (15.1) 用歐拉角的形式表示上述旋轉(zhuǎn)矩陣(見式(12.2),（12.3）)，并假定旋轉(zhuǎn)角較小，則旋轉(zhuǎn)矩陣可以表示為 (15.2) 其中,,分別表示繞 軸逆時針旋轉(zhuǎn)小角位移。 15．1．1 正交投影模型 當(dāng)物體深度變化范圍不大時，正交投影是透視投影的一個很好的逼近。其它逼近方法還有弱透視投影，超透視投影，正交透視投影等[Dementhon 1992]。 設(shè)空間點在圖象平面上的投影為。如果成象模型為正交投影（參見圖1.8），則有

4、 (15.3) 所以，式(15.1) 可表示為 (15.4) 上述方程包含有6個參數(shù)，即，，，，和，表示第幀圖象像素到第幀圖象像素的仿射映射關(guān)系。顯然，正交投影模型是無法確定物體點到成象平面的距離，因為垂直于圖像平面的一條直線，其上的所有點都將投影到該圖象平面上一點（見圖1.8）。但是，如果在物體上選擇一個參考點，并設(shè)該點的深度值為,則通過上式有可能估計出物體上其它點相對于這個參考點在垂直圖像平面方向上的距離。實際上，我們無法得到真實的相對深度值，只能得到關(guān)于

5、一個尺度系數(shù)的相對深度值，即 (15.5) 從方程15.4中，我們看到和縮小，放大，方程仍然成立，因此產(chǎn)生多義性。文獻[Ull79]證明三幀或三幀以上圖象上的四點就可以克服這個問題。 15．1．2 基于正交投影的運動估計 將(15.2)小角度旋轉(zhuǎn)矩陣代入(15.1)，得到如下的正交投影模型： (15.6) 在該方程中，對于每一個給定的對應(yīng)點和，共有6個未知參數(shù)，其中5個是全局運動參數(shù)，，，，，一個是深度參數(shù)。另外，這個方程是一個雙線性方程，因為與未知參數(shù)和是

6、乘積關(guān)系。理論上，給定三點，就可以根據(jù)(15.6)列出6個方程，從而解出六個未知參數(shù)。但實際上，由于數(shù)值計算誤差，常常需要多個點，這樣有可能得到較好的結(jié)果。文獻[Aizawa 1989] 基于上述正交投影模型提出了基于兩幀圖象的兩步迭代法：首先，根據(jù)上一次迭代得到的深度估計值，確定運動參數(shù)，然后再使用新的運動參數(shù)更新深度估計值。具體實現(xiàn)見算法15.1 算法15.1 基于兩幀圖像的運動估計兩步迭代算法 ① 給定個對應(yīng)點坐標(biāo)對和深度估計值，，且，這樣方程(15.6)可重新寫為 (15.7) 個對應(yīng)點對應(yīng)著個方程，而未知參數(shù)僅有5個，因此，可以通過最小二

7、乘法來求解這5個運動參數(shù)。深度參數(shù)的初始估計值可以根據(jù)場景的先驗?zāi)Ｐ蛠碓O(shè)置，深度估計值應(yīng)在預(yù)先設(shè)定的范圍內(nèi)選定，這主要是為了避免解的不唯一性。 ② 根據(jù)①得到的運動參數(shù)估計值，再對深度值進行估計。將式(15.7)重新寫為 (15.8) 由于每一個深度值對應(yīng)兩個方程，即方程(15.8)是一個超定方程，因此，可以用最小二乘法來求解。 ③ 重復(fù)上述兩步，直到兩次迭代值之差小于給定的某一個閾值。 請注意，在上述算法中，運動估計誤差和深度估計誤差有著密切的關(guān)系。由方程(15.7)和(15.8)可知，深度估計的隨機誤差會重復(fù)反饋到運動估計上。因此，當(dāng)深

8、度估計不夠準(zhǔn)確或深度的初始值設(shè)置不當(dāng)時，都可能導(dǎo)致迭代算法的錯誤收斂或收斂在一個局部最小值。為了避免這種錯誤的收斂，[Bozdagi 1994]提出了改進的算法，該算法的基本思想是在每一次修正后，在深度估計值上加一個隨機擾動。改進的算法如算法15.1所示。 算法15.2 基于兩幀圖像運動估計擾動迭代算法： ① 初始化深度值，，置迭代計數(shù)器。 ② 在給定深度值下根據(jù)式(15.6)估計運動參數(shù) ③ 根據(jù)當(dāng)前的運動估計和深度參數(shù)，由公式(15.6)計算對應(yīng)點的坐標(biāo) ④ 計算預(yù)估誤差： (15.9) 其中,和是已知的對應(yīng)點真實

9、坐標(biāo)。 ⑤ 如果小于預(yù)定的誤差閾值，即，則終止迭代，否則，置。 ⑥ 給深度參數(shù)賦一個擾動值 (15.10) 其中和是常系數(shù)，是零均值高斯分布函數(shù)，其方差。 ⑦ 回到第②步 實驗證明，這種改進的迭代算法在初始深度值有50%的誤差的情況下，也能很好地收斂到正確的運動參數(shù)值。 15．1．3 透視投影模型 設(shè)空間點在圖象平面上的投影為。如果成象模型為透視投影，則 (15.11) 根據(jù)（15.1）式有

10、 (15.12) 由于成象系統(tǒng)的焦距是一個常數(shù)，因此，不乏一般性，取,即規(guī)范化透視投影。上式右邊分子分母同除以，得到圖象平面坐標(biāo)表示式： (15.13) 按照圖像平面坐標(biāo)，透視投影模型（15.13）是一個非線性方程。因為每一點對應(yīng)的深度值是一個自由參數(shù)，因此，這個模型適合于任意表面形狀三維物體的運動估計。 15．1．4 外極線方程和基本矩陣 由方程(15.13)可見，在透視投影情況下，運動和結(jié)構(gòu)參數(shù)之間的關(guān)系是非線性的。早期人們使用迭代方法求解運動參數(shù)，但迭代過程往往不收斂，比如兩步迭代法。[Huang 1986]證明，使用八個對應(yīng)點或

11、更多對應(yīng)點來求取外極線約束方程并估計運動參數(shù)是可以改進兩步迭代法的收斂性能。本節(jié)主要討論外極線方程及其性質(zhì)，關(guān)于估計運動參數(shù)，將在下一節(jié)介紹。 將方程15.1縮寫為 (15.14) 或 (15.15) 令 (15.16) 其中“”表示矢量積。為了書寫簡單，在不引起混淆的情況下，可以把下標(biāo)去掉，即： （15.17) 方程(15.15)可以重新寫為

12、 (15.18) 下面引進一個反對稱矩陣： 因此式(15.17)可表示為 (15.19) 是一個矩陣，稱為基本矩陣(essential matrix)，矩陣元素稱為基本參數(shù)[Huang 1986]。下面首先看一下矩陣的一些性質(zhì)[Faugeras 1993]： 1） 2） 3） 4）,其中，稱為Frobenius模。 在性質(zhì)1）中，是反對稱矩陣，因此該性質(zhì)是成立的； 對于性質(zhì)2），； 對于性質(zhì)3），； 性質(zhì)4

13、）顯然是成立的。 用除以等式(15.18)的兩邊得 (15.20) 根據(jù)規(guī)范化透視投影方程(15.11)，得到外極線方程： (15.21) 和是物體上一點在第幀和第幀圖像上的投影點坐標(biāo)，其齊次坐標(biāo)分別為和，則外極線方程(15.21)可以表示為 (15.22) 該方程的幾何意義十分明顯，從圖15.1可見，三條線，和是共面的，將這三個矢量變換到第二個坐標(biāo)系中，其表示式分別為，和。 　　第幀圖像上一點對應(yīng)矢量表示的射線上所有點的

14、投影，射線上任何一點可以表示為，。根據(jù)針孔模型，射線上任何一點在第幀圖像平面上的投影是，而整個射線在第幀圖像平面上的投影是一條直線，表示成為第幀圖像上一點在第幀圖像平面上的外極線。這條直線可以用兩點來表示，一點是，，對應(yīng)第幀圖像光學(xué)中心在第幀圖像平面上的投影，常稱為極點（epipole）；另一點是無窮遠(yuǎn)點，。則外極線可以表示為 　　　　　　　　　　　　　(15.23) 第幀圖像上一點在第幀圖像平面上的對應(yīng)點應(yīng)該位于該直線上。 圖15.1 基于對應(yīng)點的外極線約束恢復(fù)運動參數(shù)示意圖 方程（15.22）是包含9個未知參數(shù)的齊次線性方程，齊次線性方程無解或有無窮解。因此，可

15、以令基本矩陣的一個系數(shù)為1，這樣待估計的參數(shù)有八個。另外，矩陣是一個斜對稱矩陣和一個旋轉(zhuǎn)矩陣的乘積，它們并不是獨立的。矩陣的前三個性質(zhì)構(gòu)成三個約束方程，這樣，方程（15.22）只包含5個未知的獨立的參數(shù)，這也和運動參數(shù)的自由度數(shù)量相一致，即三個旋轉(zhuǎn)自由度，二個平移自由度（或三個關(guān)于一個比例系數(shù)的平移自由度），實際上，由方程（15.15）可見，平移量乘以任何不為零的系數(shù)都不影響方程成立，也就是說，當(dāng)用同一個比例系數(shù)改變物體形狀或運動平移量時，所得到的圖像完全一樣。因此，從運動恢復(fù)形狀和從圖像序列恢復(fù)運動參數(shù)，只能在關(guān)于一個比例系數(shù)的意義下進行。 *15．1．5 從基本矩陣估計運動參數(shù) 由于基

16、本矩陣只有5個未知獨立參數(shù)，因此可以采用所謂的5-點算法（5-points algorithm）來求解基本矩陣，然后，基于基本矩陣恢復(fù)運動參數(shù)。不過由于5-點算法比較復(fù)雜，且得到的解很不穩(wěn)定，因此，實用價值不大，在這里不作討論，感興趣的讀者可以參見文獻[Faugerous 1990].為了得到唯一解，一般選取8個以上的對應(yīng)點通過最小二乘法來求解。[Longuet 1981]提出一種8-點算法，通過8個點直接估計基本矩陣的8個未知參數(shù)，然后，在基本矩陣的基礎(chǔ)上，估計運動參數(shù)。將基本矩陣表示為： 方程（15.22）可以重新寫為 (15.24) 設(shè)，將上式縮寫為

17、 （15.25） 如果有個對應(yīng)點，每一個對應(yīng)點生成一個方程，則共有個方程 （15.26） 其中。由于是關(guān)于一個比例系數(shù)的矩陣，因此，實際上只需要求解8個未知參數(shù)。所以，求解該方程的最小點數(shù)是8個。已知空間中有8個點及其在第幀和第幀圖像上的投影點坐標(biāo)，則通過求解方程（15.26）得到基本矩陣參數(shù)。顯然，只用8點求解基本矩陣，對噪聲十分敏感，因此，一般采用更多的對應(yīng)點并采用更魯棒的方法來求解基本矩陣參數(shù)[Faugerus 1993,pp273]。下面介紹一種極小化范數(shù)的基本矩陣求解方法。為了避免平凡解，假定的范數(shù)

18、不為零。在實際中，由于，很容易證明，。前面曾提到平移量是關(guān)于一個比例因子的量，因此，可以取。這樣，求解基本矩陣參數(shù)問題就成為 (15.27) 根據(jù)約束條件下的優(yōu)化算法，引入一個拉格朗日乘子，得到目標(biāo)函數(shù)： 　　　　　　　　　　　　(15.28) 該函數(shù)對微分，可得 (15.29) 上式說明是對稱矩陣的特征值，而是對應(yīng)的最小特征向量。因為是一個的矩陣，有9個可能解，令9個特征值為,并假定，則，由于(15.28)是求解的極小值，故，。此時的解是對應(yīng)對稱矩陣的 特征值且范數(shù)

19、為的特征向量。 求出基本矩陣后，可以進行運動參數(shù)和的估計。由基本矩陣的性質(zhì)2）可知，可以通過求下面均方問題極小化來求解： (15.30) 則是對應(yīng)矩陣的最小特征值的單位范數(shù)向量。 對于旋轉(zhuǎn)矩陣，必須通過求解下面均方問題極小化得到 (15.31) 由于，。 另外，，則上述問題變?yōu)椋? (15.32) 其中是矩陣的第行向量.這一問題可以通過四元數(shù)表示法求解,一般情況下,解是唯一的. 15．1．6從外極線方程估計運動參數(shù) 從

20、基本矩陣估計運動參數(shù)是間接求解方法，即首先求解基本矩陣，然后利用線性方法恢復(fù)運動參數(shù)和．由于間接求解方法采用的線性方法，因此，比較簡單．但為了求解有效的基本矩陣，必須使用高階多項式約束函數(shù)，如果這樣，則喪失線性方法的簡單性．因此，人們開始研究直接求解方法，即通過外極線方程直接估計運動參數(shù)．下面介紹一種直接的方法：Longuet-Higgins準(zhǔn)則[Faugeras 1993,pp275]， 　　　　　　　（15.33） 方程(15.33)沒有解析解，必須通過非線性極小化方法求解． 圖15.2　外極線與實際投影點的距離關(guān)系 Longuet-Higgins準(zhǔn)則的幾何意義可以從圖15

21、.2解釋．已知空間一點在第幀和第幀圖像上對應(yīng)的投影點坐標(biāo)分別為和．在第幀圖像平面上的外極線表示為，見式15.23。在理想情況下，空間點在第在第幀圖像上的投影點應(yīng)該位于直線上，即。實際上，由于投影點檢測誤差、數(shù)字計算誤差以及系統(tǒng)誤差等，并不一定在外極線上。到的距離可以定義為 (15.34) 其中是規(guī)范化系數(shù)，其值等于矢量前兩個坐標(biāo)形成的矢量的范數(shù)。 如果有個對應(yīng)點，則Longuet-Higgins準(zhǔn)則可以重新寫為 (15.35) 上式是第幀圖像上的在第幀圖像上的對應(yīng)點與外極線的距

22、離。反過來，也可以求解第幀圖像上的在第幀圖像上的對應(yīng)點與外極線的距離是 (15.36) 為了可靠地求解運動參數(shù)，可對上面兩個式子之和求極小化： (15.37) 實踐證明，上述算法優(yōu)于解析方法。 15．2 三維運動估計的光流法 現(xiàn)在已經(jīng)出現(xiàn)了許多用于三維結(jié)構(gòu)估計的算法，比如，前面幾章介紹的從立體視覺恢復(fù)三維結(jié)構(gòu)，從明暗恢復(fù)結(jié)構(gòu)，從運動恢復(fù)結(jié)構(gòu)等。15.1節(jié)曾討論基于特征點的運動估計深度值的方法，由于特征點是稀疏的，因此要恢復(fù)出物體表面的完整結(jié)構(gòu)，必須進行插值計算。本節(jié)首先討論由

23、稠密光流場實現(xiàn)3D平移運動表面結(jié)構(gòu)估計的方法，然后討論基于光流場的一般的運動結(jié)構(gòu)參數(shù)的估計方法。 在光流場估計的基礎(chǔ)上，從兩幅正交投影或透視投影的圖象中可以估計出三維物體的運動和結(jié)構(gòu)。光流法與模型法的不同之處在于前者使用投影速度場模型，而后者使用的是位移場模型。光流法需要稠密的光流場，而不是選擇并匹配明顯的特征點。首先我們假定光流場是由一個物體產(chǎn)生的，對于多個物體，將在后面的運動場分割時討論。 15．2．1 速度場正交投影模型與仿射流 在剛體旋轉(zhuǎn)的角度很小時，可以根據(jù)式(15.1)和(15.2)得到如下剛體變換公式為 (15.38) 或

24、 (15.39) 上式兩端同除以，得到速度變換公式： 　　　 　　(15.40) (1) 速度場正交投影模型 三維速度場在圖像平面上的正交投影計算公式如下： (15.41) 根據(jù)式(15.40)，上式可表示為（為了書寫簡單，這里忽略了下標(biāo)） (15.42) 當(dāng)圖像平面離物體的距離越來越遠(yuǎn)時，或觀測視角越來越小時，正交投影模型可以看作是透視投影模型的近似模型。 (2) 仿射流 進行剛體運動的平面在正交投影

25、下生成仿射流。設(shè)平面方程為 （15.43） 將（15.43）代入式（15.42），得到含有六個參數(shù)的仿射流模型 （15.44） 其中 注意到，如果已知三個或更多點的光流，就能建立包含六個未知量的六個或更多的方程，從而求解。然而，由于正交投影的緣故，不可能從中唯一地確定所有八個運動和結(jié)構(gòu)參數(shù)。例如，在正交投影下是不可觀察的。 15．2．2速度場透視投影模型與二次流 (1) 速度場透視投影模型 首先對透視投影模型(15.11)微分： (15.45)

26、再將(15.40)代入上式得（為了書寫簡單，這里忽略了下標(biāo)）: (15.46) 在規(guī)范化透視投影下，上式重新寫為 (15.47) 上式的透視投影速度與物體的坐標(biāo)有關(guān)．如果已知物體的表面模型，則有可能減緩對坐標(biāo)的依賴性。 (2) 二次流 二次流是最基本的光流場模型，因為它是透視投影下平面運動的準(zhǔn)確模型；因此,二次流對曲面局部一階泰勒級數(shù)逼近模型是有效的[Waxman 1987]。在規(guī)范化透視投影下，平面方程（15.43）可以寫為 (15.48) 將（15.48）代入透視投影速度場模型（15.47

27、），得到8個參數(shù)的二次流表示： (15.49) 其中 如果我們知道平面上至少四個點的光流，就可以建立八個或更多的方程來求解八個未知參量。注意到是表面點和攝象機之間的距離，它總是以比例因子的形式出現(xiàn)。類似的方法可以參見文獻[Diehl 1991,Anandan 1993] 為了恢復(fù)基于使用二階光流模型的三維運動和結(jié)構(gòu)參數(shù)，Waxman等人［Waxman 1987］定義了12個運動變形參數(shù)，它們與光流的一階和二階偏導(dǎo)數(shù)有關(guān)。雖然可以得到解析解，但是光流估計的偏導(dǎo)數(shù)對噪聲十分敏感。 15．2．3延伸焦點 對純平移運動來說，

28、所有的光流矢量在圖象平面上的投影表現(xiàn)為從某一點延伸出去，或是從遠(yuǎn)處匯聚到某一點，人們將此點稱為延伸焦點(focus of expansion，F(xiàn)OE)，或匯聚焦點。這個點實際上是物體運動方向與圖像平面的交點。物體僅作純平移運動時，物體上一點在時刻處的三維坐標(biāo)是 (15.50) 其中是時刻的三維坐標(biāo)，，是沿軸方向勻速運動的速度。在規(guī)范化透視投影下，這個點在圖像平面上的坐標(biāo)由下式給出： (15.51) 當(dāng)時，上式變?yōu)椋? (15.52) 上式說明，矢量指示物體平

29、移運動的瞬時方向。當(dāng)物體作勻速平移運動時，物體上的所有點將從圖像平面上一個固定點延伸出去，如圖15.3所示。計算延伸焦點的方法有光流估計法[Lawton 1983]、直接搜索方法[Jain 1983]等. 圖15.3 具有不同運動速度的物體對應(yīng)的延伸焦點示意圖 根據(jù)FOE可以確定空間點的相對深度。下面是確定三維場景點相對深度的步驟： ① 通過第幀和第幀圖像估計光流矢量，并確定FOE的位置。 ② 第幀圖像上第個點對應(yīng)的深度值可以相對于一個參考深度值表示為 (15.53) 上式是利用透視投影相似三

30、角原理得到，其中是第幀圖像上的第點與FOE之間的距離。是圖像點從第幀到第幀的位移，如圖15.4所示。對應(yīng)三維場景點從第幀到第幀沿軸方向的位移，這個值無法確定。 ③ 第幀圖像上第點和第點相對深度可以通過（15.53）來計算： (15.54) 如果物體點的運動不是簡單的勻速平移，而是其它類型的運動，如，變速運動、旋轉(zhuǎn)運動、變形運動等，則FOE可能不存在。 圖15.4 根據(jù) FOE確定空間點相對深度示意圖 15．2．4代數(shù)法 三維運動估計的光流法由兩步組成：光流場估計和基于光流場的三維運動估計。光流估計方法已經(jīng)在第14章介紹了?；诠?/p>

31、流場的三維運動恢復(fù)有許多方法，各種方法之間的主要差別在于光流場估計所用的假設(shè)不同，或三維運動恢復(fù)所用的準(zhǔn)則不同。這些方法大致可以分為兩類：代數(shù)法和優(yōu)化法。本節(jié)主要討論光流法恢復(fù)三維運動參數(shù)的代數(shù)法，下一節(jié)將討論優(yōu)化法。 將方程組（15.46）的兩個式子合并，并消除參數(shù) (15.55) 其中 是延伸焦點坐標(biāo)（見式（15.52））。通過求解上式可以得到平移速度和一個關(guān)于比例系數(shù)的深度值，這個比例系數(shù)等于。一般來說，同一個光流場可能對應(yīng)多個解。方程（15.55）有5個未知參數(shù)，。在無噪聲光流數(shù)據(jù)情況下，使用5個光流矢量，至少對

32、應(yīng)有10個解，而6個或6個以上的光流矢量幾乎總是能唯一地確定三維運動。 (1) 解析法 式（15.55）可以表示成矢量矩陣的形式 (15.56) 其中 (15.57) 給出在8個圖象點處的光流矢量，建立八個線性方程就可以求解。通常，需要的圖象點多于8個，并采用最小二乘法來估計中的8個參數(shù)，這樣可以來緩解光流估計中誤差的影響。從（15.57）中很容易看出，當(dāng)所有的點都共面時，將生成一個二次流場，其中，系數(shù)矩陣中各元素之間相關(guān)。但所選的8個圖像點不共面時，可以唯一地估計出參數(shù)。 五個運動參數(shù),可以依次從8個變量（=1,8） 中恢復(fù)

33、出來。這樣，每一個點的深度就可以從模型（15.47）中估計出來。注意，在光流估計有誤差的情況下，從估計的運動參數(shù)不是唯一的，這是由于8個中間變量中僅有5個是獨立的。例如，從和估計的運動參數(shù)并不需要一定滿足和。 (2) Heeger-Jepson 法 為了避免引進多余的變量，Heeger和Jepson[Heeger 1992]提出了一個兩步法，簡寫為H-J法。他們用矢量-矩陣的形式將一般光流方程（15.46）表示為 （15.58） 其中 , ,,, 已知個不同空間點的光流矢量，根據(jù)方程（15.58），可以得到對個方程，縮寫為

34、 （15.59） 其中 , ,， 為了得到運動和結(jié)構(gòu)參數(shù)和的最小二乘估計，可以對下式求極小化 (15.60) 顯然，相對于和使（15.60）達到最小值，需要求出對每一個變量的偏導(dǎo)數(shù)，并令它們等于零，然后求解方程組。每一個方程對應(yīng)一個多維空間中的曲面，這些曲面的交點就是方程解。 計算（15.60）相對于的偏導(dǎo)數(shù)，并令它等于零，得到 （15.61） 它是關(guān)于的曲

35、面。顯而易見，由于也是一個未知量，方程（15.61）不能被直接用來求的估值。然而，因為實際的解位于這個曲面上，因此可以將其代入（15.60），然后僅求關(guān)于的極小化。對于僅含有的非線性極小化函數(shù)，可以通過搜索過程找出使（15.60）達到極小值的值。為了得到全局極小值，必須對每一步估計的值進行擾動，然后，再求解方程（15.61），因此，這種方法的計算量很大。 為此，Heeger和Jepson提出了一個有效的方法來搜索僅含有的極小化函數(shù)，并用一些常用的代數(shù)方法求解，而不必在每一步計算（15.61）。進一步說，由于估計的算法僅僅取決于一個比例因子，不失一般性地，可以將搜索空間限制在單位球面。單位球

36、面可以用球面坐標(biāo)的兩個角來描述。一旦確定了的最佳估計，就可以從（15.61）中計算的最小二乘估計。實驗表明這個方法對于光流估計誤差相當(dāng)穩(wěn)定。 15．2．5優(yōu)化法 優(yōu)化法的基本思想是獨立地對三維運動和結(jié)構(gòu)參數(shù)估計值進行擾動，直到估計的三維運動在圖像平面上的投影速度與實際的光流場相一致。從一個合理的初始值或通過其它方法得到的初始估計開始，優(yōu)化算法可以成功地跟蹤長序列圖像中的小變化量運動和結(jié)構(gòu)參數(shù)。為了防止優(yōu)化算法發(fā)散或收斂到代價函數(shù)的局部最小值，通常需要某種在三維運動和結(jié)構(gòu)參數(shù)上的平滑約束條件。 Morikawa和Harashima[Morikawa 1991]使用正交速度場模型（見式1

37、5.42）提出了一種估計三維運動的優(yōu)化法。假定場景中只有單一的剛體運動,則運動參數(shù)是全局參數(shù)。然而,深度參數(shù)隨空間變化。設(shè)，。若給出三維運動和深度參數(shù)的初始值，我們利用 （15.62） 逐步修正上一次的估計結(jié)果。在這里，問題簡化為尋找逐幀遞增的參數(shù)。運動平滑度約束條件意味著修正項（遞增的參數(shù)）應(yīng)該很小。因此，根據(jù)下面的函數(shù)引進一個平滑測度： （15.63） 其中是比例系數(shù)，是的范數(shù)，是圖像點的數(shù)量。 投影速度場估計值與實際光流場的均方差和三維運動參數(shù)平滑約束條件共同構(gòu)成代價函數(shù)

38、 （15.64） 其中 優(yōu)化法可以通過基于梯度法或模擬退火法來實現(xiàn)。因為這個過程使用正交速度場，所以能夠找到一個滿足附加常數(shù)和比例系數(shù)的深度參數(shù)，同時可以確定關(guān)于這一比例常數(shù)倒數(shù)的兩個旋轉(zhuǎn)角度。在正交模型下估計運動和結(jié)構(gòu)的類似方法見[Kanatani 1986] 15．2．6 幾種方法比較 基于光流的運動和結(jié)構(gòu)恢復(fù)不需要建立特征點的對應(yīng)，只依賴于估計的光流場，但是光流估計本身是“不適定”問題，對于觀測噪聲非常敏感。文獻[Tekalp 1995]對三種基于光流算法的性能進行了比較，它們是：ⅰ）解析法，ⅱ

39、）Heeger-Jepson法，ⅲ）優(yōu)化法。其中前兩種方法是基于透視投影光流場方法，后一種是基于正交投影光流場方法。表15.1給出了使用光流模型進行3D運動和深度參數(shù)估計的仿真結(jié)果，在仿真中共使用了30個模擬點，其中值均勻地在區(qū)間[-25，25]cm之間，值均勻分布在[70，100]cm范圍內(nèi)的。令焦距參數(shù)=50mm。為了測試這些方法對于光流估計誤差的敏感度，它們在光流矢量模擬數(shù)據(jù)的基礎(chǔ)上分別增加3%和10%的誤差。  表15.1 運動參數(shù)的比較（角度單位：弧度，平移單位：象素） 真實值 解析法 無誤差 3%誤差 Heege

40、r-Jepson法 無誤差 3%誤差 10%誤差 =0.007 =0.010 =0.025 =1.80 =0.48 深度誤差 匹配誤差 0． 0070 0.0133 0．0099 0.0058 0．0250 0.0232 1.7999 2.9571 0.4799 10.121 1.73E-5 0.824 2.17E-7 0.0152 0.0064 0.0094 0.0036 0.0105 0.0066 0.0008 0.0249

41、0.0251 0.0249 1.7872 1.9439 2.7814 0.4693 0.5822 0.8343 1.41E-3 0.0181 0.0539 2.71E-5 5.99E-4 0.0018 在表15.1，“深度誤差”對應(yīng)于深度估計中的規(guī)范化均方根誤差： 深度誤差 （15.66） 其中，匹配誤差是指三維運動和深度參數(shù)估計值生成的光流場與輸入的光流場的偏差： 匹配誤差 （15.67） 從表15.

42、1容易看出解析解法對于噪聲較敏感，這主要是因為它引進了三個冗余的中間未知量,以便使線性公式（15.56）成立.可以看出八個中間未知量中只要有五個就足以求解運動參數(shù),在有噪聲的情況下,五個中間未知量的不同組合可能產(chǎn)生不同的運動估計。雖然最小二乘方可以得到中間未知量，但最后的運動估計不是真正的最小二乘方估計。H-J法總可以找到運動和深度參數(shù)，使最小二乘方誤差函數(shù)達到最小。因此，H-J法是一種光流估計的魯棒方法。注意，在H-J法中，估計值的正確性依賴于搜索過程中使用的步長（單位球面角度的增量）。表15.1所用的步長為。 Morikawa法是一種基于正交投影光流模型方法，它的性能依賴于給定光流矢量偏

43、離正交模型（15.42）的程度。偏離量和物體深度方向的尺度與物體各點投影中心平均深度之間的比值有關(guān)（回顧一下15.1.1節(jié)的正交投影模型），可定義為 取時，Morikawa法沒能正常地工作。表15.2所示的是完全正交投影光流場和Morikawa法在時的透視光流估計性能的比較。Morikawa算法面臨的另一個重要問題是如何對未知參數(shù)初始值。在上面的模擬中,所有參數(shù)的初始化選在它們真實值的上下范圍內(nèi)。一般來說，代價函數(shù)有多個最小值，而且結(jié)果非常依賴初始點。建議使用Morikawa 法跟蹤小變化量運動圖像參數(shù)，這里第一幀的初始值可以通過其它方法（如14章中的兩步迭代算法）確定。 

44、 表15.2運動參數(shù)的比較（角度單位：弧度，位移單位：象素） 真實值 正交 透視， 深度誤差 匹配誤差 0.00713 0.01013 0.02513 0.09987 0.17987 0.00011 0.00322 0.00677 0.00977 0.02477 0.10023 0.18023 0.00023 0.00489 15．3光流分割 一般來說，真實場景圖像序列包含有許多個運動的物體，為了分析和理解這樣的動態(tài)場景，首先需要對運動圖像序列中各個獨立的運動物體進行標(biāo)記，這種標(biāo)記過程稱為三維運動分

45、割。運動圖像分割可以直接使用時空圖像亮度和梯度信息來分割獨立的運動區(qū)域，比如，使用第14章所述的差分圖像來分割圖像，也可以采用參數(shù)模型，利用最小二乘法擬合運動區(qū)域，從而將圖像分割成小的區(qū)域[Hoetter 1988, Diehl 1991]。本節(jié)主要討論基于稠密光流場的不連續(xù)性來分割運動圖像，即首先估計運動圖像稠密光流場，然后將相似的光流矢量合并，對應(yīng)一個獨立的運動物體。 15．3．1 Hough 變換分割方法 Hough變換是眾所周知的聚類方法，這種方法可以在量化參數(shù)空間中表決出最具有代表性的特征值。對于使用6個參數(shù)的仿射光流模型（15.44）的光流分割，可以直接應(yīng)用Hough

46、變換法。首先，確定每一個參數(shù)的最小值和最大值，并將6維特征空間量化成某些參數(shù)狀態(tài)，然后，每一個光流矢量“投票”支持一個已量化的參數(shù)集，使的下式達到極?。? (15.68) 其中和。如果一個參數(shù)集合得到的贊成票數(shù)大于預(yù)定數(shù)量，則很有可能表示候選的運動。由此確定分類號和用于標(biāo)記每一個光流矢量的對應(yīng)參數(shù)集。不過，這一方法的缺陷是需要的計算量很大。 為了減小計算量，[Adiv 1985]提出了一個使用改進的Hough變換算法。這個算法分兩個階段，在算法的第一階段，將光流矢量連

47、通集組合在一起，形成與單一參數(shù)集一致的成分。這里給出幾種簡化方法以減輕計算量，包括：1）把參數(shù)空間分成兩個不相連的子集合，來實現(xiàn)兩個三維Hough變換，2)多分辨率Hough變換，其中在每一個分辨率水平上，參數(shù)空間將在上一個分辨率水平上的估計值周圍進行到量化，3）多路傳輸Hough變換技術(shù)，其中，與候選參數(shù)最一致的光流矢量首先得到組合。在算法的第二階段中，將這些在算法的第一階段生成的成分（它在最小二乘方意義下的二次流模型（15.49）相一致）合并成塊。目前已經(jīng)提出了幾種合并準(zhǔn)則。最后，可以將未合并的光流矢量歸并到它們鄰近的塊中。 總之，改進的Hough變換分割方法建立在這樣的基礎(chǔ)上，即首先將

48、光流矢量聚類成一個個小組，每一個小組與一個由運動小平面產(chǎn)生的光流場一致。然后基于某一個合并準(zhǔn)則將這些小組合并成塊。 15．3．2貝葉斯分割方法 顯然，光流分割的成功與否與光流場估計的正確性密切相關(guān)，因此，為了得到最佳分割結(jié)果應(yīng)該同時進行光流場的估計和分割。本節(jié)討論基于運動場表示的聯(lián)合貝葉斯光流分割方法。在最大后驗概率(maximum a posteriori probability, MAP)形式下，光流和分割場的相互依賴性可通過Gibbs分布表示[Derin 1987]。利用最高置信度優(yōu)先（highest confidence first, HCF）和迭代條件模式（iterated co

49、nditional mode, ICM）算法求解最后的優(yōu)化問題，即找到一個密集系列的運動矢量，一系列分割標(biāo)記和一系列映射參數(shù)的估計值。 運動場模型 假定場景中有個獨立運動的物體，這里由每一個物體引起的二維運動可通過一個參數(shù)模型近似。那么， 表示圖像中第個光流矢量，表示每一個象素對應(yīng)的分割標(biāo)記，它的取值范圍為．光流矢量可以表示成參數(shù)化光流場和非參數(shù)化光流場殘差之和： （15.69） 其中殘差是由局部運動或建模誤差引起的。參數(shù)化光流場可以表示為 (15.70) 運動場

50、的參數(shù)分量顯而易見是依賴于分割標(biāo)記。 分割過程表示 假定第幀圖像表示為 　　　 　　　　　　(15.71) 相對于光流和分割標(biāo)記求后驗概率密度函數(shù)(probability density function, pdf)的最大值: （15.72） 上式右邊第一個條件概率密度函數(shù)提供了在第幀情況下，當(dāng)前位移和分割估計與第幀相一致程度的測度。它用Gibbs分布模型表示成 （15.73） 其中是分割函數(shù)（常量），且 （15.74） 稱為Gibbs勢能。式（15.72）分子中的第

51、二項是在給定運動分割和圖像條件下，位移場的條件概率密度函數(shù)，它用Gibbs分布作為模型： （15.75） 其中是常量，同時 (15.76) 是相應(yīng)的Gibbs勢能，代表歐幾里德距離，是在位置的鄰域集合。式（15.76）中的第一項強調(diào)對非參數(shù)化光流場殘差范數(shù)極小化的估計。式（15.76）的第二項只是在光流估計值上強加了一個分段局部平滑約束條件，沒有引進任何附加變量?？梢钥闯?，這一項僅對和位置共享同樣的分割標(biāo)記的鄰域中的那些像素起作用。因此，僅在單一物體產(chǎn)生的光流矢量上強加了一個空間平滑條件。參數(shù)和用來確定兩項對Gibbs勢能

52、的影響比例系數(shù)。 式（15.72）中的第三項是分割場的先驗概率模型，由下式給出： (15.77) 其中表示離散隨機矢量的采樣空間，由下式給出 (15.78) 其中表示標(biāo)記場的鄰域系，同時 (15.79) 由下式給出： 　　　　　　　　　(15.80) 雖然區(qū)域邊界通常與亮度邊緣是相重合的，但通常忽略標(biāo)記對于圖像亮度的依賴關(guān)系。 (3) 算法 求后驗概率密度函數(shù)(15.72)式的最大值等價于求代

53、價函數(shù)的最小值， (15.81) 上式是由勢能函數(shù)(15.74)，(15.76)，(15.78)構(gòu)成的。相對于所有的未知量直接求（15.81）的最小值是一個相當(dāng)困難的問題，因為運動和分割場構(gòu)成一個較大的未知量的集合。為此，我們通過下面的兩步迭代法來求解（15.81）的最小值[Chang 1994]: 1. 給出參數(shù)的最有效的估值，修正光流場。這步涉及求改進的代價函數(shù)的最小值 (15.82) 它由（15.81）中包含的所有項構(gòu)成。第一項表明與觀察結(jié)果的接近程度，第二項和第三項在運動估計值上強加先驗

54、約束條件，使得運動估計值與參數(shù)化光流模型相一致，并在每一個區(qū)域中平滑變化。為了求這個能量函數(shù)的最小值，可以利用由Chou和Brown[Chou 1991]提出的HCF法，該方法屬于代數(shù)求解方法，可以有效地解決鄰域相互作用的多變量問題的優(yōu)化。 2．修正分割場，假設(shè)光流場是已知的。這步涉及到求既包含又包含的(15.81)中所有項的最小值，由下式給出： （15.83） 上式的第一項定量地表示出相一致的程度。第二項與當(dāng)前配置的分割標(biāo)記的先驗概率有關(guān)。可以利用ICM方法對優(yōu)化[Chang 1993]。在每一個區(qū)域里通過最小二乘方估計來修正映射參

55、數(shù)(見式(15.70) 利用具有全局平滑限制條件的貝葉斯法能夠找到光流的初始估值。給定這個估值，利用與Wang和Adelson的[Wang 1994]相似過程初始化分割標(biāo)記。隨機參數(shù)和的確定是有關(guān)設(shè)計的問題。一種方案是選擇能夠提供在一定動態(tài)范圍內(nèi)正確的數(shù)值，以致于代價函數(shù)(15.79)中的每一項具有相等的重要性。然而，因為我們用兩步實現(xiàn)優(yōu)化，比例/也是很重要的。我們建議選擇/，這點依賴于用分段參數(shù)模型能恰當(dāng)表示運動場的程度和我們是否有足夠的類別個數(shù)。 圖15.5同時進行分割和估計的MAP法的方框圖 通過形成圖像和的連續(xù)的低通濾波模型，該算法的分

56、級實現(xiàn)成為可能。由此，可在不同的分辨率下估計和的數(shù)量。每一級的結(jié)果被用來初始化緊接著的低一級。圖11.5描述出分級算法的框圖。請注意:分割標(biāo)記的Gibbs模型已經(jīng)被擴展到包括由Kato等人[Kato 1993]給出的一定比例的鄰域內(nèi)。 討論 有一點很重要：同時進行估計和分割的形式不僅適用于出現(xiàn)多個運動物體下的三維運動和結(jié)構(gòu)估計，而且提供了改進的光流估計。幾種已知的運動分析法可被表述成這個形式的特例。如果我們僅保留(15.81)中的第一項和第三項，同時假設(shè)所有的位置具有相同的分割標(biāo)記，那么我們得到具有全局平滑限制條件的貝葉斯運動估計。Iu [Iu 93]提出的運動估計的算法也用這同樣的兩項，

57、但卻用局部分離舍棄函數(shù)代替函數(shù)。 由Stiller[Stiller 1994]提出的運動估計值和區(qū)域標(biāo)注的方法涉及（15.81）式中所有的項，除了（15.76）式中的第一項。進一步說，Stiller算法中的分割標(biāo)記只不過作為供流量場上的分段平滑度限制條件之用的標(biāo)記，同時它也不希望加強流矢量與參數(shù)分量的一致性。 練習(xí)題 15．1 請闡述三維運動估計的點對應(yīng)法和光流法的區(qū)別。 15．2 當(dāng)物體沒有平移運動時，即，我們就無法用式（15.13）估計深度值。在這種情況下，至少需要多少對應(yīng)點才能唯一地確定旋轉(zhuǎn)矩陣？ 15．3 請說明基于平行投影模型和透視投影模型估計三維運動

58、的異同。 15．4 試解釋外極線方程的幾何意義。 15．5 若已知8個或8個以上位于同一空間平面的三維點的光流矢量時，是否可以唯一地確定運動參數(shù)，為什么？ 15．6 試討論貝葉斯光流分割法中各個尺度系數(shù)的選擇準(zhǔn)則。 計算機作業(yè) 15．1 從任意一個場景圖像序列中選出相鄰兩幀圖像，假設(shè)圖像的變化是由攝象機運動引起的，兩幀圖像的最大變化不超過十幾個象素。試根據(jù)利用點對應(yīng)法和外極線方程編制一個程序，該程序具有如下功能： （1） 可以自動在另一幅圖像中找到對應(yīng)點 （2） 可以估計出該圖像對的基本矩陣，并可以畫出任意點的外極線圖可以完成圖像的。 （3） 可以對圖像實現(xiàn)校準(zhǔn)，使得圖像的外極線盡量平行 15．2 試編制一個程序，該程序可以自動在兩幀圖像中找到對應(yīng)點，并把局外點自動消除(考慮使用松弛方法)。 專心---專注---專業(yè)