《機器人手眼協(xié)調研究讀書報告.ppt》由會員分享，可在線閱讀，更多相關《機器人手眼協(xié)調研究讀書報告.ppt（26頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、機器人手眼協(xié)調研究讀書報告,指導老師：張明路教授教授,匯報人: 鄧潔平,報告內容,,,手眼協(xié)調系統(tǒng)的發(fā)展,手眼協(xié)調系統(tǒng)的發(fā)展：,,利用視覺信息控制機器人的歷史可以追溯到1963年由Stanford大學wichman提出的以獲得視頻流作為輸入信息對機器人進行運動控制的方 法,他的這個思想后來被認為是機器人視覺控制的雛形。,,開環(huán)：look then move 視覺信息處理和機器人的運動 是獨立分開的兩個串行的任務。,閉環(huán)：利用視覺信息反饋控制機器人的研究模型,成功 的以視覺反饋引導機器人,開環(huán)與閉環(huán)的比較,,,比較,,開環(huán)：精度難以控制，且對先驗知識 依賴度高,閉環(huán)：克服了開環(huán)的缺點 但是要求機

2、器人末端 操作器始終可以在視覺場景中觀測到,視覺伺服控制方法,基于位置的視覺伺服控制（三維視覺） 利用攝像機的參數(shù)來建立圖像信號與機器人的位置/姿態(tài)信息之間的映射,然后在伺服過程中,借助于圖像信號來提取機器人的位置/姿態(tài)信息,并將它們與給定位姿進行比較,形成閉環(huán)反饋控制。,視覺伺服控制方法,給定 位姿,,,,三維視覺 控制器,,機器人 對象,,照相機,,,,圖像處 理環(huán)節(jié),,照相機 逆映射,,,控制信號,位姿信號,圖像信號,二維信號,當前位姿,基于位置的視覺伺服基本結構,視覺伺服控制方法,基于圖像的視覺伺服控制（二維視覺） 與三維視覺伺服不同,基于圖像的視覺伺服將 實時測量得到的圖像

3、信號與給定圖像信號直接進行 在線比較,然后利用所獲得的圖像誤差進行反饋來 形成閉環(huán)控制。,視覺伺服控制方法,給定 圖像,,,,二維視覺 控制器,,機器人 對象,,照相機,,,,圖像處 理環(huán)節(jié),,,控制信號,位姿信號,圖像信號,當前圖像,基于圖像的視覺伺服基本結構,,視覺伺服系統(tǒng)方法,1.基于位置的視覺伺服控制 精度取決于攝像機的參數(shù)準確性以及圖像的噪聲，無法保證機器 人或者參考物體始終位于攝像機的視野之內 2.基于圖像的視覺伺服控制 對于攝像機模型的偏差具有較強的魯棒性,通常也能較好地保證機器人或參考物體位于攝像機的視野之內,但是在設計視覺伺服控制器時,這種方法又不可避免地遇到了圖像雅可

4、比矩陣Js的奇異性以及局部極小等問題 T=Js(s-s*),視覺伺服系統(tǒng)方法,3. 2.5維視覺伺服控制 考慮到以上2種視覺伺服方法的局限性,法國機器人視覺控制專家 F. Chaumette等人提出了2.5維視覺伺服。 它將攝像機平動位移(V)與旋轉(O)的閉環(huán)控制解耦,根據(jù)從圖像中提取出來的特征點,重構物體3D空間中的方位及成像深度比率,平動部分用圖像平面上的特征點坐標表示。,視覺伺服系統(tǒng)方法,,位置控制律,旋轉控制律,關節(jié)控制器,機器人,攝像機,特征提取,單應性矩 陣分解,,,,,,,,,,,,,,,,,,,,,,旋轉分量,位置分量,期望位置,期望轉角,視覺伺服過程,機器人執(zhí)行伸手抓

5、取操作的視覺伺服過程被分成5步: 搜索 接近目標 粗對準 精對準 抓取,,視覺伺服過程,搜索.頭部左右和上下轉動來搜索定位目 標物體,攝像頭獲取物體的位置信息. 接近目標. 控制本體從遠處步行靠 近目標物體,然后靜止站立在物體前面.,視覺伺服過程,粗對準.利用視覺前饋和基于表格的逆運動學算法控制機器人手運動到視覺區(qū)域內,3維位置估計,特征提取,觀測目標,基于表格 的機器人 運動求解,路徑規(guī)劃,,關節(jié)傳感器,機器人,控制關節(jié)器,,,,,,,,,,關節(jié)空間坐標,關節(jié)運動軌跡,關節(jié) 位置,直角坐標系,基于視覺前饋的視覺伺服控制流程,視覺伺服過程,神經(jīng)網(wǎng)絡中機器人視覺前饋控制,機器人視覺前饋控制主

6、要包括視覺深度估計和基于內部模型學習的前饋控制等過程。 建立基于神經(jīng)網(wǎng)絡和強化學習的視覺一運動映射學習模型,將視覺信息和機器人動作對應起來,通過在線學習來逼近這個非線性映射,將機器人速度輸出作為前饋控制發(fā)送的運動指令“,視覺伺服過程,精對準：同時測量機器人的手部和目標物體的三維信息,以手部mark中心和目標質心之間的距離作為控制量,利用PD算法采用視覺反饋實現(xiàn)末端執(zhí)行器和目標物體的精對準.,笛卡爾空間 控制策略,雅克比 逆矩陣,關節(jié) 控制器,機器人,圖像特征提取,位姿估計,,,,,,,,,,,,,目標位置,攝像機,基于位置的視覺伺服過程,,視覺伺服過程,機器人視覺反饋控制,視覺反饋控制的必

7、要條件就是目標物體和機器人本體特征同時存在于視 覺范圍之內 雙目視差的機械手平移型視覺反饋控制,雙目視覺控制,研究目標,目標選擇,,位置估計,內部模型,視覺前饋,,,,,期望 軌跡,視覺前饋控制,視差估計,選擇器LS,輸入,,,,,,視覺反饋,機器人,,本體感知 處理,視覺信 息處理,腹側通路,,,,,,,,,,,,,,連續(xù),間斷,高,低,攝像機,關鍵問題,目標物體的識別 邊緣提取算子的研究與選擇,1.利用圖像中目標物體邊緣輪廓與背景色彩上的突變?？梢愿鶕?jù)laplace算子 ，sobel算子，canny算子提取圖像的輪廓信息。 2.利用特征幾何形狀模板對機器人本體進行描述,關鍵問題,視覺

8、測量,主要途徑包括: 1)直接在圖像平面上進行測量,利用光流檢測和圖像 差分等技術; 2)利用攝像機參數(shù)和其它先驗知識(例如物體的幾何模型) 對物體的姿態(tài)進行計算,所采用的技術主要取決于攝像機數(shù)目!機械手一 攝像機配置情況!標定的精確程度和場景先驗知識的多寡等因素,視覺深度信息,為了通過二維像平面上一點來確定物體在三維空間中的關系必須有附加的信息，主要包括：多個視圖，目標物體上多個特征點之間的幾何關系。,關鍵問題,視覺控制 經(jīng)典控制方法有PID方法、極點配置方法。 現(xiàn)代控制方法有最優(yōu)控制方法、自適應控制方法等。 模糊邏輯和神經(jīng)網(wǎng)絡為代表的智能控制方法也廣泛應用于機器人視覺伺服控制。,關鍵問題,視覺運動規(guī)劃 勢場 導航函數(shù),關鍵問題,視覺伺服系統(tǒng)的穩(wěn)定性,將非線性控制理論應用于機器人視覺伺服系統(tǒng),分別采用自應控制和魯棒控制等方法來提高機器人視覺伺服系統(tǒng)對于這些不確定因素的適應能力.,敬請老師們批評指正！,