基于視覺的工業(yè)機械手定位抓取系統(tǒng)虛擬實驗開發(fā)帶開題報告.zip,基于,視覺,工業(yè),機械手,定位,抓取,系統(tǒng),虛擬,實驗,開發(fā),開題,報告 一、選題依據(jù) 1．論文（設計）題目 基于視覺的工業(yè)機械手定位抓取控制系統(tǒng)設計及研究 2．研究領域 工業(yè)機器人 機電控制系統(tǒng) 理論基礎研究 3．論文（設計）工作的理論意義和應用價值 機器人技術的發(fā)展為制造業(yè)企業(yè)帶來了新活，解決了人力資源短缺問題并提高了產品質量和工作效率，單純的機器人技術在一些高端應用場合受到限制，而引入視覺系統(tǒng)可滿足柔性化生要求，推進了人工智能的進程。 機器人對環(huán)境目標具備一定的認知能力，通過感知環(huán)境目標確定自身的行動，使其不需運動接觸即可對環(huán)境目標實現(xiàn)抓取等動作，因此視覺圖像系統(tǒng)已成為提高機器人智能化的一個較為熱門的方向。將計算機視覺和圖像處理技術應用于機器人本體系統(tǒng)，可以提高機器人的工作效率和對環(huán)境的適應能力，并進一步拓展機器人的受固定環(huán)境限制的應用范圍。從機器人本體所在的工作場景中準確認知并對目標進行抓取， 是機器人尤其是工業(yè)機器人的基本實際問題，機器視覺技術與工業(yè)機器人的結合，除了最為關鍵的圖像處理以及目標檢測定位等相關技術以外，還有工業(yè)機器人運動控制中位姿表示和圖像坐標系與機器人世界坐標系之間的轉換問題。該類問題是制約機器人在排爆、搬運、組裝和焊接等領域應用的技術水平的主要因素，研究意義重大。 4．目前研究的概況和發(fā)展趨勢 工業(yè)機器人又稱工業(yè)機械手、機械操縱臂等，是適用于工業(yè)自動化生產的機電一體化設備。自第一臺工業(yè)機器人在美國誕生以來，工業(yè)機器人得到了迅速的發(fā)展，它是集控制工程、電子技術、機械制造、傳感器、計算機科學、仿生學、人工智能等多學科為一體的總和性前沿技術。工業(yè)機器人能模仿人類手臂的工作和運動方式可以實現(xiàn)對目標物體的抓取、加工、裝配、檢測蹤等工序。 機器人的研發(fā)及生產制造能力是衡量一個國家科技創(chuàng)新能力和生產制造先進水平的重要標志，目前世界各國都在加快推進機器人的研發(fā)和應用，工業(yè)機器人的發(fā)展趨勢是 (1)集成化、網(wǎng)絡化和開放化發(fā)展，隨著 PC 技術和集成電路設計水平的發(fā)展，機器人控制系統(tǒng)由原來的封閉式控制轉變?yōu)槊嫦蛴脩舻拈_放式和網(wǎng)絡化的控制系統(tǒng)，實現(xiàn)遠程實時控制和多臺設備協(xié)同操作完成任務。 (2)多傳感器的融合的智能化發(fā)展，高度智能化的機器人集視覺、力、位移等多種傳感器于一體，能實時檢測周圍環(huán)境并進行分析、推理和判斷執(zhí)行相應操作，具有獨立工作的能力。 (3)模塊化、標準化各部件實行標準化和模塊化生產，不同型號的機器人之間可相互更換模塊重構組成具有新結構和新功能的機器人，模塊化還能夠減少研發(fā)周期和降低成本。 (4)重型化、高速化和微型化發(fā)展，面向于工業(yè)生產的重型化機器人面對大型工件 能夠高效率、高精度的執(zhí)行搬運、加工等任務，微型化機器人適用于需要精細化操作的任務。 在機器視覺方面最早出現(xiàn)在制造業(yè)，通過機器視覺系統(tǒng)來完成生產線上高重復度的作業(yè)，因為精度高、重復動作、Ｗ及成本低等優(yōu)點被運用多種場合。視覺系統(tǒng)將攝像機拍攝的工件目標信息轉換為圖像信息，圖像信息經過圖像采集卡轉成數(shù)字信號， 計算機分析數(shù)字信息并提取目標特征值反饋給機器人，控制機器人的動作。在工業(yè)生產過程中，采集產品數(shù)據(jù)，有效的保證系統(tǒng)穩(wěn)定運行。 機器視覺技術經過長期的發(fā)展，滿足柔性化生產要求叫廣泛運用于工業(yè)控制領域如汽車行業(yè)、飲料行業(yè)、電子行業(yè)、太陽能斤業(yè)、食品行業(yè)、制藥與化妝品行業(yè)、倉儲和輸送行業(yè)、交通運輸行業(yè)等。機器視覺技術與工業(yè)機器人的結合，除了最為關鍵的圖像處理以及目標檢測定位等相關技術以外，還有工業(yè)機器人運動控制中位姿表示和圖像坐標系與機器人世界坐標系之間的轉換。 二、論文（設計）研究的內容 1.重點解決的問題 視覺特征模型的建立 控制系統(tǒng)設計及虛擬仿真。 2.擬開展研究的幾個主要方面（論文寫作大綱或設計思路） （1）.工業(yè)機器人相關理論研究主要研究內容有 u 視覺特征提取模型的建立 u 機械手雅克比矩陣及機械臂運動學及關節(jié)控制 u 控制系統(tǒng)設計方案 u 控制系統(tǒng)流程圖 u 控制系統(tǒng)硬件選擇 u 基于深度學習的定位目標預測優(yōu)化 (2) 軟件系統(tǒng)的開發(fā)： u 控制系統(tǒng)設計及虛擬仿真 u Matlab 對視覺的預處理 u 神經網(wǎng)絡對抓取過程的訓練優(yōu)化 3.本論文（設計）預期取得的成果 了解工業(yè)機器人的結構及其性能參數(shù)，并優(yōu)化機械手定位抓取過程，在基于視覺特征模型的理論基礎上完成機械手坐標系和視覺系統(tǒng)坐標系的統(tǒng)一，最后能用 matlab 對整個抓取定位過程的優(yōu)化和仿真，并完成控制系統(tǒng)的開發(fā)。 三、論文（設計）工作安排 1.擬采用的主要研究方法（技術路線或設計參數(shù)） 首先根據(jù) CCD 提取工件的特征參數(shù)信息，進行理論研究，建立該位置的幾何建模，確定該位置在相機中機器視覺的坐標和機器人的坐標對應關系。接著利用深度對圖像特征提取過程進行預測優(yōu)化。然后建立機器人運動的坐標原點，通過對機械臂關節(jié)控制的研究(為了讓機器人末端驅動器沿期望的笛卡爾軌跡運動，它的每一個關節(jié)必須跟隨特定的關節(jié)空間軌跡，在本次畢業(yè)設計中主要討論機器人關節(jié)控制方法：獨立控制和基于模型的控制)以及對機械手雅可比矩陣(考慮關節(jié)坐標變化率與末端執(zhí)行器速度之間的相關性可通過機械臂的雅可比矩陣體現(xiàn))的分析完成一個簡單的抓取過程。其次利用深度學習方法訓練這一過程達到快捷準確這一目標。再者搭建控制系統(tǒng)，并完成控制系統(tǒng)的控制系統(tǒng)硬件選擇，控制系統(tǒng)設計方案及控制系統(tǒng)流程圖，控制系統(tǒng)設計及虛擬仿真。最后完成控制系統(tǒng)的優(yōu)化設計。 2.論文（設計）進度計劃 第一周:機器視覺相關知識 第二周:查閱相關的參考文獻第三周:完成開題報告 第四周:撰寫文獻綜述 第五周:了解機器視覺的工作原理第六周:了解控制系統(tǒng)的設計 第七周:視覺特征提取模型的建立第八周:控制系統(tǒng)硬件選擇 第九周; 控制系統(tǒng)設計方案及控制系統(tǒng)流程圖第十周:基于深度學習的定位目標預測優(yōu)化 第十一周:控制系統(tǒng)設計及虛擬仿真第十二周:控制系統(tǒng)設計及虛擬仿真第十三周:畢業(yè)論文的撰寫與修改 第十四周:評閱，準備畢業(yè)答辯 四、需要閱讀的參考文獻 [1] 李傳朋. 基于機器視覺和深度學習的目標識別與抓取定位研究 [D]. 中北大學, 2017. [2] 盧冠男. 基于機器視覺的工業(yè)機器人抓取系統(tǒng)的研究[D]. 合肥工業(yè)大學,2017. [3] 廖毅洲. 視覺引導工業(yè)機器人定位抓取系統(tǒng)設計 [J]. 電子世界, 2017,No.511 77-78+88. [4] 夏菠. 基于雙目視覺的動態(tài)目標定位與抓取研究 [D]. 西南科技大學, 2016. [5] 劉念. 基于視覺機器人的目標定位技術研究 [D]. 華南農業(yè)大學, 2016. [6] 忽正熙. 基于模式識別與機器視覺工件的識別及分揀 [D]. 昆明理工大學, 2016. [7] 周衍超. 基于視覺引導的機器人智能抓取技術研究 [D]. 廣東工業(yè)大學, 2015. [8] 翟敬梅, 董鵬飛, 張鐵. 基于視覺引導的工業(yè)機器人定位抓取系統(tǒng)設計 [J]. 機械設計與研究, 2014,30(153), 05 53-57. [9] 夏群峰,彭勇剛. 基于視覺的機器人抓取系統(tǒng)應用研究綜述 [J]. 機電工程, 2014,31(232), 06 25-29+38. [10] 許凡. 視覺引導的抓取機器人控制技術的研究與開發(fā) [D]. 江南大學, 2014. [11] 周中偉. 機器人智能抓取的視覺引導技術研究 [D]. 江西理工大學, 2014. [12] 楊揚. 基于機器視覺的服務機器人智能抓取研究 [D]. 上海交通大學, 2014. [13] 黃浩乾. 采摘機械手的設計及其控制研究 [D]. 南京農業(yè)大學, 2010. [14] 鄒月偉. 基于機器視覺的目標識別及其路徑優(yōu)化的研究 [D]. 西安理工大學, 2009. [15] 王紅濤. 基于視覺的工業(yè)機器人目標識別定位方法的研究 [D]. 西安理工大學, 2007. [16] 黨薛夢霞, 劉士榮, 王堅. 基于機器視覺的動態(tài)多目標識別[J]. 上海交通大學學報, 2017, 51(6):727-733. [17] Peter Findlay. Intelligent System for Automated Components Recognition and Handling[D].Johannesburg: Mechanical and Manufacturing Engineering Department， Rand Afrikaans University，2002. [18] Hager G D, HutchinsonS，Corke P I. A tutorial on visual servo control[J].IEEE Transaction on Robotics and Automation，2007，12 (5):651-670. [19] Chaumette F, Malis E.A possible solution to image-based and position-based and position-based visual servoings by 2D 1/2 visual servoing [C〕.San Francisco: IEEE International Conference on Robotics and Automation，2000. 附：文獻綜述 1 引言 工業(yè)機器人能模仿人類手臂的工作和運動方式可以實現(xiàn)對目標物體的抓取、加工、裝配、檢測蹤等工序。機器人可以替代部分甚至全部的人力操作，極大的減輕工人的勞動強度并促進生產的自動化，還可以在高溫、高壓、放射性、污染性等惡劣環(huán)境下工作，并能保證高精度、高質量、高效率的完成工作任務。工業(yè)機器人已經在機械、汽車、船舶、電子、航空航天等領域內得到廣泛的應用，工業(yè)機器人的人均使用率體現(xiàn)了一個國家的自動化生產程度和工業(yè)發(fā)展的技術能力,而控制系統(tǒng)是決定機器人功能和性能的主要因素，在一定程度上制約著機器人技術的發(fā)展，它的主要任務就是控制機器人在工作空間中的運動位置、姿態(tài)和軌跡、操作順序及動作的時間等。模塊化、層次化的控制器軟件系統(tǒng)、網(wǎng)絡化機器人控制器技術等關鍵技術直接影響到機器人的速度、控制精度與可靠性。而近年來，隨著機器視覺的發(fā)展與研究，越來越多的機器人配備了視覺圖像系統(tǒng)，各樣的視覺圖像為機器人提供了十分需要的外界信息，明顯推動了機器人在自主移動和機械臂準確定位技術方面的實質性提高。同時，許多視覺和圖像算法的成功應用也顯著提升了機器人的智能水平，而機器人本身對目標物進行抓取的實時性、準確性和穩(wěn)定性，也是機器采用視覺引導進行智能抓取的智能水平的標準體現(xiàn)。要提高機器人所作的一系列動作的智能水平，使其具備智能化移動和抓取的功能，關鍵是使機器人對環(huán)境目標具備一定的認知能力，通過感知環(huán)境目標確定自身的行動，使其不需運動接觸即可對環(huán)境目標實現(xiàn)抓取等動作，因此視覺圖像系統(tǒng)已成為提高機器人智能化的一個較為熱門的方向。將計算機視覺和圖像處理技術應用于機器人本體系統(tǒng)，可以提高機器人的工作效率和對環(huán)境的適應能 力，并進一步拓展機器人的受固定環(huán)境限制的應用范圍。從機器人本體所在的工 作場景中準確認知并對目標進行抓取，是機器人尤其是工業(yè)機器人的基本實際問題，該類問題是制約機器人在排爆、搬運、組裝和焊接等領域應用的技術水平的主要因素，研究意義重大。 為了更好的完成本次論文，在寫作前從近些年的期刊雜志、學位論文及相關書籍中收集了大量的關于機器視覺以及機器人抓取定位的參考文獻，其中不乏 《基于末端開環(huán)視覺系統(tǒng)的機器人目標抓取研究》 、《基于機器視覺的離散傅里葉變換目標識別方法》 、《基于機器視覺的動態(tài)多目標識別》 等期刊文獻。 本文以被廣泛應用于工業(yè)機械中工件產品等定位抓取的機器人為研究對象， 研究基于視覺的定位，設計抓取機器人控制系統(tǒng)設計開發(fā)及理論支撐，并應用深度學習方法對機器人進行優(yōu)化，最后得到一個優(yōu)化之后的控制系統(tǒng)。 2 國外研究狀況 機器人控制技術的發(fā)展，針對結構封閉的機器人控制器的缺陷，開發(fā)“具有開放式結構的模塊化、標準化機器人控制器”是當前機器人控制器的一個發(fā)展方 向。近幾年，日本、美國和歐洲一些國家都在開發(fā)具有開放式結構的機器人控制器，如日本安川公司基于 P C 開發(fā)的具有開放式結構、網(wǎng)絡功能的機器人控制器。我國 863 計劃智能機器人主題也已對這方面的研究立項。 由于適用于機器人控制的軟、硬件種類繁多和現(xiàn)代技術的飛速發(fā)展，開發(fā)一個結構完全開放的標準化機器人控制器存在一定困難，但應用現(xiàn)有技術，如工業(yè) PC 良好的開放性、安全性和聯(lián)網(wǎng)性，標準的實時多任務操作系統(tǒng)，標準的總線結構，標準接口等，打破現(xiàn)有機器人控制結構封閉的局面，開發(fā)結構開放性、功能模塊化的標準化機器人控制器是完全可行的。由于機器人性能的不同，對運動控制板的要求也不同。美國 De1taTau 公司推出的 PMAC(Programinable Multi-axies Controller)在國內外引起重視。PMAC 是一種功能強大的運動控制器，它全面地開發(fā)了 DSP 技術的強大功能，為用戶提供了很強的功能和很大的靈活性。借助于 Motorola 公司的 DSP56001 數(shù)字信號處理器，PMAC 可以同時操縱 1-8 軸，比起其他運動控制板來說，有很多可取之處。由于適用于機器人控制的軟、硬件種類繁多和現(xiàn)代技術的飛速發(fā)展，開發(fā)-個結構完全開放的標準化機器人控制器存在一定困難，但應用現(xiàn)有技術，如工業(yè) PC 良好的開放性、安全性和聯(lián)網(wǎng)性，標準的實時多任務操作系統(tǒng)，標準的總線結構，標準接口等，打破現(xiàn)有機器人控制器結構封閉的局面， 開發(fā)結構開放性、功能模塊化的標準化機器人控制器是完全可行的。 另外機器視覺技術自上世紀六、七十年代被提出，經過不斷地發(fā)展，在上世紀九十年代被廣泛應用到工業(yè)環(huán)境中。從機器視覺的底層開發(fā)到機器視覺應用， 積累了大量的技術基礎，成熟的技術將機器人視覺系統(tǒng)應用在半導體和電子行業(yè)。20 世紀 5 年代機器視覺主要用于二維圖像的研巧，60 年代 MIT 的 ROBERTS 70 年代提出了較為完整的機器視覺理論：Marr 視覺理論，20 世紀 80 年代視覺技術快速發(fā)展，進入發(fā)展正軌，90 年代至今進入最活躍的階段，廣泛應用于多個領域。 目前，歐美、日本等國家在機器視覺領域的研究處于領先地位，相應的應用也比較成熟。國外機器視覺技術的研究團隊主要有：伯克利大學機器視覺小組， 瑪麗女王大學機器視覺小組，南加利福尼亞大學機器視覺小組，劍橋大學視覺與機器人研究小組，卡耐基梅隆大學機器人學院，阿姆斯特丹大學智能系統(tǒng)實驗室， MIT 計算機科學與人工智能實驗室，MIT 機器視覺實驗室等。 3.國內研究狀況 工業(yè)機器人運行穩(wěn)定、速度快、精度高、適應環(huán)境能力強，市場前景十分廣闊， 也是目前技術最成熟，應用最廣的一類機器人。機器人控制系統(tǒng)是機器人系統(tǒng)中的指揮中樞，因此機器人控制系統(tǒng)必須可靠性高、功能全面、響應速度快。 哈爾濱工程大學設計的基于 PMAC 運動控制工業(yè)機器人控制系統(tǒng)是一種典型控制系統(tǒng)。采用開放式硬件和軟件結構，方便功能擴展適和各種用途的工業(yè)機器人， 并且設計控制系統(tǒng)時考慮了從控制角度降低系統(tǒng)運行誤差。 焊接機器人的作為工業(yè)生產機器人，應用十分廣泛。尤其是對于我國南方的集中化生產工廠，對于自動化生產機器人的需求十分強烈，同時，對于通過視覺輔助機器人運動進行視 覺伺服的功能研發(fā)也是今后長時間的研究熱點以及對于進一步通過機器人減少人工工作的重要突破口。針對以上問題，浙江大學基于數(shù)字圖像處理，軟件研發(fā)的知識，研究了一般的焊接機器人研發(fā)方式，通過設計，編程以及驗證，研發(fā)了焊接機器人的控制軟件，并同時對于焊接的相關視覺技術進行了研發(fā)。 北京石油化工學院基于 PMAC 設計了管道缺陷檢測機器人的控制系統(tǒng)，采用 PC 機和 PMAC 運動控制卡組合的控制模式。PC 機控制云臺的轉動，實現(xiàn)管道缺陷圖像的采；PMAC 控制機器人本體的運動。實驗證明，該控制系統(tǒng)能夠對管道缺陷檢測機器人進行精確控制，使之準確檢測到管道的缺陷。 物流產業(yè)對經濟發(fā)展的貢獻日益突出。碼垛是提高物流系統(tǒng)中物資搬運效率和存儲利用率的重要手段， 使用碼垛機器人代替人工碼垛已經成為物流行業(yè)發(fā)展的趨勢。碼垛機器人可以提高生產效率和產品質量，并提高系統(tǒng)應對新的物流需求的能力。上海交通大學[4] 探討了基于 Windows/RTX 的碼垛機器人控制系統(tǒng)軟件設計。結合碼垛機器人是一個實時多任務系統(tǒng)的特點，搭建了 Windows/RTX 的軟件平臺，在能夠繼續(xù)利用 Windows 操作系統(tǒng)原有豐富資源的前提下，通過擴展 RTX 實時模塊彌補了 Windows 系統(tǒng)在實時性方面的缺陷，滿足了機器人控制系統(tǒng)的實時性要求。該系統(tǒng)符合機器人控制器開放性設計的思想，當機器人功能要求變化時，只需要在體系結構中添加或刪除相應的模塊，而不需要修改軟件體系結構將機器人的任務， 提高了機器人的柔性，降低了機器人維護和升級的成本，為開發(fā)更多功能的機器人控制系統(tǒng)奠定了基礎。 柔索牽引攝像機器人系統(tǒng)有著廣泛的應用前景，由于其自身的運動特性能給觀眾帶來前所未有的視覺體驗，目前許多大型賽事的實況轉播和綜藝廣播電視節(jié)目的錄制都采用了該設備。國內學者對柔索牽引并聯(lián)機器人的理論研究成果已經很豐富，但是柔索牽引攝像機器人控制系統(tǒng)的成品設計卻較少報道。西安電子科技大學[5]設計了一種柔索牽引攝像機器人控制系統(tǒng)，能夠實現(xiàn)攝像機器人在三維工作空間內任意運動，并且運動速度平穩(wěn)可控。 4.發(fā)展趨勢及展望 機器人的研發(fā)及生產制造能力是衡量一個國家科技創(chuàng)新能力和生產制造先進水平的重要標志，目前世界各國都在加快推進機器人的研發(fā)和應用，工業(yè)機器人的發(fā)展趨勢是 (1) 集成化、網(wǎng)絡化和開放化發(fā)展，隨著 PC 技術和集成電路設計水平的發(fā)展，機器人控制系統(tǒng)由原來的封閉式控制轉變?yōu)槊嫦蛴脩舻拈_放式和網(wǎng)絡化的控制系統(tǒng)，實現(xiàn)遠程實時控制和多臺設備協(xié)同操作完成任務。 (2) 多傳感器的融合的智能化發(fā)展，高度智能化的機器人集視覺、力、位移等多種傳感器于一體，能實時檢測周圍環(huán)境并進行分析、推理和判斷執(zhí)行相應操作，具有獨立工作的能力。 (3) 模塊化、標準化各部件實行標準化和模塊化生產，不同型號的機器人之間可相互更換模塊重構組成具有新結構和新功能的機器人，模塊化還能夠減少研發(fā)周期和降低成本。 (4) 重型化、高速化和微型化發(fā)展，面向于工業(yè)生產的重型化機器人面對 大型工件能夠高效率、高精度的執(zhí)行搬運、加工等任務，微型化機器人適用于需要精細化操作的任務。 5.本文開展的工作 (1) 利用 matlab 對視覺特征提取完成定位模型的建立 (2)根據(jù)收集資料及相關分析完成控制系統(tǒng)設計方案，控制系統(tǒng)流程圖及控制系統(tǒng)硬件選取。 (3) 根據(jù)理論基礎研究完成控制系統(tǒng)設計開發(fā)