《基于深度學(xué)習(xí)技術(shù)的人員行為異常檢測系統(tǒng)設(shè)計》由會員分享，可在線閱讀，更多相關(guān)《基于深度學(xué)習(xí)技術(shù)的人員行為異常檢測系統(tǒng)設(shè)計（48頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、本科畢業(yè)論文（設(shè)計）專用 本科畢業(yè)論文（設(shè)計） 論 文 題 目 ： 基于深度學(xué)習(xí)技術(shù)的人員行為異常檢 測系統(tǒng)設(shè)計 摘 要 隨著人工智能領(lǐng)域技術(shù)的不斷發(fā)展，人工智能與制造業(yè)的融合應(yīng)用已具備一定的基礎(chǔ)。 現(xiàn)代工廠中人員基數(shù)較大，人員行為狀況復(fù)雜，發(fā)生突發(fā)意外事件的情況可能性較大，為 了方便企業(yè)對員工異常行為的判斷，提高工廠安防能力，本設(shè)計擬設(shè)計一款現(xiàn)代工廠作業(yè) 人員行為異常檢測系統(tǒng)。 本設(shè)計利用深度學(xué)習(xí)技術(shù)，對數(shù)據(jù)進行訓(xùn)練與驗證，依靠 open pose 框架對權(quán)重進行 設(shè)置，以達(dá)到視覺檢測的效果，使用 Open Po

2、se 在做動作識別的時候可以有效的提高動作 識別度，增加視覺識別的準(zhǔn)確性和數(shù)據(jù)交互能力。同時，利用 Open Pose 算法對目標(biāo)進行 檢測與數(shù)據(jù)分析，并對所檢測的圖像中的人體骨架的關(guān)鍵信息點進行目標(biāo)檢測和數(shù)據(jù)分析， 將算法檢測出的圖像中人體骨架進行信息關(guān)鍵點標(biāo)注，將骨架關(guān)鍵點連接形成一個類似火 柴人的骨架，然后計算每一個關(guān)鍵點的夾角，以此來判斷人體動作的姿態(tài)顯示。 本設(shè)計系統(tǒng)通過 Visual Studio Code 軟件搭載 python3.75 進行程序設(shè)計實現(xiàn)對人體姿態(tài) 識別，并進行了實驗驗證，通過實驗表明：本系統(tǒng)結(jié)構(gòu)簡單，設(shè)備需求量減小、數(shù)據(jù)集中， 系統(tǒng)穩(wěn)定性好，與傳統(tǒng)人體姿態(tài)識別

3、方法相比，數(shù)據(jù)交互性強，使用成本較低，數(shù)據(jù)量較 小。 關(guān)鍵詞：Open pose；姿態(tài)識別；人體姿態(tài)；目標(biāo)檢測 Abstract With the continuous development of artificial intelligence technology, the fusion application of artificial intelligence and manufacturing industry has a certain basis. In modern factories, the personnel base is large,

4、 the personnel behavior is complex, and the possibility of accidents is large. In order to facilitate the enterprise to judge the abnormal behavior of employees and improve the factory security ability, this design intends to design a modern factory personnel behavior abnormal detection system. T

5、his design uses deep learning technology to train and verify data, and relies on open pose framework to set weights, so as to achieve the effect of visual detection. Open Pose can effectively improve the degree of motion recognition, increase the accuracy of visual recognition and the ability of da

6、ta interaction when doing motion recognition. At the same time, the Open Pose algorithm was used for target detection and data analysis, and the key information points of human skeleton in the detected images were detected and data analysis. The key information points of human skeleton in the images

7、 detected by the algorithm were marked, and the skeleton key points were connected to form a skeleton similar to that of a match man, and then the included Angle of each key point was calculated. To judge the posture display of human movement. In this design system, the Visual Studio Code softw

8、are is equipped with python3.75 for program design to realize the recognition of human posture, and the experimental verification is carried out. The experiment shows that: The system has the advantages of simple structure, reduced equipment demand, stable data, good system stability and strong da

9、ta robustness. Compared with traditional human body posture recognition methods, the data interaction is strong, the use cost is low, and the data volume is small. Key words: Open pose；Gesture recognition；The body posture；Target detection 目 錄 1 引 論 1 1.1 研究目的及意義 1 1.2 國內(nèi)外研究現(xiàn)狀 3

10、 1.3 設(shè)計的主要內(nèi)容 4 2 行為異常檢測系統(tǒng)總體方案 5 2.1 系統(tǒng)需求與分析 5 2.2 系統(tǒng)總體方案設(shè)計 5 3 系統(tǒng)硬件設(shè)計 6 3.1 硬件方案設(shè)計 6 3.2 深度相機選型 7 3.3 視覺板卡選型 8 3.4 聲光報警裝置選型 10 3.5 光源裝置選型 11 4 行為異常檢測系統(tǒng)通訊設(shè)計 13 4.1 通信協(xié)議的選擇 13 4.2 深度相機與 JETSON NANO 板卡 TCP/IP 通訊 13 4.3 深度相機與 JETSON NANO 板卡 CSI 通訊 14 5 行為異常檢測系統(tǒng)軟件設(shè)計 16 5.1 軟件方案設(shè)計

11、 16 5.2 數(shù)據(jù)采集 18 5.3 數(shù)據(jù)集收集與圖片標(biāo)注 18 5.4 圖片預(yù)處理 19 5.5 手部特征算法及程序設(shè)計 22 5.6 身體特征算法及程序設(shè)計 23 5.7 人體姿態(tài)識別算法及程序設(shè)計 25 6 行為異常檢測 27 6.1 識別權(quán)重準(zhǔn)備 27 6.2 檢測系統(tǒng)識別準(zhǔn)備 27 6.3 行為異常檢測系統(tǒng) 29 7 結(jié) 語 33 參考文獻(xiàn) 34 致 謝 35 附 錄 36 附錄一 36 附錄二 42 1 引 論 1.1 研究目的及意義 1.1.1 研究目的 隨著經(jīng)濟發(fā)展，社會體系的逐步完善，社會治安的能

12、力得到大幅度提升，在 2020 年 11 月國家信息中心提出《全觀智慧城市白皮書》，首次提出全光智慧城市的發(fā)展理念。 隨著這一政策推出，各地方開始紛紛跟進“智慧城市”建設(shè)項目，由各大城市開始向鄉(xiāng)鎮(zhèn) 擴散。智慧城市是運用物聯(lián)網(wǎng)、云計算、大數(shù)據(jù)、空間地理信息集成等新一代信息技術(shù)， 促進城市規(guī)劃、建設(shè)、管理和服務(wù)智慧化的新理念和新模式。 至 2010 起年我國安防行業(yè)總收入已達(dá) 2350 億元，并逐年快速增長態(tài)勢。2013 年我 國安防行業(yè)總收入達(dá)到 3800 億元。到了 2016 年我國安防行業(yè)總收入達(dá)到了 5400 億元， 截止至 2017 年底，我國安防企業(yè)數(shù)量大約有 2.1 萬家，行

13、業(yè)總收入增長至突破 6000 億元， 年均增長 14.4%，全行業(yè)實現(xiàn)增加值 1960 億元，年均增長 12.7%。2018 年我國安防行業(yè) 總收入將達(dá)到 6678 億元左右。2020 年我國安防行業(yè)總收入將突破 8000 億元，達(dá)到了 8212 億元左右，如圖 1.1 所示。 圖 1.1 視覺市場分析 智能安防市場空間廣闊，視頻監(jiān)控高增速。AI 技術(shù)賦予安防感知和認(rèn)知能力，從人 臉識別、視頻行為分析到后端有效數(shù)據(jù)的提取及挖掘，協(xié)助解決安防場景中諸多復(fù)雜、動 態(tài)問題，推動安防行業(yè)智能化發(fā)展。據(jù)預(yù)測，全球智能視頻監(jiān)控市場 2020-2025 年復(fù)合增 1 速為

14、7.1%，2025 年市場規(guī)模將達(dá)到 318 億美元，如圖 1.2 所示。 圖 1.2 視覺市場規(guī)模示意圖 由于深度學(xué)習(xí)算法在在語音和圖像識別領(lǐng)域的重大突破，通過攝像頭識別人臉開始成 為現(xiàn)實。伴隨安防監(jiān)控系統(tǒng)的越發(fā)龐大，監(jiān)控數(shù)據(jù)也隨之而來，針對視頻監(jiān)控的中出現(xiàn)的 行為異常時間的檢測與事故發(fā)生的誘導(dǎo)因素，這需要安防人員時時刻刻的觀察各個監(jiān)控數(shù) 據(jù)，但是人的精力是有限的，無法時時刻刻保持高度集中的注意力進行觀察各監(jiān)控數(shù)據(jù)， 因此會產(chǎn)生各種因素導(dǎo)致漏檢與誤檢等情況，從而導(dǎo)致安防能力下降。如今，工廠人員密 集，人員活動范圍變大，在此過程中突發(fā)的異常行為事件就變得各式各樣，有的行為異常 很難去辨

15、認(rèn)，甚至難以察覺，如此以來，大大的增加了視頻監(jiān)控技術(shù)的技術(shù)難度。針對這 種情況本設(shè)計提出一種基于深度學(xué)習(xí)技術(shù)的現(xiàn)代工廠作業(yè)人員行為異常檢測系統(tǒng)設(shè)計，用 以輔助監(jiān)控人員的工作，以此減少監(jiān)控工作人員壓力提高安防能力。 5G 帶來了網(wǎng)絡(luò)環(huán)境的全新變革，多項智慧城市的標(biāo)準(zhǔn)體系的落地、加上 AI 技術(shù)條 件的逐漸成熟，智慧城市建設(shè)有望將進入快車道。人工智能改變了機器視覺在物理世界朝 數(shù)字世界轉(zhuǎn)換的方式，這兩大技術(shù)在安防領(lǐng)域的融合應(yīng)用，目前正在構(gòu)成“5G+AI+安防” 的全新的組合，助推視頻監(jiān)控行業(yè)邁向超高清、AI 智能的新階段。 1.1.2 研究意義 異常事件檢測技術(shù)（或者稱為行為異常檢測技術(shù)）的

16、研究能不斷推進智能化技術(shù)的發(fā) 展，這對促進社會和諧意義重大。在社會治安方面;可以對視頻監(jiān)控地點進行實時監(jiān)控， 當(dāng)檢測點發(fā)生打架，搶劫，斗毆等做出有違社會治安穩(wěn)定的異常行為時通過視覺檢測進行 判斷其異常行為模式并及時向相關(guān)部門進行數(shù)據(jù)交互提醒，以此可以大幅度提升該地區(qū)安 防效率，有效避免惡性事件的發(fā)生；在交通監(jiān)管方面，行人橫穿馬路，發(fā)生車禍，都可以 通過行為異常檢測技術(shù)進行監(jiān)控識別；在工廠生產(chǎn)方面，能檢測出檢測區(qū)的作業(yè)人員發(fā)生 9 跌倒，違規(guī)攀爬，碰撞和突發(fā)性的異常行為動作進行報警提示，使監(jiān)控人員第一時間注意 到，并給予解決，在關(guān)鍵時刻甚至可以挽救工作人員的生命；行為異常檢測

17、技術(shù)也可以運 用于商場，小區(qū)，銀行，景點園區(qū)，博物館等場景，通過及時有效的檢測監(jiān)控中的異常行 為，降低突發(fā)事件造成的危害。將視頻識別與動作檢測，這種高效的行為異常檢測技術(shù)運 用在安防技術(shù)上，能減少人力物力 ，對群眾與社會治安提供一定量的保障。所以，對針 對這種行為異常檢測算法的研究顯得極為急迫和重要。 1.2 國內(nèi)外研究現(xiàn)狀 1.2.1 國外研究現(xiàn)狀 人工智能技術(shù)通過搭載著大數(shù)據(jù)時代的帆船得到了飛速的發(fā)展，監(jiān)控安防系統(tǒng)也越來 越智能化普及化，如圖 1.3 所示。研究人員基于這個實驗，發(fā)現(xiàn)動作和骨骼關(guān)鍵點的關(guān)系， 于是開始針對骨骼關(guān)鍵點進行研究。2019 年曾經(jīng)開源 Open Pose 的

18、卡內(nèi)基梅隆大學(xué)（CMU） 公布了 ICCV 2019 論文 Single-Network Whole-Body Pose Estimation，提出一種在單一網(wǎng) 絡(luò)實現(xiàn)全人體姿態(tài)估計的算法，相對 Open Pose 大幅提高了速度。在 Open Pose 只能達(dá)到 幀率 1.6 fps 的圖像上，該文提出的算法運行幀率可達(dá)到 13.2 fps，且精度還有改進。相對 與原來的人體姿態(tài)估計，即對人體軀干、人臉、手部都進行姿態(tài)估計，這可以通過先檢測 人體軀干關(guān)鍵點，然后再針對人臉和手部進行單獨的關(guān)鍵點定位實現(xiàn)，這種方法需要多個 姿態(tài)估計網(wǎng)絡(luò)，速度并不快。 卡內(nèi)基梅隆大學(xué)在 Open Pose 算法框

19、架下，使用單一網(wǎng)絡(luò) 實現(xiàn)全人體的姿態(tài)估計并在論文 Open Pose: reatime multi-person 2D pose estimation using Part Affinity Fields 基礎(chǔ)上進行了改進，將原本人臉、手部 Part Affinity Fields 直接合并進 入人體的 Part Affinity Fields， 進行多任務(wù)學(xué)習(xí)，實現(xiàn)上述功能。 圖 1.3 全球視覺市場規(guī)模分布圖 1.2.2 國內(nèi)研究現(xiàn)狀 2022 年由國內(nèi)蘇波，柴自強，王莉[7]等學(xué)者提出針對人體姿態(tài)估計模型 Open Pose 計 算量大、檢測速度慢等問題，提出了一種

20、改進 Open Pose 模型，替換其主干網(wǎng)絡(luò)為八度卷 積與 Mobile Net 融合而成的 Oct - Mobile Net，并優(yōu)化縮減預(yù)測階段的重復(fù)分支。實驗表 明，改進模型的計算量降低為原來的 12%且檢測速度提升 300%。應(yīng)用改進 Open Pose 模 型提取標(biāo)準(zhǔn)視頻與測試視頻的姿態(tài)向量時間序列，其中姿態(tài)向量由關(guān)鍵點坐標(biāo)經(jīng)歸一化處 理后組合得到。采用姿態(tài)向量之間的余弦距離表征單幀動作相似度，通過動態(tài)時間規(guī)整算 法計算標(biāo)準(zhǔn)序列與測試序列之間的累積距離作為序列整體相似度。該評分方法計算復(fù)雜度 低且適用于視頻 時長不一致的情況，在八段錦健身動作評估中取得了較好應(yīng)用效果，具 有一定的推廣

21、應(yīng)用價值，如圖 1.4 所示。 1.3 設(shè)計的主要內(nèi)容 圖 1.4 姿態(tài)估計 本文提出了一種基于深度學(xué)習(xí)技術(shù)的人員行為異常檢測系統(tǒng)設(shè)計，通過了解深度學(xué)習(xí) 技術(shù)的人員行為異常檢測系統(tǒng)的組成單元，首先對深度學(xué)習(xí)技術(shù)的人員行為異常檢測系統(tǒng) 進行功能分析，根據(jù)功能進行設(shè)備選型，選擇適當(dāng)?shù)囊曈X板卡和深度相機等硬件，合理構(gòu) 建空連接布局。 通過運用 Open pose 算法對讀取的圖像進行關(guān)鍵點識別方法，該方法通過輕量化 Open pose 對視頻流進行骨骼圖像提取，中間通過對得到的圖像進行姿態(tài)數(shù)據(jù)集標(biāo)注，最 后再通過 COCO 模型對標(biāo)注圖像進行分類訓(xùn)練，將訓(xùn)練出來的權(quán)

22、重文件進行分類。根據(jù) 所需要的識別狀態(tài)更換合適的權(quán)重文件，然后利用 Python3.75 結(jié)合 Visual Studio Code 編 寫深度學(xué)習(xí)系統(tǒng)程序，最后通過識別檢測驗證程序調(diào)試，使深度相機可以實現(xiàn)實時的姿態(tài) 獲取，以檢測人體姿態(tài)。 2 行為異常檢測系統(tǒng)總體方案 2.1 系統(tǒng)需求與分析 由于現(xiàn)在人工智能技術(shù)的發(fā)展，企業(yè)與公司對安防意識的需求增大，參考?？低暫?百度對視覺安防的技術(shù)攻堅，視覺安防得到了一定量的普及，人工智能視覺識別作為安防 監(jiān)控的能力得到大幅度提升。針對這一發(fā)展需求與時代發(fā)展趨勢，提出一種基于深度學(xué)習(xí) 技術(shù)的現(xiàn)代工廠作業(yè)人員行為異常檢測系統(tǒng)設(shè)計來實

23、時監(jiān)測定位人體，判斷特殊時段、核 心區(qū)域是否有人員入侵；基于人體關(guān)鍵點信息，進行二次開發(fā)，識別特定的異常行為，及 時預(yù)警管控。 學(xué)習(xí)技術(shù)的人員行為異常檢測系統(tǒng)，技術(shù)通過相機作為視覺采集裝置，在特定的工作 區(qū)域或指定的安裝位置進行數(shù)據(jù)采集，根據(jù)分析數(shù)據(jù)自動檢測區(qū)域內(nèi)是否存在異常行為， 來提高安防效率，可以通過不同場景的實際需求更換不同的采集設(shè)備與視覺處理設(shè)備來實 現(xiàn)不同類型的異常行為識別。 2.2 系統(tǒng)總體方案設(shè)計 通過在各工作地點內(nèi)安裝高清視覺攝像頭，實時監(jiān)控工作人員的工作狀態(tài)。通過以太 網(wǎng)通信，將攝像頭的數(shù)據(jù)畫面實時傳播給 Jetson Nano 板卡進行視覺處理，通過算法的深度 學(xué)習(xí)

24、將視頻中的人分為若干個點，在拼合運用模型將人體進行姿態(tài)估計，形成一個由多個 關(guān)鍵點合成的人體骨架并更具視頻傳輸回來的畫面進行實時更新用以檢測，當(dāng)工作人員出 現(xiàn)異常行為，身體姿態(tài)發(fā)生變化，Jetson Nano 視覺處理檢測到行為異常的姿態(tài)輸出信號。 聲光報警器接收到信號后報警觸發(fā)，人體姿態(tài)示意實時在 PC 端顯示。方案如圖 2.1 所示 圖 2.1 系統(tǒng)方案示意圖 3 系統(tǒng)硬件設(shè)計 3.1 硬件方案設(shè)計 本設(shè)計主要由 4 個部分組成，分別是采集點，處理點，報警點，反饋點四個部分組成。 首先通過攝像頭進行目標(biāo)進行圖像檢測，然后通過通訊進行數(shù)據(jù)交互，將數(shù)據(jù)給于視覺板

25、 卡進行視覺處理。視覺板卡將得到的數(shù)據(jù)圖像通過 open pose 算法框架進行算法識別數(shù)據(jù) 通過對比已經(jīng)訓(xùn)練好的權(quán)重進行數(shù)據(jù)驗證，然后通過顯示設(shè)備將圖像處理處理，圖片中每 一個都變成了一幅幅由多個關(guān)鍵目標(biāo)數(shù)據(jù)信息點組成的一副火柴人形狀的人體骨架，然后 通過骨架去判斷人體姿態(tài)。當(dāng)人體發(fā)生異常的時候算法會輸出一個信號，該信號經(jīng)過 Jetson Nano 內(nèi)置 I/O 口輸出信號，使報警裝置進行報警等工作提示，硬件方案如圖 3.1～3.2 所示。 通過本方案的設(shè)計與需求的分析結(jié)合設(shè)計需求主要硬件產(chǎn)品表 3.1 所示； 表3.1 硬件設(shè)計產(chǎn)品序列表 產(chǎn)品名稱 產(chǎn)品型號 產(chǎn)品數(shù)量 ?？低?/p>

26、雙目行為分析攝像機 DS-2CD8426F/B-I 4 英偉達(dá)視覺板卡 Jetson Nano 1 聯(lián)想 TF 高速存儲卡 專業(yè)版 128G 1 施耐 Schneider Electric 信號燈帶蜂鳴器 Schneider XVR 多功能 LED 信號燈 1 圖 3.1 硬件設(shè)備整體連接示意圖 3.2 深度相機選型 圖 3.2 硬件設(shè)備控制連接示意圖 傳統(tǒng)相機，僅支持普通監(jiān)控功能，脫離不了人員值守監(jiān)控范疇，不能減少人員疲勞， 松懈，短時間離開，無法支持照顧多點的常規(guī)缺陷。傳統(tǒng)監(jiān)控的圖像不能長時間顯示。攝 像機采

27、集到的海量視頻圖像傳輸?shù)奖O(jiān)控中心后，值班人員很可能沒看到重要的異常情況。 因為缺乏智能因素，錄像數(shù)據(jù)無法被有效地分類存儲，數(shù)據(jù)工作非常耗時，人們很難獲得 全部信息。 ?？低?DS-2CD8426F/B-I 200 萬深眸雙目行為分析攝像機，內(nèi)置高性能 GPU，內(nèi)嵌 專為視頻監(jiān)控場景設(shè)計、優(yōu)化的深度學(xué)習(xí)算法和雙目立體視覺算法，具備了比人腦更精準(zhǔn) 的安防大數(shù)據(jù)歸納能力，可以實現(xiàn)穿越警戒線、徘徊、奔跑檢測、人數(shù)異常檢測、間距異 常檢測、劇烈運動檢測、離崗檢測、倒地檢測、滯留檢測等 9 項人工智能視覺檢測技術(shù)。 只需要將權(quán)重訓(xùn)練好則無需二次配置，該設(shè)備采用人體仿生雙目式設(shè)計，可以像人眼由于 立體識

28、別圖像而不是簡單的二維平面識別，如圖 3.3 所示。 當(dāng)設(shè)備供電開始工作時一對雙目鏡頭實時獲取同一目標(biāo)檢測的場景并各自獨立生成 的兩幅圖像，通過自帶的數(shù)據(jù)計算，目標(biāo)在同一個空間點時所生成的兩幅圖像的視覺差距”， 用以來定位該目標(biāo)場景的深度，通過數(shù)據(jù)算法對圖片的目標(biāo)檢測圖像進行生成一種立體結(jié) 構(gòu)的視圖,在雙目攝像頭在工作過程中識別到需要檢測的目標(biāo)后，通過計算圖像對應(yīng)點間位 置偏差，獲取目標(biāo)的三維信息, 瞬間完成圖像獲取,大大提高了行為分析檢測的準(zhǔn)確性。支 持手動標(biāo)定、自動標(biāo)定、智能標(biāo)定三種標(biāo)定方式 可滿足不同場景下的參數(shù)標(biāo)定并且支持 單次報警或者定時循環(huán)報警功能和多種協(xié)議接入，方便和第三方系統(tǒng)

29、集成。 攝像機后端接口簡潔，包含 DC36V 電源接口、RJ45 10M/100M 自適應(yīng)以太網(wǎng)口以及 1 路報警輸入/輸出、1 路音頻輸入/輸出，實測中功耗最大 27W，無需復(fù)雜的接線和配置， 安裝簡單便捷。 通過傳統(tǒng)相機與深度相機進行對比，如表 3.2 所示。 表3.2 傳統(tǒng)相機與深度相機 傳統(tǒng)相機 深度相機 功能 普通監(jiān)控功能 視頻監(jiān)控，多傳感器協(xié)調(diào) 應(yīng)用 脫離不了人員值守監(jiān)控范疇，不能減少 帶有計算機人工智能分析功能，無需人 人員疲勞，松懈，短時間離開 員值守，所有值守均由計算機執(zhí)行 報警 只能監(jiān)控，出現(xiàn)警況只能事后回放，不 實時預(yù)警，出

30、現(xiàn)警況第一時間進行自動 能及時預(yù)警 報警 回放 回放視頻只能播放全部時刻錄像，費時 可以根據(jù)多種條件線索智能檢索錄像， 費力 快速定位 儲存 錄像只能無差別存放，大量無效數(shù)據(jù)占 報警數(shù)據(jù)和無效數(shù)據(jù)分類存放，可以根 用空間，儲存服務(wù)器投資大 據(jù)需要自動清理無效數(shù)據(jù) 資料來源：辰啟智科 所以本論文工業(yè)相機選型選擇?？低?DS-2CD8426F/B-I 的相機，其功能強，性價比 高，能實現(xiàn)本設(shè)計需求。 3.3 視覺板卡選型 圖 3.3 深度相機 樹莓派 3B+是在 2018 年 pi 日（3 月 14 日）發(fā)售的目前為止樹莓派家族當(dāng)中最新

31、，性 能最強，也是功耗最高的一款產(chǎn)品=,Raspberry Pi 3 Model B +作為 Raspberry Pi 3 系列的最 終版本，擁有 1.4GHz 64 位 4 核 ARM Cortex-A53 CPU；1.4GHz 64 位 4 核 ARM Cortex-A53 CPU；千兆以太網(wǎng) over USB 2.0；1G LPDDR2；PoE 支持（Power-over-Ethernet，with PoE HAT）；改進 PXE 網(wǎng)絡(luò)與 USB 大容量存儲啟動，如圖 3.4 所示。 圖 3.4 樹莓派 3B+板卡 Jetson Nano 是一款功能強大

32、的人工智能(AI)開發(fā)板，可助你快速入門學(xué)習(xí) AI 技術(shù)， 并將其應(yīng)用到各種智能設(shè)備。它搭載四核 Cortex-A57 處理器，128 核 Maxwell GPU 及 4GB LPDDR 內(nèi)存，擁有足夠的 AI 算力，可以并行運行多個神經(jīng)網(wǎng)絡(luò)，適用于需要圖像分類、 目標(biāo)檢測、分割、語音處理等功能的 AI 應(yīng)用。它支持 NVIDIA Jet Pack，其中包括用于深 度學(xué)習(xí)，計算機視覺，GPU 計算，多媒體處理，CUDA，CUDNN 和 TensorRT 等軟件庫， 以及其他一系列流行的 AI 框架和算法，比如 TensorFlow，PyTorch，Caffe / Caffe2，Keras， M

33、XNet 等，如圖 3.5 所示。 圖 3.5 Jetson Nano 視覺板卡 1-SD 卡插槽；2-40 針膨脹針頭；3-MicroUSB 接口；4-以太網(wǎng)口；5-USB3.0 接口；6-HDMI 輸出 端口；7-視頻接口；8-供電口；9-攝像頭連接口；10-Poe 接口 首先主板正中上面是一個很大的散熱片，1 是主存儲 SD 卡插槽；2 是 40 引腳的 CPIO； 3 是個 5V2A 的 Micro USB 接口（可以使用電源供電，或者使用 PC 連接）；4 是一個 RJ45 千兆以太網(wǎng)接口；5 是 4 個 USB3.0 接口；6 是 1 個 HDMI 2.

34、0 視頻接口；7 是顯示端口連 接器；8 是 5V 的 DC 供電口；9 是 MIPI CSI 攝像頭連接口；10 是 Poe 接口。一般看視頻 是推薦使用 5V4A 的 DC 供電方式（使用 DC 電源需要短接 J48 跳線帽），因為電源連接 這里可以開啟 15w 的高功率模式。據(jù)說 YoloV3 的應(yīng)用，電流需要 2.9A 左右，如果連接右 下角的電源口，會讓 Nano 板不斷地發(fā)熱和重啟。 通過市場常用的幾款板卡進行參數(shù)對比可知，如表 3.3 所示。 表3.3 板卡參數(shù)對比表 型號 樹莓派 3B+ Intel NCS2 神經(jīng)計算棒 （僅模塊） Jetson Na

35、no 算力（INTB） - 4TOPS 7TOPS 功耗 1.4W 2W 10W 算力/功耗 - 2 0.7 重量 42g 77.8g 249.47 價格 850 900 1500 資料來源：芯板坊 本論文設(shè)計的視覺系統(tǒng)核心在于深度學(xué)習(xí)算法，但是深度學(xué)習(xí)的訓(xùn)練加速離不開算力 的支持，Jetson Nano 開發(fā)板是我目前主打深度學(xué)習(xí)方向的開發(fā)板。所以經(jīng)過對比分析我選 擇 Jetson Nano 開發(fā)板。 3.4 聲光報警裝置選型 Schneider XVR 多功能 LED 信號燈（內(nèi)置蜂鳴器），作為市場中暢銷的幾款信號燈， 他的功能不容置疑，

36、尤其是 Harmony XVR 系列電動機旋轉(zhuǎn)信號燈及蜂鳴器是可視音頻信 號裝置，設(shè)計用于工廠應(yīng)用、建筑車輛和公共區(qū)域。該 蜂鳴器信號燈提供 4 種不同的顏 色，并隨附可擴展照明區(qū)域的有小面的透鏡。 帶蜂鳴器的 XVR 信號燈獨特且美觀的設(shè) 計已獲得 2014 年 Red Dot 工業(yè)設(shè)計大獎。 由于靈活的電壓輸入、光模式選擇器和允許 直向和側(cè)面布線的集成橡膠基座，可以輕松安裝這些可視音頻信號裝置。且依托于電動機 LED 技術(shù)，使得使用壽命更長且免維護，可實現(xiàn)旋轉(zhuǎn)、閃光和閃爍 LED 等工作狀態(tài)。10 種照明模式使其易于使用且易于選擇寬電壓輸入，可滿足不同應(yīng)用可以進行直向和側(cè)面布 線，如圖 3

37、.6 所示。 19 圖 3.6 Schneider XVR 多功能 LED 信號燈 簡單且易于安裝，無需使用任何工具。1m 時可調(diào)節(jié) 90 dB 蜂鳴器外部蜂鳴器音量在 70 dB 至 90 dB 范圍內(nèi)可調(diào)，提供綠色、紅色、橙色和藍(lán)色，獨特的美觀設(shè)計。有小面的 透鏡可擴展照明區(qū)域，集成橡膠基座可提高 IP 等級，高達(dá) IP65 保護等級，取決于蜂鳴 器選項。7.1G 的高抗振性，CE 認(rèn)證，且符合 ROHS 標(biāo)準(zhǔn)，通過 400 mm 飛線連接，截 面為 0.57 mm2。報警信號燈主要參數(shù)如表 3.4 所示。 表 3.4 報警信號燈參數(shù) 屬性 數(shù)值

38、 電源電壓 12 → 24 V 直流 光效 閃光，旋轉(zhuǎn) 1m 距離外分貝 90dB 最小分貝 70dB 最大分貝 90dB 安裝樣式 基座安裝 透鏡顏色 紅色 資料來源：Schneider官網(wǎng) 3.5 光源裝置選型 光源從大類上可分為普通自然光和人造光源，由光照強度、色溫及光源的幾何形狀來 描述。在實際應(yīng)用中，應(yīng)優(yōu)先選擇明場照明方式，從而可以抑制自然光源及外界環(huán)境的干 擾。常用光源及相關(guān)特性如表 3.5 所示。 表 3.5 主要光源類型及其特性 類型 光效(lm/W) 平均壽命/(h) 色溫/K 特點 鹵素?zé)? 12~24 1000 2800

39、~3000 發(fā)熱量大，價格便宜，形體小 熒光燈 50~120 1500~3000 3000~6000 價格便宜，適用于大面積照射 LED 燈 110~250 100000 全系列 功耗低，發(fā)熱小，使用壽命長，價格便 宜，使用范圍廣 氙燈 150~330 1000 5500~12000 光照強度高，可連續(xù)快速點亮 激光 50000 全系列 具有良好的方向性、單色性與相干性 其中熒光燈光源作為工廠中主要照明光源具有價格便宜，適用于大面積照射等優(yōu)點， 因此，常使用熒光燈作為照明光源。本課題將熒光燈作為檢測系統(tǒng)中識別作業(yè)人員

40、的照明 光源。如圖 3.7 所示熒光燈。 圖 3.7 大功率 LED 熒光燈 T5LED 熒光燈 T8LED 熒光燈 4 行為異常檢測系統(tǒng)通訊設(shè)計 4.1 通信協(xié)議的選擇 根據(jù)實際設(shè)計需求，本設(shè)計針對相機類型自主選擇 TCP/IP 通訊協(xié)議或 MIPI CSI-2CSI (Camera Serial Interface)通訊協(xié)議。 （1）CSI (Camera Serial Interface) 是 MIPI 定義的規(guī)范，用于連接攝像頭和 CPU，傳 輸攝像頭的視頻信號，最新的規(guī)范是 2012 發(fā)布的 CSI-3，使用的物理層為 M-PHY。而這 里要介紹的

41、CSI-2 規(guī)范在 2005 發(fā)布、使用 D -PHY 作為物理層。DSI(Display Serial Interface) 同樣基于 D- PHY，不同的是，它主要用于 host 將圖像傳輸給顯示設(shè)備。 （2）TCP/IP 通訊協(xié)議 TCP/IP 是用于因特網(wǎng) (Internet) 的通信協(xié)議。 TCP/IP 通信協(xié) 議是對計算機必須遵守的規(guī)則的描述，只有遵守這些規(guī)則，計算機之間才能進行通信。 互聯(lián)網(wǎng)進行通信時，需要相應(yīng)的網(wǎng)絡(luò)協(xié)議，TCP/IP 原本就是為使用互聯(lián)網(wǎng)而開發(fā)制定 的協(xié)議族。因此，互聯(lián)網(wǎng)的協(xié)議就是 TCP/IP，TCP/IP 就是互聯(lián)網(wǎng)的協(xié)議。 4.2 深度相機與 JET

42、SON NANO 板卡 TCP/IP 通訊 連接 nano 網(wǎng)卡槽進行以太網(wǎng)通訊，對以太網(wǎng)通過 IP 地址 mac 碼進行更改后進行連接 通信，當(dāng)電腦與 nano 處于同一個網(wǎng)段時，即可實現(xiàn)通信。 該通訊模式中，前面字節(jié)為 08，后面的字節(jié)為 00 或 06，表示 IP 包或 ARP 包，通過 網(wǎng)線進 IP 連接設(shè)置每個設(shè)備的 IP 與 mac 和 DNS 進行通信設(shè)置，因為以太網(wǎng)中所有的主機 共享一個通信信道，當(dāng)局域網(wǎng)中的攝像頭任意一臺設(shè)備發(fā)出數(shù)據(jù)后，通過交換機該局域網(wǎng) 中的 nano 收到該數(shù)據(jù)。通過每一個設(shè)備對應(yīng)的 IP 和 mac 去對應(yīng)每一個相機傳輸?shù)臄?shù)據(jù)對 nano 進行數(shù)據(jù)交

43、互，nano 讀取相機的內(nèi)容進行深度學(xué)習(xí)并通過網(wǎng)口反饋給顯示端口，如圖 4.1 所示。 圖 4.1 TCP/IP 模型圖 4.3 深度相機與 JETSON NANO 板卡 CSI 通訊 深度相機是網(wǎng)絡(luò)設(shè)備，需要有通訊協(xié)議，原有的私有協(xié)議無法勝任產(chǎn)業(yè)合作模式，因 此行業(yè)標(biāo)準(zhǔn)化的接口由此而生。 CSI 為單向傳輸，包括一個 clock lane 和一到四個的 data lane 組成，傳輸圖像數(shù)據(jù)。采 用 D -PHY 物理層協(xié)議。在物理層之上，即是 CSI 協(xié)議層，由三層構(gòu)成，每一層有著明確 的功能。這一層中，發(fā)送端接收來自應(yīng)用層的像素數(shù)據(jù)，并打包成字節(jié)格式發(fā)送到下一層；

44、 在接收端，解包來自 LLP 層的數(shù)據(jù)并傳輸?shù)綉?yīng)用層。 該層的主要目的是將不同像素格式(例如 YUYV, RGBA 等)都轉(zhuǎn)換成為 8bit 字節(jié)格式， 消除不同圖像格式差異，減少傳輸?shù)膹?fù)雜度。例如，對于 RGB888 格式，一個 pixel 為 24 bit， 將轉(zhuǎn)換為三個字節(jié)；RGB565 格式，一個 pixel 為 16 bit，轉(zhuǎn)換為兩個字節(jié)。而對于 RGB444， 大小為 12 bit，需要通過 padding 變成 RGB565 格式，為兩個字節(jié)，如圖 4.2 所示。 圖 4.2 CSI 協(xié)議層示意圖 Low Level Protocol(LLP)層為 CSI 協(xié)議的主要

45、功能層，不僅定義了包格式，還定義了 傳輸中使用的同步機制。在發(fā)送端，該層負(fù)責(zé)將上層傳輸過來的數(shù)據(jù)打包，添加校驗字段， 增加同步包，發(fā)送到下一層；在接收端首先校驗包的完整性，并解析各個字段，根據(jù)包類 型執(zhí)行對應(yīng)操作，將圖像數(shù)據(jù)傳到上一層。LLP 處理的 play load 數(shù)據(jù)為經(jīng)過轉(zhuǎn)換后的純字 節(jié)數(shù)據(jù)，沒有像素概念。通過定義不同的的字段和包類型，實現(xiàn)一幀一幀圖像數(shù)據(jù)的傳輸。 Jetson Nano 與?？狄曈X相機通訊代碼如下； import cv2 import multiprocessing as mp num = 0 def image_put(q, name, pwd, ip,

46、channel): #cv2.namedWindow(ip, cv2.WINDOW_NORMAL) global url url="rtsp://%s:%s@%s:%s//Streaming/Channels/1" \ % (name, pwd, ip, channel) cap = cv2.VideoCapture(url) # 獲取視頻幀率 fps = cap.get(cv2.CAP_PROP_FPS) print('fps: ', fps) #打印 fps 內(nèi)容 if cap.isOpened(): print('HIKVISION1') print('ca

47、mera ' + ip + " connected.") while cap.isOpened(): ret, frame = cap.read()# 抓取圖片不成功再重新抓取 if not ret: cap = cv2.VideoCapture("rtsp://%s:%s@%s:%s//Streaming/Channels/1" \ % (name, pwd, ip, channel)) print('HIKVISION2') ret, frame = cap.read() frame = cv2.resize(frame, (800,600)) cv2.imshow(ip,fr

48、ame) # Press esc on keyboard to exit if cv2.waitKey(1) & 0xFF == 27: break cap.release()# 解決進程問題 def run_multi_camera(): user_name, user_pwd = "admin", "a12345678" camera_ip_l = ["10.16.14.151",] ports = ['556'] mp.set_start_method(method='spawn') # init queues = [mp.Queue(maxsize=2) for _ in

49、 camera_ip_l] processes = [] for queue, camera_ip,port in zip(queues, camera_ip_l,ports): processes.append(mp.Process(target=image_put,args=(queue,user_name, user_pwd, camera_ip,port))) for process in processes: process.daemon = True process.start() for process in processes: process.join() if

50、 name == ' main ': run_multi_camera() 5 行為異常檢測系統(tǒng)軟件設(shè)計 本基于深度學(xué)習(xí)技術(shù)的現(xiàn)代工廠作業(yè)人員行為異常檢測系統(tǒng)設(shè)計通過 Visual Studio Code 軟件搭載 python3.75 進行程序設(shè)計，實現(xiàn)對人體姿態(tài)識別。 5.1 軟件方案設(shè)計 本軟件設(shè)計主要由編譯器，依賴包，庫環(huán)境，GPU 算力驅(qū)動組成。首先在 Github 上 下載 pytorch -open pose 壓縮包進行 open pose 學(xué)習(xí)框架搭建，然后安裝 Numpy，Matplotlib， Opencv -python，Scipy，Sc

51、ikit -image，Tqdm 等依賴包文件對電腦庫環(huán)境進行配置，最后 搭載 python3.75 編譯器進行程序編譯與調(diào)試。通過在系統(tǒng)中安裝 VS 與 Visual Studio Code 作為程序設(shè)計軟件，配置軟件 pip 下載源地址使 Visual Studio Code 可以搜尋到所需要文件 因為程序中需要調(diào)用多種工具包和庫文件，所以需要針對 open pose 去安裝對應(yīng)的工具包 與庫文件，使程序能正常運轉(zhuǎn)。 當(dāng)程序開始運前時需要根據(jù)處理器選擇 CUDA 版本與 CUDNN 版本。由于算力在計算 的時候需要很強的算力，所以需要安裝 CUDNN 來配置 torch 提高計算機算力，

52、加快識別 進程。CUDNN 啟動后數(shù)據(jù)方式將會從 CPU 處理轉(zhuǎn)為 GPU 處理，理論上運行速度會提高 5 倍，如圖 5.1 所示。 圖 5.1 CUDA 示意圖 針對目前行為異常檢測這方面，常用的姿態(tài)估計算法 Alpha pose 與 open pose。首先 Alpha pose 是自上而下的算法，也就是先檢測倒人體，再得到關(guān)鍵點和骨架。因此他的準(zhǔn) 確率、A p 值要比 open pose 高。但是缺點就是隨著圖片上的人數(shù)增加，他的計算量增大， 速度變慢。這一缺點注定他無法應(yīng)用于多人的實時姿態(tài)識別，更適用于單人的精確識別， 從而不符合本設(shè)計需要滿足的工作條件。 Open Pose

53、 是基于卷積神經(jīng)網(wǎng)絡(luò)和監(jiān)督學(xué)習(xí)并以 caffe 為框架寫成的開源庫，可以實現(xiàn) 人的面部表情、軀干和四肢甚至手指的跟蹤，不僅適用于單人也適用于多人，同時具有較 好的魯棒性。最終結(jié)合兩則優(yōu)缺點選擇更貼合設(shè)計的 open pose 算法。軟件設(shè)計流程如圖 5.2 所示。 圖 5.2 軟件設(shè)計流程圖 5.2 數(shù)據(jù)采集 由攝像頭對目標(biāo)進行采集，將視頻進行取幀，圖片的清晰度將直接影響后期圖像識別 的精確度與識別速度。圖片的遮擋，目標(biāo)點的缺失，關(guān)鍵信息點的重疊，圖像檢測的范圍 也將對后期的識別造成一定的影響。 通過模擬人體姿態(tài)幾種情況進行識別測試，通過對采集的

54、圖片進行判斷來判斷初期所 采集的圖片是否正常。以此來保障后期的權(quán)重訓(xùn)練，提高精確度。舉例如圖 5.3 所示。 圖 5.3 姿態(tài)動作舉例 所識別的圖片的狀態(tài)與畫質(zhì)直接影響識別效果，圖片關(guān)鍵點缺失和圖片清晰度不夠?qū)?會導(dǎo)致位置關(guān)建點存在一定缺失，無法完全體現(xiàn)人體姿態(tài)情況，因此我在圖片采集的時候 需要避免這些問題。 5.3 數(shù)據(jù)集收集與圖片標(biāo)注 打開標(biāo)注精靈軟件，修改標(biāo)注類別，如何開始標(biāo)注，并保存在指定文件夾，如圖 5.4 所示。 由于標(biāo)注完的輸出文件格式，還不是所需要的數(shù)據(jù)集格式，所以運行程序?qū)⑵滢D(zhuǎn)換成 所需的數(shù)據(jù)。主要實現(xiàn)代碼如下： import os,glob #調(diào)用庫，查找

55、 glob 下的文件 LabelPaths = glob.glob('整合/*.json') #查找路徑文件 for LabelPath in LabelPaths: Print(LabelPath) #打印 LabelPath 的結(jié)果 Name = os.path.basename(LabelPath).split('.')[0] cmd = 'labelme_json_to_dataset {0} -o {1}'.format(LabelPath, Name) os.system(cmd) 5.4 圖片預(yù)處理 圖 5.4 標(biāo)注精靈標(biāo)注示意圖

56、 在相機進行采集處理的時候，相機必須穩(wěn)定，識別區(qū)域需要提前確定，環(huán)境不能相差 過大。不然識別效果會存在一定降低。識別圖像的特征的過程中，需要對采集圖片進行預(yù) 處理。由于剛處理的圖片還是一個空圖片，沒有進行特征提取，如圖 5.5～5.6 所示，所以 主要運行程序代碼如下； import cv2 import numpy as np import math import time from scipy.ndimage.filters import gaussian_filter import matplotlib.pyplot as plt import matplotlib imp

57、ort torch from torchvision import transforms #import util from src import util from src.model import bodypose_model class Body(object): def init (self, model_path): self.model = bodypose_model() if torch.cuda.is_available(): self.model = self.model.cuda() model_dict = util.transfer(self

58、.model, torch.load(model_path)) self.model.load_state_dict(model_dict) self.model.eval() def call (self, oriImg): # scale_search = [0.5, 1.0, 1.5, 2.0] scale_search = [0.5] boxsize = 368 stride = 8 padValue = 128 thre1 = 0.1 thre2 = 0.05 multiplier = [x * boxsize / oriImg.shape[0]

59、 for x in scale_search] heatmap_avg = np.zeros((oriImg.shape[0], oriImg.shape[1], 19)) paf_avg = np.zeros((oriImg.shape[0], oriImg.shape[1], 38)) for part in range(18): map_ori = heatmap_avg[:, :, part] one_heatmap = gaussian_filter(map_ori, sigma=3) map_left = np.zeros(one_heatmap.shape) map_lef

60、t[1:, :] = one_heatmap[:-1, :] map_right = np.zeros(one_heatmap.shape) map_right[:-1, :] = one_heatmap[1:, :] map_up = np.zeros(one_heatmap.shape) map_up[:, 1:] = one_heatmap[:, :-1] map_down = np.zeros(one_heatmap.shape) map_down[:, :-1] = one_heatmap[:, 1:] peaks_binary = np.logical_and.reduce(

61、(one_heatmap >= map_left, one_heatmap >= map_right, one_heatmap >= map_up, one_heatmap >= map_down, one_heatmap > thre1)) peaks = list(zip(np.nonzero(peaks_binary)[1], np.nonzero(peaks_binary)[0])) # 29 note reverse  peaks_with_score = [x + (map_ori[x[1], x[0]],) for x in peaks] peak_id =

62、range(peak_counter, peak_counter + len(peaks)) peaks_with_score_and_id = [peaks_with_score[i] + (peak_id[i],) for i in range(len(peak_id))] all_peaks.append(peaks_with_score_and_id) peak_counter += len(peaks) # find connection in the specified sequence, center 29 is in the posit

63、ion 15 # 按指定順序查找連接，中心 29 位于位置 15 limbSeq = [[2, 3], [2, 6], [3, 4], [4, 5], [6, 7], [7, 8], [2, 9], [9, 10], \ [10, 11], [2, 12], [12, 13], [13, 14], [2, 1], [1, 15], [15, 17], \ [1, 16], [16, 18], [3, 17], [6, 18]] # 中間關(guān)節(jié)熱圖相關(guān)性 mapIdx = [[31, 32], [39, 40], [33, 34], [35, 36], [41, 42

64、], [43, 44], [19, 20], [21, 22], \ [23, 24], [25, 26], [27, 28], [29, 30], [47, 48], [49, 50], [53, 54], [51, 52], \ [55, 56], [37, 38], [45, 46]] 圖 5.5 手部特征關(guān)鍵點 圖 5.6 身體特征關(guān)鍵點 5.5 手部特征算法及程序設(shè)計 手部關(guān)鍵點檢測，旨在找出給定圖片中手指上的關(guān)節(jié)點及指尖關(guān)節(jié)點，一共 21 個關(guān) 鍵點，如圖 5.7 所示。其類似于面部關(guān)鍵點檢測(Facial Landmark Detectio

65、n) 和人體關(guān)鍵點 檢測(Human Body Pose Estimation)。手部關(guān)鍵點檢測的應(yīng)用場景包括：手勢識別、手語識 別與理解和手部的行為識別等。程序主要代碼如下； import cv2 import json import numpy as np import math import time from scipy.ndimage.filters import gaussian_filter import matplotlib.pyplot as plt import matplotlib import torch from skimage.measure impor

66、t label from src.model import handpose_model from src import util class Hand(object): def init (self, model_path): self.model = handpose_model() if torch.cuda.is_available(): self.model = self.model.cuda() model_dict = util.transfer(self.model, torch.load(model_path)) self.model.load_state_dict(model_dict) self.model.eval() def call (self, oriImg): scale_search = [0.5, 1.0, 1.5, 2.0] # scale_search = [0.5] boxsize = 368 stride = 8 padValue = 128 thre = 0.05 multiplier = [x * box