模式識(shí)別原理及其應(yīng)用.ppt
《模式識(shí)別原理及其應(yīng)用.ppt》由會(huì)員分享,可在線閱讀,更多相關(guān)《模式識(shí)別原理及其應(yīng)用.ppt(56頁珍藏版)》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。
模式識(shí)別 - 概念、原理及其應(yīng)用,黃慶明 中科院研究生院信息學(xué)院 qmhuang@ / qmhuang@ 劉純熙(助教) cxliu @,引 言,,課程對(duì)象,計(jì)算機(jī)應(yīng)用技術(shù)專業(yè)碩士研究生的專業(yè)基礎(chǔ)課 電子科學(xué)與技術(shù)學(xué)科碩士研究生的專業(yè)基礎(chǔ)課,與模式識(shí)別相關(guān)的學(xué)科,統(tǒng)計(jì)學(xué) 概率論 線性代數(shù)(矩陣計(jì)算) 形式語言 機(jī)器學(xué)習(xí) 人工智能 圖像處理 計(jì)算機(jī)視覺 …,教學(xué)方法,著重講述模式識(shí)別的基本概念,基本方法和算法原理。 注重理論與實(shí)踐緊密結(jié)合 實(shí)例教學(xué):通過大量實(shí)例講述如何將所學(xué)知識(shí)運(yùn)用到實(shí)際應(yīng)用之中 避免引用過多的、繁瑣的數(shù)學(xué)推導(dǎo)。,教學(xué)目標(biāo),掌握模式識(shí)別的基本概念和方法 有效地運(yùn)用所學(xué)知識(shí)和方法解決實(shí)際問題 為研究新的模式識(shí)別的理論和方法打下基礎(chǔ),題外話,基本:完成課程學(xué)習(xí),通過考試,獲得學(xué)分。 提高:能夠?qū)⑺鶎W(xué)知識(shí)和內(nèi)容用于課題研究,解決實(shí)際問題。 飛躍:通過模式識(shí)別的學(xué)習(xí),改進(jìn)思維方式,為將來的工作打好基礎(chǔ),終身受益。,教材/參考文獻(xiàn),R. Duda, P. Hart, D. Stork, Pattern Classification, second edition, 2000(有中譯本). 邊肇祺,模式識(shí)別(第二版),清華大學(xué)出版社,2000。 蔡元龍,模式識(shí)別,西北電訊工程學(xué)院出版社,1986。,機(jī)構(gòu)、會(huì)議、刊物,1973年 IEEE發(fā)起了第一次關(guān)于模式識(shí)別的國際會(huì)議“ICPR”(此后兩年一次),成立了國際模式識(shí)別協(xié)會(huì)---“IAPR” 1977年IEEE成立PAMI委員會(huì),創(chuàng)立IEEE Trans. on PAMI,并支持ICCV, CVPR兩個(gè)會(huì)議 其他刊物 Pattern Recognition (PR) Pattern Recognition Letters (PRL) Pattern Analysis and Application (PAA) International Journal of Pattern Recognition and Artificial Intelligence (IJPRAI),第一章 模式識(shí)別概論,,什么是模式(Pattern)?,,什么是模式?,廣義地說,存在于時(shí)間和空間中可觀察的物體,如果我們可以區(qū)別它們是否相同或是否相似,都可以稱之為模式。 模式所指的不是事物本身,而是從事物獲得的信息,因此,模式往往表現(xiàn)為具有時(shí)間和空間分布的信息。 模式的直觀特性: 可觀察性 可區(qū)分性 相似性,模式識(shí)別的概念,模式識(shí)別 – 直觀,無所不在,“人以類聚,物以群分” 周圍物體的認(rèn)知:桌子、椅子 人的識(shí)別:張三、李四 聲音的辨別:汽車、火車,狗叫、人語 氣味的分辨:炸帶魚、紅燒肉 人和動(dòng)物的模式識(shí)別能力是極其平常的,但對(duì)計(jì)算機(jī)來說卻是非常困難的。,模式識(shí)別的研究,目的:利用計(jì)算機(jī)對(duì)物理對(duì)象進(jìn)行分類,在錯(cuò)誤概率最小的條件下,使識(shí)別的結(jié)果盡量與客觀物體相符合。 Y = F(X) X的定義域取自特征集 Y的值域?yàn)轭悇e的標(biāo)號(hào)集 F是模式識(shí)別的判別方法,模式識(shí)別簡(jiǎn)史,1929年 G. Tauschek發(fā)明閱讀機(jī) ,能夠閱讀0-9的數(shù)字。 30年代 Fisher提出統(tǒng)計(jì)分類理論,奠定了統(tǒng)計(jì)模式識(shí)別的基礎(chǔ)。 50年代 Noam Chemsky 提出形式語言理論——傅京蓀 提出句法結(jié)構(gòu)模式識(shí)別。 60年代 L.A.Zadeh提出了模糊集理論,模糊模式識(shí)別方法得以發(fā)展和應(yīng)用。 80年代以Hopfield網(wǎng)、BP網(wǎng)為代表的神經(jīng)網(wǎng)絡(luò)模型導(dǎo)致人工神經(jīng)元網(wǎng)絡(luò)復(fù)活,并在模式識(shí)別得到較廣泛的應(yīng)用。 90年代小樣本學(xué)習(xí)理論,支持向量機(jī)也受到了很大的重視。,模式識(shí)別的應(yīng)用(舉例),生物學(xué) 自動(dòng)細(xì)胞學(xué)、染色體特性研究、遺傳研究 天文學(xué) 天文望遠(yuǎn)鏡圖像分析、自動(dòng)光譜學(xué) 經(jīng)濟(jì)學(xué) 股票交易預(yù)測(cè)、企業(yè)行為分析 醫(yī)學(xué) 心電圖分析、腦電圖分析、醫(yī)學(xué)圖像分析,模式識(shí)別的應(yīng)用(舉例),工程 產(chǎn)品缺陷檢測(cè)、特征識(shí)別、語音識(shí)別、自動(dòng)導(dǎo)航系統(tǒng)、污染分析 軍事 航空攝像分析、雷達(dá)和聲納信號(hào)檢測(cè)和分類、自動(dòng)目標(biāo)識(shí)別 安全 指紋識(shí)別、人臉識(shí)別、監(jiān)視和報(bào)警系統(tǒng),模式識(shí)別方法,模式識(shí)別系統(tǒng)的目標(biāo):在特征空間和解釋空間之間找到一種映射關(guān)系,這種映射也稱之為假說。 特征空間:從模式得到的對(duì)分類有用的度量、屬性或基元構(gòu)成的空間。 解釋空間:將c個(gè)類別表示為 其中 為所屬類別的集合,稱為解釋空間。,假說的兩種獲得方法,監(jiān)督學(xué)習(xí)、概念驅(qū)動(dòng)或歸納假說:在特征空間中找到一個(gè)與解釋空間的結(jié)構(gòu)相對(duì)應(yīng)的假說。在給定模式下假定一個(gè)解決方案,任何在訓(xùn)練集中接近目標(biāo)的假說也都必須在“未知”的樣本上得到近似的結(jié)果。 依靠已知所屬類別的的訓(xùn)練樣本集,按它們特征向量的分布來確定假說 (通常為一個(gè)判別函數(shù)),只有在判別函數(shù)確定之后才能用它對(duì)未知的模式進(jìn)行分類; 對(duì)分類的模式要有足夠的先驗(yàn)知識(shí),通常需要采集足夠數(shù)量的具有典型性的樣本進(jìn)行訓(xùn)練。,假說的兩種獲得方法(續(xù)),非監(jiān)督學(xué)習(xí)、數(shù)據(jù)驅(qū)動(dòng)或演繹假說:在解釋空間中找到一個(gè)與特征空間的結(jié)構(gòu)相對(duì)應(yīng)的假說。這種方法試圖找到一種只以特征空間中的相似關(guān)系為基礎(chǔ)的有效假說。 在沒有先驗(yàn)知識(shí)的情況下,通常采用聚類分析方法,基于“物以類聚”的觀點(diǎn),用數(shù)學(xué)方法分析各特征向量之間的距離及分散情況; 如果特征向量集聚集若干個(gè)群,可按群間距離遠(yuǎn)近把它們劃分成類; 這種按各類之間的親疏程度的劃分,若事先能知道應(yīng)劃分成幾類,則可獲得更好的分類結(jié)果。,模式分類的主要方法,數(shù)據(jù)聚類 統(tǒng)計(jì)分類 結(jié)構(gòu)模式識(shí)別 神經(jīng)網(wǎng)絡(luò),數(shù)據(jù)聚類,目標(biāo):用某種相似性度量的方法將原始數(shù)據(jù)組織成有意義的和有用的各種數(shù)據(jù)集。 是一種非監(jiān)督學(xué)習(xí)的方法,解決方案是數(shù)據(jù)驅(qū)動(dòng)的。,統(tǒng)計(jì)分類,基于概率統(tǒng)計(jì)模型得到各類別的特征向量的分布,以取得分類的方法。 特征向量分布的獲得是基于一個(gè)類別已知的訓(xùn)練樣本集。 是一種監(jiān)督分類的方法,分類器是概念驅(qū)動(dòng)的。,結(jié)構(gòu)模式識(shí)別,該方法通過考慮識(shí)別對(duì)象的各部分之間的聯(lián)系來達(dá)到識(shí)別分類的目的。 識(shí)別采用結(jié)構(gòu)匹配的形式,通過計(jì)算一個(gè)匹配程度值(matching score)來評(píng)估一個(gè)未知的對(duì)象或未知對(duì)象某些部分與某種典型模式的關(guān)系如何。 當(dāng)成功地制定出了一組可以描述對(duì)象部分之間關(guān)系的規(guī)則后,可以應(yīng)用一種特殊的結(jié)構(gòu)模式識(shí)別方法 – 句法模式識(shí)別,來檢查一個(gè)模式基元的序列是否遵守某種規(guī)則,即句法規(guī)則或語法。,神經(jīng)網(wǎng)絡(luò),神經(jīng)網(wǎng)絡(luò)是受人腦組織的生理學(xué)啟發(fā)而創(chuàng)立的。 由一系列互相聯(lián)系的、相同的單元(神經(jīng)元)組成。相互間的聯(lián)系可以在不同的神經(jīng)元之間傳遞增強(qiáng)或抑制信號(hào)。 增強(qiáng)或抑制是通過調(diào)整神經(jīng)元相互間聯(lián)系的權(quán)重系數(shù)來(weight)實(shí)現(xiàn)。 神經(jīng)網(wǎng)絡(luò)可以實(shí)現(xiàn)監(jiān)督和非監(jiān)督學(xué)習(xí)條件下的分類。,模式識(shí)別系統(tǒng),模式識(shí)別系統(tǒng)的基本構(gòu)成,數(shù)據(jù)獲取,,特征提取和選擇,,預(yù)處理,,分類決策,,,分類器設(shè)計(jì),,,,模式識(shí)別系統(tǒng)組成單元,數(shù)據(jù)獲?。河糜?jì)算機(jī)可以運(yùn)算的符號(hào)來表示所研究的對(duì)象 二維圖像:文字、指紋、地圖、照片等 一維波形:腦電圖、心電圖、季節(jié)震動(dòng)波形等 物理參量和邏輯值:體溫、化驗(yàn)數(shù)據(jù)、參量正常與否的描述 預(yù)處理單元:去噪聲,提取有用信息,并對(duì)輸入測(cè)量?jī)x器或其它因素所造成的退化現(xiàn)象進(jìn)行復(fù)原,模式識(shí)別系統(tǒng)組成單元,特征提取和選擇:對(duì)原始數(shù)據(jù)進(jìn)行變換,得到最能反映分類本質(zhì)的特征 測(cè)量空間:原始數(shù)據(jù)組成的空間 特征空間:分類識(shí)別賴以進(jìn)行的空間 模式表示:維數(shù)較高的測(cè)量空間-維數(shù)較低的特征空間 分類決策:在特征空間中用模式識(shí)別方法把被識(shí)別對(duì)象歸為某一類別 基本做法:在樣本訓(xùn)練集基礎(chǔ)上確定某個(gè)判決規(guī)則,使得按這種規(guī)則對(duì)被識(shí)別對(duì)象進(jìn)行分類所造成的錯(cuò)誤識(shí)別率最小或引起的損失最小,模式識(shí)別過程實(shí)例,在傳送帶上用光學(xué)傳感器件對(duì)魚按品種分類 鱸魚(Seabass) 品種 鮭魚(Salmon),,,識(shí)別過程,數(shù)據(jù)獲?。杭茉O(shè)一個(gè)攝像機(jī),采集一些樣本圖像,獲取樣本數(shù)據(jù) 預(yù)處理:去噪聲,用一個(gè)分割操作把魚和魚之間以及魚和背景之間分開,識(shí)別過程,特征提取和選擇:對(duì)單個(gè)魚的信息進(jìn)行特征選擇,從而通過測(cè)量某些特征來減少信息量 長(zhǎng)度 亮度 寬度 魚翅的數(shù)量和形狀 嘴的位置,等等 … 分類決策:把特征送入決策分類器,,模式分類器的獲取和評(píng)測(cè)過程,數(shù)據(jù)采集 特征選取 模型選擇 訓(xùn)練和測(cè)試 計(jì)算結(jié)果和復(fù)雜度分析,反饋,訓(xùn)練和測(cè)試,訓(xùn)練集:是一個(gè)已知樣本集,在監(jiān)督學(xué)習(xí)方法中,用它來開發(fā)出模式分類器。 測(cè)試集:在設(shè)計(jì)識(shí)別和分類系統(tǒng)時(shí)沒有用過的獨(dú)立樣本集。 系統(tǒng)評(píng)價(jià)原則:為了更好地對(duì)模式識(shí)別系統(tǒng)性能進(jìn)行評(píng)價(jià),必須使用一組獨(dú)立于訓(xùn)練集的測(cè)試集對(duì)系統(tǒng)進(jìn)行測(cè)試。,實(shí)例:統(tǒng)計(jì)模式識(shí)別,19名男女同學(xué)進(jìn)行體檢,測(cè)量了身高和體重,但事后發(fā)現(xiàn)其中有4人忘記填寫性別,試問(在最小錯(cuò)誤的條件下)這4人是男是女?體檢數(shù)值如下:,實(shí)例:統(tǒng)計(jì)模式識(shí)別(續(xù)),待識(shí)別的模式:性別(男或女) 測(cè)量的特征:身高和體重 訓(xùn)練樣本:15名已知性別的樣本特征 目標(biāo):希望借助于訓(xùn)練樣本的特征建立判別函數(shù)(即數(shù)學(xué)模型),實(shí)例:統(tǒng)計(jì)模式識(shí)別(續(xù)),由訓(xùn)練樣本得到的特征空間分布圖,實(shí)例:統(tǒng)計(jì)模式識(shí)別(續(xù)),從圖中訓(xùn)練樣本的分布情況,找出男、女兩類特征各自的聚類特點(diǎn),從而求取一個(gè)判別函數(shù)(直線或曲線)。 只要給出待分類的模式特征的數(shù)值,看它在特征平面上落在判別函數(shù)的哪一側(cè),就可以判別是男還是女了。,實(shí)例:句法模式識(shí)別,問題:如何利用對(duì)圖像的結(jié)構(gòu)信息描述,識(shí)別如下所示圖片:,實(shí)例:句法模式識(shí)別(續(xù)),將整個(gè)場(chǎng)景圖像結(jié)構(gòu)分解成一些比較簡(jiǎn)單的子圖像的組合; 子圖像又用一些更為簡(jiǎn)單的基本圖像單元來表示,直至子圖像達(dá)到了我們認(rèn)為的最簡(jiǎn)單的圖像單元(基元); 所有這些基元按一定的結(jié)構(gòu)關(guān)系來表示,利用多級(jí)樹結(jié)構(gòu)對(duì)其進(jìn)行描述(這種描述可以采用形式語言理論)。,實(shí)例:句法模式識(shí)別(續(xù)),多級(jí)樹描述結(jié)構(gòu),實(shí)例:句法模式識(shí)別(續(xù)),訓(xùn)練過程: 用已知結(jié)構(gòu)信息的圖像作為訓(xùn)練樣本,先識(shí)別出基元(比如場(chǎng)景圖中的X、Y、Z等簡(jiǎn)單平面)和它們之間的連接關(guān)系(例如長(zhǎng)方體E是由X、Y和Z三個(gè)面拼接而成),并用字母符號(hào)代表之; 然后用構(gòu)造句子的文法來描述生成這幅場(chǎng)景的過程,由此推斷出生成該場(chǎng)景的一種文法。,實(shí)例:句法模式識(shí)別(續(xù)),識(shí)別過程: 先對(duì)未知結(jié)構(gòu)信息的圖像進(jìn)行基元提取及其相互結(jié)構(gòu)關(guān)系的識(shí)別; 然后用訓(xùn)練過程獲得的文法做句法分析; 如果能被已知結(jié)構(gòu)信息的文法分析出來,則該幅未知圖像與訓(xùn)練樣本具有相同的結(jié)構(gòu)(識(shí)別成功),否則就不是這種結(jié)構(gòu)(識(shí)別失敗)。,本門課程的主要內(nèi)容,第一章 概論 第二章 聚類分析 第三章 判別函數(shù) 第四章 統(tǒng)計(jì)識(shí)別 第五章 特征選擇和提取 第六章 句法模式識(shí)別 第七章 神經(jīng)網(wǎng)絡(luò),相關(guān)數(shù)學(xué)概念,隨機(jī)向量及其分布 隨機(jī)向量 如果一個(gè)對(duì)象的特征觀察值為{x1, x2, …, xn},它可構(gòu)成一個(gè)n維的特征向量值x,即 x = (x1, x2, …, xn)T 式中, x1, x2, …, xn為特征向量x的各個(gè)分量。 一個(gè)特征可以看作n維空間中的向量或點(diǎn),此空間稱為模式的特征空間Rn 。,相關(guān)數(shù)學(xué)概念,隨機(jī)向量及其分布 隨機(jī)向量 在模式識(shí)別過程中,要對(duì)許多具體對(duì)象進(jìn)行測(cè)量,以獲得許多次觀測(cè)值。 每次觀測(cè)值不一定相同,所以對(duì)許多對(duì)象而言,各個(gè)特征分量都是隨即變量,即許多對(duì)象的特征向量在n維空間中呈隨機(jī)性分布,稱為隨即向量。,相關(guān)數(shù)學(xué)概念,隨機(jī)向量及其分布 隨機(jī)向量的參數(shù) [數(shù)學(xué)期望] [協(xié)方差矩陣],相關(guān)數(shù)學(xué)概念,正態(tài)分布 [一維正態(tài)密度函數(shù)],相關(guān)數(shù)學(xué)概念,正態(tài)分布 [多維正態(tài)密度函數(shù)],小結(jié),模式和模式識(shí)別的概念 模式識(shí)別的發(fā)展簡(jiǎn)史和應(yīng)用 模式識(shí)別的主要方法 模式識(shí)別的系統(tǒng)和實(shí)例 幾個(gè)相關(guān)的數(shù)學(xué)概念,- 1.請(qǐng)仔細(xì)閱讀文檔,確保文檔完整性,對(duì)于不預(yù)覽、不比對(duì)內(nèi)容而直接下載帶來的問題本站不予受理。
- 2.下載的文檔,不會(huì)出現(xiàn)我們的網(wǎng)址水印。
- 3、該文檔所得收入(下載+內(nèi)容+預(yù)覽)歸上傳者、原創(chuàng)作者;如果您是本文檔原作者,請(qǐng)點(diǎn)此認(rèn)領(lǐng)!既往收益都?xì)w您。
下載文檔到電腦,查找使用更方便
14.9 積分
下載 |
- 配套講稿:
如PPT文件的首頁顯示word圖標(biāo),表示該P(yáng)PT已包含配套word講稿。雙擊word圖標(biāo)可打開word文檔。
- 特殊限制:
部分文檔作品中含有的國旗、國徽等圖片,僅作為作品整體效果示例展示,禁止商用。設(shè)計(jì)者僅對(duì)作品中獨(dú)創(chuàng)性部分享有著作權(quán)。
- 關(guān) 鍵 詞:
- 模式識(shí)別 原理 及其 應(yīng)用
鏈接地址:http://www.3dchina-expo.com/p-1779900.html