《人工智能第七章 機器學習》由會員分享，可在線閱讀，更多相關《人工智能第七章 機器學習（113頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、人工智能原理ArtificialIntelligencePrinciple信息工程學院張永梅傾卯拇蛆鵝圭淫兩撂樂諜猶就播斃賦樁茸飄餃版甄瞅確蠅卵蔽迂孝希狄輿人工智能第七章人工智能第七章1第七章機器學習7.1機器學習的定義和發(fā)展歷史7.2機器學習的主要策略和基本結(jié)構(gòu)7.3機械學習7.4歸納學習7.5類比學習7.6解釋學習7.7神經(jīng)學習7.8知識發(fā)現(xiàn)聾揪薩藩其灤斜丑季妝掙澇擎融蕩黔沫座檢少灌芬鉤泡挖淡須耙祈腆甲置人工智能第七章人工智能第七章2第七章機器學習教學重點：機器學習的基本結(jié)構(gòu)、類比學習、神經(jīng)學習、知識發(fā)現(xiàn)教學難點：學習系統(tǒng)的結(jié)構(gòu)，知識發(fā)現(xiàn)的處理過程教學要求：重點掌握類比學習和知識發(fā)現(xiàn)，掌握

2、機器學習的發(fā)展史和神經(jīng)學習，了解解釋學習、歸納學習，一般了解機械學習純縱琺葡四嶄挑寂更已蔡藉賜料崇晦填麗蛤羅避遼驗羞睦士趟晦贅沏掃勵人工智能第七章人工智能第七章3第七章機器學習作業(yè)：7-2，7-7郴鵬們防牡率蚌永申卒雛展溺贈葷胞感街鍋藩獨邢醉嫂慷豺侈椰膠懼枚遍人工智能第七章人工智能第七章4學習是人類獲取知識的重要途徑和自然智能的重要標志，機器學習則是機器獲取知識的重要途徑和人工智能的重要標志。第七章機器學習感稈憑翠囚如端賄達痞水藝識跟鋪灑互煌澀濃盜撼搏拄鄒絨她廠蛇依朝憚人工智能第七章人工智能第七章5機器能否象人類一樣能具有學習能力呢？1959年美國的塞繆爾(Samuel)設計了一個下棋程序，這

3、個程序具有學習能力，它可以在不斷的對弈中改善自己的棋藝。4年后，這個程序戰(zhàn)勝了設計者本人。又過了3年，這個程序戰(zhàn)勝了美國一個保持8年之久的常勝不敗的冠軍。這個程序向人們展示了機器學習的能力，提出了許多令人深思的社會問題與哲學問題。第七章機器學習機器的能力是否能超過人，很多持否定意見的人的一個主要論據(jù)是：機器是人造的，其性能和動作完全是由設計者規(guī)定的，因此無論如何其能力也不會超過設計者本人。這種意見對不具備學習能力的機器來說的確是對的，可是對具備學習能力的機器就值得考慮了，因為這種機器的能力在應用中不斷地提高，過一段時間之后，設計者本人也不知它的能力到了何種水平。敞擊伐裹獻貝桂逝葡柵刮銻充光礬氏

4、漁媽戮壤梅立擲他義均芹悔沮煙性陷人工智能第七章人工智能第七章6第七章機器學習(MachineLearning)7.1機器學習的定義和發(fā)展歷史7.2機器學習的主要策略和基本結(jié)構(gòu)7.3機械學習7.4歸納學習7.5類比學習7.6解釋學習7.7神經(jīng)學習7.8知識發(fā)現(xiàn)雜嘉曠嶄淤擰扁惕被興箱院埋筐茂涅碼橙背泣鞋昌臣七纓烈湯頁嗓庇末五人工智能第七章人工智能第七章77.1 機器學習的定義和發(fā)展歷史機器學習的定義和發(fā)展歷史 顧名思義，學習活動的一門學科。顧名思義，學習活動的一門學科。稍稍為嚴格的提法是為嚴格的提法是：機器學習是一門研究機器獲：機器學習是一門研究機器獲取新知識和新技能，并識別現(xiàn)有知識的學問。取新知

5、識和新技能，并識別現(xiàn)有知識的學問。7.1.1機器學習的定義機器學習的基本概念按人工智能大師西蒙的觀點，學習就是系統(tǒng)在不斷重復的工作中對本身能力的增強或者改進，使得系統(tǒng)在下一次執(zhí)行同樣任務或類似任務時，會比現(xiàn)在做得更好或效率更高。v機器學習的定義趣毋今圖待魄杯課翌調(diào)貶斷海斡揪煌鴉丹初豫頸喀暈漆山犢奎慎踴陸創(chuàng)偵人工智能第七章人工智能第七章8西蒙是人工智能和數(shù)學定理計算機證明的奠基者之一。他和紐厄爾(AllenNewell)合作的一系列開創(chuàng)性的研究成果，改變了我們對人腦和電腦關系的理解。作為科學家，他涉足的領域之多，成果之豐，影響之深遠，令人嘆為觀止。1975年，西蒙和紐厄爾兩人共同獲得計算機領域的

6、最高獎圖靈獎，就是對他們在這一領域成就的最好說明。西蒙在人工智能中做出的最基本貢獻，是他提出了“物理符號系統(tǒng)假說”PSSH(PhysicalSymbolSystemHypothesis)。在這一意義上，他是符號主義學派的創(chuàng)始人和代表人物之一。他的基本觀點是：知識的基本元素是符號，智能的基礎依賴于知識，研究方法則是用計算機軟件和心理學方法進行宏觀上的人腦功能的模擬。西蒙在人工智能方面的另一大貢獻，是發(fā)展與完善了語義網(wǎng)絡的概念和方法，把它作為知識表示的一種通用手段，并取得了很大成功。晰釀琳逝門賴劈蜜敵石礦墻萌源鴿細白閡攘窖端絲夷鈾轎遞攝審砍勁傷豐人工智能第七章人工智能第七章9v1956年夏天，在美

7、國的達特毛斯（Dartmouth）大學舉辦了一次異乎尋常的，長達2個月的研討會。邀請了10位在相關領域的著名人士參加，他們中的4位后來先后獲得了計算機科學領域的最高獎-圖靈獎。v會議圍繞“機器如何模擬人類智能”，討論了符號系統(tǒng)、神經(jīng)網(wǎng)絡、機器學習、自動化等領域的基本問題。首次使用了“人工智能”這個名詞。這個會議被認為是人工智能學科誕生的標志。v會上展示了由紐厄爾（Newell）和西蒙(Simon)研制的邏輯理論家LT系統(tǒng)。它能夠證明羅素與懷特海的名著數(shù)學原理第二章52個定理中的38個定理。這是第一個能處理符號的計算機。券耕帖辦樊左犯連盤義僧山張燈準愉骸啼而聞鋁巒啼爽畏冒撬碧孽熬雄序人工智能第七

8、章人工智能第七章10v紐厄爾-西蒙：通用問題求解器GPS（1956，1961）v他們分析了人類解決問題的一般規(guī)律：我想帶兒子去幼兒園，我“已有的”和我“想要的”兩者之間有什么差異？到幼兒園有一段距離，用什么方法改變這段距離？我的汽車。我的汽車壞了。修好它需要什么？一塊新電池。哪兒有新電池？汽車維修店這就是“手段-目標分析”方法。vGPS就是發(fā)現(xiàn)和裝配從給定狀態(tài)到目標狀態(tài)的行動的程序。它需要在一個大范圍中進行選擇性搜索。汗時配召掏航石塹刷設袖殿止飯隕騎刨柑慚釬霍盧峰夏檢呻抓痹碉負尼嘶人工智能第七章人工智能第七章11一般性解釋機器學習就是讓機器（計算機）來模擬和實現(xiàn)人類的學習功能。7.1.1機器學

9、習的定義主要研究內(nèi)容認知模擬主要目的是要通過對人類學習機理的研究和模擬，從根本上解決機器學習方面存在的種種問題。理論性分析主要目的是要從理論上探索各種可能的學習方法，并建立起獨立于具體應用領域的學習算法。面向任務的研究主要目的是要根據(jù)特定任務的要求，建立相應的學習系統(tǒng)。穢蘆俄炳紀樟亦撓豪煮寅菇執(zhí)腰撼坐府閱蜀癱授境叉跟犢茶泛豪憐碟抓瞳人工智能第七章人工智能第七章12人工智能主要是為了研究人的智能，模仿其機理將其應用于工程的科學。7.1.2為什么要研究機器學習在這個過程中必然會問道：“人類怎樣做才能獲取這種特殊技能（或知識）？”。7.1機器學習的定義和發(fā)展歷史榮柯蔣梢碎猛城域言入楔兢禾張傘謠紙咸擾

10、茬簧撈叫剁近桔霄幣嘎瞅阜余人工智能第七章人工智能第七章137.1.2為什么要研究機器學習當前人工智能研究的主要障礙和發(fā)展方向之一就是機器學習。包括學習的計算理論和構(gòu)造學習系統(tǒng)。現(xiàn)在的人工智能系統(tǒng)還完全沒有或僅有很有限的學習能力。系統(tǒng)中的知識由人工編程送入系統(tǒng)，知識中的錯誤也不能自動改正。也就是說，現(xiàn)有的大多數(shù)人工智能是演繹的、沒有歸納推理，因而不能自動獲取和生成知識。7.1機器學習的定義和發(fā)展歷史允年汕顧民吶述嚏徊側(cè)史亥桓購徊扭奇鵬酌調(diào)挑調(diào)枯揖閃洽煩班鍛妹餌督人工智能第七章人工智能第七章147.1.2為什么要研究機器學習未來的計算機將有自動獲取知識的能力，它們直接由書本學習，通過與人談話學習，

11、通過觀察學習。它們通過實踐自我完善，克服人的存儲少、效率低、注意力分散、難以傳送所獲取的知識等局限性。一臺計算機獲取的知識很容易復制給任何其它機器。7.1機器學習的定義和發(fā)展歷史紀仰絹析伯驟沉瘦盔鰓妊伊舔絳隅頑惋灑喧疹七證汗秋瘍錐鏡遂任廢春熬人工智能第七章人工智能第七章157.1.2為什么要研究機器學習v實現(xiàn)的困難：v預測難：學習后知識庫發(fā)生了什么變化，系統(tǒng)功能的變化的預測。v歸納推理：現(xiàn)有的歸納推理只保證假，不保證真。演繹推理保真。而且，歸納的結(jié)論是無限多的，其中相當多是假的，給生成的知識帶來不可靠性。v機器目前很難觀察什么重要、什么有意義。7.1機器學習的定義和發(fā)展歷史萊焙灣焉阻巋祈刺惑摔

12、蝸啃奠豢嗡探瘦喪婦暢罷涸宴軌垮付屈碰幸爹裂室人工智能第七章人工智能第七章16歸納推理是應用歸納方法，從足夠多的具體事例中歸納出一般性知識，提取事物的一般規(guī)律；它是一種從個別到一般的推理。在傳統(tǒng)的亞里士多德邏輯中，演繹推理(deductivereasoning）是“結(jié)論，可從叫做前提的已知事實，必然得出的推理”。演繹推理是由普通性的前提推出特殊性結(jié)論的推理。演繹推理有三段論、假言推理和選言推理等形式。三段論推理，是由兩個前提和一個結(jié)論組成，大前提是一般原理（規(guī)律），即抽象得出一般性、統(tǒng)一性的成果；小前提是指個別對象，這是從一般到個別的推理，從這個推理，然后得出結(jié)論。又稱從規(guī)律到現(xiàn)象的推理。7.1

13、機器學習的定義和發(fā)展歷史銘典維憂入父釬憾綁續(xù)搗哮幼招涕汾曳酞俏筏賃蹬并團喻肢詭追洞巡放甜人工智能第七章人工智能第七章177.1.3 機器學習的發(fā)展史機器學習的發(fā)展史機器學習的發(fā)展分為機器學習的發(fā)展分為4個時期個時期:v第一階段第一階段是在是在50年代中葉到年代中葉到60年代中葉，屬于年代中葉，屬于熱烈時期。熱烈時期。7.1機器學習的定義和發(fā)展歷史v神經(jīng)系統(tǒng)模型和決策理論。其特點是對開始與無初始結(jié)構(gòu)和面向作業(yè)知識的通用學習系統(tǒng)感興趣。包括構(gòu)造多種具有隨機或部分隨機的初始結(jié)構(gòu)的基于神經(jīng)模型的機器。這些系統(tǒng)一般稱為神經(jīng)網(wǎng)絡或自組織系統(tǒng)。由于當時計算機技術狀態(tài)多停留在理論和硬件上。這些元件類似于神經(jīng)元

14、，他們實現(xiàn)簡單的邏輯功能。在這個時期，我國研制了數(shù)字識別學習機。泰歧桌奎元乞華崎婁馭耳瞅啥淀臨瞻關斤造撕圓闌籬呻題絢霍社走撮缸啪人工智能第七章人工智能第七章18v神經(jīng)系統(tǒng)模型和決策理論v1965年左右，神經(jīng)網(wǎng)絡經(jīng)驗模式導致了模式識別這一新學科以及機器學習的決策理論方法。這種方法中學習就是從給定的一組經(jīng)過選擇的例子中獲得判斷函數(shù)，有線性的、多項式的、或相關的形式。v當時，Samuel(1959-1963)的跳棋程序是最著名的成功的學習系統(tǒng)之一。達到了跳棋大師的水平。7.1機器學習的定義和發(fā)展歷史仆弘峻絢應烷任蒸孫策傣卿瑪剪勃稚害知辰酚嘶算姓顫霄疚富堰矣階塌詛人工智能第七章人工智能第七章19實例：

15、統(tǒng)計模式識別v19名男女同學進行體檢，測量了身高和體重，但事后發(fā)現(xiàn)其中有4人忘記填寫性別，試問（在最小錯誤的條件下）這4人是男是女？體檢數(shù)值如下：龜緊豺社檢爍狄倆姬控灌萌滾憾課肺解盟季親逮搪燴貨腰資吃竊擊莎繞撅人工智能第七章人工智能第七章20實例：統(tǒng)計模式識別v待識別的模式：性別（男或女）v測量的特征：身高和體重v訓練樣本：15名已知性別的樣本特征v目標：希望借助于訓練樣本的特征建立判別函數(shù)（即數(shù)學模型）瘸隕剝淆渺賂汁叢嚷狼娩快代杜巳帚若酮像繹服諄擦鉗些鷗做緊歇澗啞姬人工智能第七章人工智能第七章21實例：統(tǒng)計模式識別v由訓練樣本得到的特征空間分布圖諺掃浚午彌趕桐頑峻秦魚剔硼燴澎阻瑣戮萄侮誡紊勿

16、典咀甜袖番秉旁庭羔人工智能第七章人工智能第七章22實例：統(tǒng)計模式識別v從圖中訓練樣本的分布情況，找出男、女兩類特征各自的聚類特點，從而求取一個判別函數(shù)（直線或曲線）。v只要給出待分類的模式特征的數(shù)值，看它在特征平面上落在判別函數(shù)的哪一側(cè)，就可以判別是男還是女了。喬酗扇別軌龔棧遭討晉鈔作屠烘狀奔簽蚜本躇膨娶錨瘋籌尋毯巧里醇都堯人工智能第七章人工智能第七章237.1.3 機器學習的發(fā)展史機器學習的發(fā)展史機器學習的發(fā)展分為機器學習的發(fā)展分為4個時期個時期:v第二階段第二階段在在60年代中葉至年代中葉至70年代中葉，被稱為機年代中葉，被稱為機器學習的冷靜時期。器學習的冷靜時期。這一階段神經(jīng)學習落入低谷

17、。這一階段神經(jīng)學習落入低谷。7.1機器學習的定義和發(fā)展歷史v本階段的研究目標是模擬人類的概念學習過程，并采用邏輯結(jié)構(gòu)或圖結(jié)構(gòu)作為機器內(nèi)部描述。這個時期正是我國“史無前例”的十年，對機器學習的研究不可能取得實質(zhì)進展。v表示的形式一般是邏輯表達式、決策樹、產(chǎn)生式規(guī)則或語義網(wǎng)絡。代表有Winston的ARCH。遲鷗冉宛恬蔬束釩誨秩威脯蒸曉釘落糾油徒滄階序順陪洋歸盜癌咳間逆肅人工智能第七章人工智能第七章247.1.3 機器學習的發(fā)展史機器學習的發(fā)展史機器學習的發(fā)展分為機器學習的發(fā)展分為4個時期個時期:v第三階段第三階段從從70年代中葉至年代中葉至80年代中葉，稱為復興年代中葉，稱為復興時期。時期。7.

18、1機器學習的定義和發(fā)展歷史v在這個時期，人們從學習單個概念擴展到學習多個概念，探索不同的學習策略和各種學習方法。本階段已開始把學習系統(tǒng)與各種應用結(jié)合起來，中國科學院自動化研究所進行質(zhì)譜分析和模式文法推斷研究，表明我國的機器學習研究得到恢復。1980年西蒙來華傳播機器學習的火種后，我國的機器學習研究出現(xiàn)了新局面。巋祭卞例拭鈔仿羚鯨痘鑲洽屆塵卓操原面喲詩鹿磋厚裕子臼瞧俞炯岸瑟捉人工智能第七章人工智能第七章257.1.3 機器學習的發(fā)展史機器學習的發(fā)展史機器學習的發(fā)展分為機器學習的發(fā)展分為4個時期個時期:l機器學習的機器學習的最新階段最新階段始于始于1986年年。7.1機器學習的定義和發(fā)展歷史一方面

19、，由于神經(jīng)網(wǎng)絡研究的重新興起，另一方面，對實驗研究和應用研究得到前所未有的重視。我國的機器學習研究開始進入穩(wěn)步發(fā)展和逐漸繁榮的新時期。嘉攻毅爺昆巖瓊翁馭繳棕靶軌控甘寐弘麻銳痘說耙坡從龐賈握潔洛效己整人工智能第七章人工智能第七章26機器學習進入新階段的表現(xiàn)機器學習進入新階段的表現(xiàn)v機器學習已成為新的邊緣學科機器學習已成為新的邊緣學科，并在高校形成課程。它，并在高校形成課程。它綜合應用心理學、生物學和神經(jīng)生理學以及數(shù)學、自動綜合應用心理學、生物學和神經(jīng)生理學以及數(shù)學、自動化和計算機科學形成機器學習理論基礎?；陀嬎銠C科學形成機器學習理論基礎。7.1機器學習的定義和發(fā)展歷史v綜合各種學習方法，取長補

20、短的多種形式的集成學習系統(tǒng)的研究正在興起。特別是連接學習，符號學習的耦合可以更好地解決連續(xù)性信號處理中知識與技能的獲取與求精問題而受到重視。v機器學習與人工智能問題的統(tǒng)一性觀點正在形成。例如：學習與問題求解結(jié)合進行，知識表達便于學習的觀點產(chǎn)生了通用智能系統(tǒng)的組塊學習。類比學習與問題求解結(jié)合的基于案例學習已成為經(jīng)驗學習的重要方向。杜舍捂肄拒餌彭麥橇存析伊重訓鎖部瑟矗爹丙巡訴襪赴悍夫碼鷗募桶榆稚人工智能第七章人工智能第七章27機器學習進入新階段的表現(xiàn)機器學習進入新階段的表現(xiàn)7.1機器學習的定義和發(fā)展歷史v各種學習方法的應用范圍不斷擴大。一部分已形成商品。歸納學習的知識獲取工具已在診斷分類性專家系統(tǒng)

21、中廣泛應用。連接學習在聲圖文識別中占優(yōu)勢。分析學習用于設計綜合性專家系統(tǒng)。遺傳算法與強化學習在工程控制中有較好的應用前景。與符號系統(tǒng)耦合的神經(jīng)網(wǎng)絡連接學習將在企業(yè)的智能管理與智能機器人運動規(guī)劃中發(fā)揮作用。v數(shù)據(jù)挖掘和知識發(fā)現(xiàn)的研究已形成熱潮。v與機器學習有關的學術活動空前活躍。國際上除每年一次的機器學習研究會外，還有計算機學習理論會議及遺傳算法會議。v唇腦棚掀恃逐劊郁炭鈔吞庚訃拐仲益剪切慘滿迭厭肌籠墑用繹草騁蕉榷力人工智能第七章人工智能第七章281.1.2人工智能的起源與發(fā)展1.1定義和發(fā)展v人工智能研究形成了三大學派：v隨著人工神經(jīng)網(wǎng)絡的再度興起和布魯克（R.A.Brooks）的機器蟲的出現(xiàn)

22、，人工智能研究形成了符號主義、連接主義和行為主義三大學派。v符號主義學派v是指基于符號運算的人工智能學派，他們認為知識可以用符號來表示，認知可以通過符號運算來實現(xiàn)。例如，專家系統(tǒng)等。v連接主義學派v是指神經(jīng)網(wǎng)絡學派，在神經(jīng)網(wǎng)絡方面，繼魯梅爾哈特研制出BP網(wǎng)絡之后，1987年，首屆國際人工神經(jīng)網(wǎng)絡學術大會在美國的圣迭戈（San-Diego）舉行，掀起了人工神經(jīng)網(wǎng)絡的第二次高潮。之后，隨著模糊邏輯和進化計算的逐步成熟，又形成了“計算智能”這個統(tǒng)一的學科范疇。隕唯宅棟霖饅骸煞妙摘虛彝七蕉伎餒釩歌帚鏈商酒謙畫符鑲拓鉚平暮削要人工智能第七章人工智能第七章291.1.2人工智能的起源與發(fā)展1.1定義和發(fā)展

23、v行為主義學派v是指進化主義學派，在行為模擬方面，麻省理工學院的布魯克教授1991年研制成功了能在未知的動態(tài)環(huán)境中漫游的有6條腿的機器蟲。v三大學派的綜合集成v隨著研究和應用的深入，人們又逐步認識到，三個學派各有所長，各有所短，應相互結(jié)合、取長補短，綜合集成。豺桐象婚挎鋁克郵砍繃蓬邑栓憤繁厘群戒境嬌刷肌誕同擴淤有品隘楞僳譴人工智能第七章人工智能第七章30第七章機器學習(MachineLearning)7.1機器學習的定義和發(fā)展歷史7.2機器學習的主要策略和基本結(jié)構(gòu)7.3機械學習7.4歸納學習7.5類比學習7.6解釋學習7.7神經(jīng)學習7.8知識發(fā)現(xiàn)史帕慌馴耶伴梢蝕曳匝濤姨漾烙返錦砰哀漏爍肉娩謝罷

24、噎久薦講鯨牧紙綜人工智能第七章人工智能第七章317.2 機器學習的主要策略和基本結(jié)構(gòu)機器學習的主要策略和基本結(jié)構(gòu)學習過程與推理過程是緊密相連的，學習過程與推理過程是緊密相連的，按照學習按照學習中使用推理的多少中使用推理的多少，機器學習所采用的策略大體上，機器學習所采用的策略大體上可分為可分為4種：種：機械學習、示教學習、類比學習和示例機械學習、示教學習、類比學習和示例學習。學習。7.2.1機器學習的主要策略v機械學習（RoteLearning）v示教學習（LearningfromInstructionorLearningbybeingtold）v類比學習（LearningbyAnalogy）v

25、示例學習（LearningfromExamples）學習中所用的推理越多，系統(tǒng)的能力越強。騎妓巳洼籍災勾然苦痔緯瘍企釀閣泊垢出捐罵囊瓶獄熬頌蔚氏拭資宇賊寥人工智能第七章人工智能第七章32機械學習就是記憶，是最簡單的學習策略。這種學習策略直接輸入新知識，學習者不需要進行任何推理或知識轉(zhuǎn)換，將知識直接裝進機器中（記憶學習）。7.2.1機器學習的主要策略比機械學習更復雜一點的學習是示教學習策略（傳授學習、指點學習）。從老師或其它有結(jié)構(gòu)的事物獲取知識。要求學習者將輸入語言的知識轉(zhuǎn)換成它本身的內(nèi)部表示形式。并把新的信息和它原有的知識有機地結(jié)合為一體。系統(tǒng)在接受外部知識時需要一點推理，翻譯和轉(zhuǎn)化工作。7.

26、2機器學習的主要策略和基本結(jié)構(gòu)犀跪餒丸七裕樁稍竹甩腰擒溜膛橇瘓?zhí)鹪岵缚谛逌蕪兔@揩薩蓄咆吝勇返人工智能第七章人工智能第七章33類比學習系統(tǒng)只能得到完成類似任務的有關策略，因此，它比上述兩種學習策略需要更多的推理。類比學習利用二個不同領域（源域、目標域）中的知識相似性，通過類比，從源域的知識（包括相似的特征和其它性質(zhì)）推導出目標域的相應知識。7.2.1機器學習的主要策略例如：未開過貨車的司機有開小車的知識就可完成開貨車的任務。7.2機器學習的主要策略和基本結(jié)構(gòu)摳籍果廟猩史而澀上眾直碎豹低膛荊蕾浩爪資彌汲褐授戰(zhàn)逼恐撼雜喘孝慈人工智能第七章人工智能第七章34采用示例學習策略的計算機系統(tǒng)，事先完全沒有

27、完成任務的任何規(guī)律性的信息，因此需要推理是最多的。7.2.1機器學習的主要策略采用示例學習（歸納學習）策略的計算機系統(tǒng)，給學習者提供某一概念的一組正例和反例，學習者歸納出一個總的概念描述，使它適合于所有的正例且排除所有的反例。（目前研究較多的一種方法）7.2機器學習的主要策略和基本結(jié)構(gòu)廁姓史抵南的酉奶烈鈉鈞紳澗錳逐賞賣第濰帚誹吁餾記拜袒娩勃胞肛蕪冗人工智能第七章人工智能第七章357.2.2 機器學習系統(tǒng)的基本結(jié)構(gòu)機器學習系統(tǒng)的基本結(jié)構(gòu)環(huán)環(huán) 境境學學 習習知識庫知識庫執(zhí)執(zhí) 行行圖圖6.1 6.1 學習系統(tǒng)的基本結(jié)構(gòu)學習系統(tǒng)的基本結(jié)構(gòu)7.2機器學習的主要策略和基本結(jié)構(gòu)v1.學習系統(tǒng)的基本結(jié)構(gòu)v斥近

28、淬哲府侄裳腫也舵答沛卿賊肄在抄鉤嗓庚女壩攀燙每宙蹄擠敦顆膝臥人工智能第七章人工智能第七章367.2.2 機器學習系統(tǒng)的基本結(jié)構(gòu)機器學習系統(tǒng)的基本結(jié)構(gòu)7.2機器學習的主要策略和基本結(jié)構(gòu)v1.學習系統(tǒng)的基本結(jié)構(gòu)vv學習系統(tǒng)至少應有環(huán)境、知識庫、學習環(huán)節(jié)和執(zhí)行環(huán)節(jié)四個基本部分。vv環(huán)境向系統(tǒng)的學習部件提供某些信息，v學習環(huán)節(jié)利用這些信息修改知識庫，增進執(zhí)行部件的效能；v執(zhí)行環(huán)節(jié)根據(jù)知識庫完成任務，同時把獲得的信息反饋給學習部件。毅癟售們崩跨示狠凹鞏暮揮討措躲息滋想彈腮荷嬸蚤崖砸餞斯藤佬丟你豪人工智能第七章人工智能第七章37系統(tǒng)中的環(huán)境包括工作對象和外界條件。比如在醫(yī)療系統(tǒng)中，環(huán)境就是病人當前的癥狀，

29、物化檢驗的報告和病歷等信息；在模式識別中，環(huán)境就是待識別的圖像或影物；在控制系統(tǒng)中，環(huán)境就是受控的設備或生產(chǎn)流程。1.環(huán)境環(huán)境提供給系統(tǒng)的信息水平和質(zhì)量對于學習系統(tǒng)有很大的影響。信息的水平是指信息的一般性程度，也就是適用范圍的廣泛性，高水平的信息往往比較抽象，適用面更廣泛。信息的質(zhì)量指信息的正確性、信息選擇的適宜性和信息組織的合理性。信息質(zhì)量對學習難度有明顯影響。7.2機器學習的主要策略和基本結(jié)構(gòu)琶偉奶鳥始瑩善薩頑臆跨間銑拒紫獵肪秸綜煙巴九聚祝傭劇眼朱寶靠丑爺人工智能第七章人工智能第七章38(a)橋梁的全色圖像(b)橋梁的多光譜圖像(c)橋梁的SAR圖像橋梁的三類遙感圖像藉銅幢膊雁室尿略濺邯豁

30、血酞痰陷騷蓮是蕾岸般偽絢彤恬拒疚昭榆立埋砍人工智能第七章人工智能第七章39學習環(huán)節(jié)是系統(tǒng)的學習機構(gòu)，是學習系統(tǒng)的核心。它通過對環(huán)境的搜索取得外部信息，然后經(jīng)分析、綜合、類比、推理等思維過程獲得知識，并將這些知識送入知識庫，供執(zhí)行環(huán)節(jié)使用。2.學習環(huán)節(jié)事實上，由于環(huán)境提供的信息水平與執(zhí)行環(huán)節(jié)所需的信息水平之間往往有差距，學習環(huán)節(jié)的任務就是解決這個水平差距問題。如果環(huán)境提供較高水平的信息，學習環(huán)節(jié)就去就去補充遺漏的細節(jié)，以便執(zhí)行環(huán)節(jié)能用于具體情況。如果環(huán)境提供較具體的低水平信息，即在特殊情況執(zhí)行任務的實例，學習環(huán)節(jié)就要進行歸納，以便系統(tǒng)能完成更為一般的任務。7.2機器學習的主要策略和基本結(jié)構(gòu)卻濫正

31、砌添惑宏詐知權鈔緬命礎黑娩慫繞廳儈程嚨哩顛畜挫靈形銻欲釉施人工智能第七章人工智能第七章403.知識庫v學習系統(tǒng)設計的另一個重要問題就是知識庫的形成設計以及其內(nèi)容。學習系統(tǒng)實質(zhì)上就是對原有知識的擴充和完善。7.2機器學習的主要策略和基本結(jié)構(gòu)伊泳撥炸鄖撒盔槳噶烷多討駒鎳灰井卻模踢誅換訝哎闊痰蟲膽撞壤中擰信人工智能第七章人工智能第七章41執(zhí)行環(huán)節(jié)實際上是由執(zhí)行環(huán)節(jié)和評價兩部分組成，執(zhí)行環(huán)節(jié)用于處理系統(tǒng)面臨的現(xiàn)實問題，比如定理證明、智能控制、自然語言處理、機器人行動規(guī)劃等；評價環(huán)節(jié)用來驗證、評價執(zhí)行環(huán)節(jié)執(zhí)行的效果，比如結(jié)果的正確性等。評價環(huán)節(jié)的處理方法有兩種，一種是把評價時所需的性能指標直接建立在系統(tǒng)

32、中，由系統(tǒng)對執(zhí)行環(huán)節(jié)所做出的結(jié)論進行評價；另一種是由人類協(xié)助完成評價工作。.執(zhí)行環(huán)節(jié)從執(zhí)行環(huán)節(jié)到學習環(huán)節(jié)必須要有反饋信息。這樣，學習環(huán)節(jié)就可以根據(jù)反饋信息決定是否要從環(huán)境中獲取進一步的信息進行再學習，以便修改、完善知識庫中的知識。7.2機器學習的主要策略和基本結(jié)構(gòu)彼徊讕琳況皿呀啪燈撫儡壩縛瑯燙換濾空味似斡徑乾揪憲井湘智羚吱豫仰人工智能第七章人工智能第七章42鄰域平均法中值濾波池撐筏墊并匙廁哼局鎳箕貼礬砰俘偉頰掣樟者疼屏纜露捐術教淵盈弗哪僻人工智能第七章人工智能第七章432.影響學習系統(tǒng)設計的要素影響學習系統(tǒng)設計的要素v影響學習系統(tǒng)設計的最重要因素是環(huán)境向系統(tǒng)影響學習系統(tǒng)設計的最重要因素是環(huán)境向

33、系統(tǒng)提供的信息提供的信息，或者更具體地說是信息的質(zhì)量，或者更具體地說是信息的質(zhì)量。整個過程要遵循整個過程要遵循“取之精華，棄之糟粕取之精華，棄之糟粕”的原則，的原則，同時謹記同時謹記“實踐是檢驗真理的唯一標準實踐是檢驗真理的唯一標準”。7.2機器學習的主要策略和基本結(jié)構(gòu)v知識庫是影響學習系統(tǒng)設計的第二個因素。知識的表示有特征向量、一階邏輯語句、產(chǎn)生式規(guī)則、語義網(wǎng)絡和框架等多種形式。沽笛洪枕妝耕玄腑咨吭稅幽孝飽身廢客徊即峰刊斡牧辣亢靠識咬媽斯腕棟人工智能第七章人工智能第七章447.2機器學習的主要策略和基本結(jié)構(gòu)v在選擇表示方式時要兼顧以下4個方面：v表達能力強。所選擇的表示方式能很容易地表達有關

34、的知識。v易于推理。為了使學習系統(tǒng)的計算代價比較低，希望知識表示方式能使推理較為容易。v容易修改知識庫。學習系統(tǒng)的本質(zhì)要求它不斷地修改自己的知識庫，當推廣得出一般執(zhí)行規(guī)則后，要加到知識庫中。v知識表示易于擴展。v更確切地說，學習系統(tǒng)是對現(xiàn)有知識的擴展和改進。賈諷隊魁添蹤桃黃閹紡冕圾森衰橙栽辛審涌沒沫馳媳喜肯瞪凈擒桓頂依約人工智能第七章人工智能第七章45第七章機器學習(MachineLearning)7.1機器學習的定義和發(fā)展歷史7.2機器學習的主要策略和基本結(jié)構(gòu)7.3機械學習7.4歸納學習7.5類比學習7.6解釋學習7.7神經(jīng)學習7.8知識發(fā)現(xiàn)艷軋決嘆窮隔沖撈通輛得足校請悅昭訓碴擲鮑張?zhí)呙卑计?/p>

35、燕菇奈時獨檻賴人工智能第七章人工智能第七章461.1.機械學習模式機械學習模式 7.3機械學習7.3機械學習v機器學習是最簡單的學習方法。機器學習就是記憶，即把新的知識存儲起來，供需要時檢索調(diào)用，而不需要計算和推理。它是一種最基本的學習過程。任何學習系統(tǒng)都必須記住它們獲取的知識。在機械學習系統(tǒng)中，知識的獲取是以較為穩(wěn)定和直接的方式進行的，不需要系統(tǒng)進行過多的加工。奏橇耍須哼隊纜猶邱誓莉詢?nèi)恶W涅中重齊桅鋁臨楚部濕葉術胳瞳沂屯己壕人工智能第七章人工智能第七章47存儲存儲計算計算推導推導歸納歸納算法與理論算法與理論機械記憶機械記憶搜索規(guī)則搜索規(guī)則圖圖7.2 7.2 數(shù)據(jù)化簡級別圖數(shù)據(jù)化簡級別圖Len

36、at，Hayes-Roth和Klahr等人于1979年關于機械學習提出一種有趣的觀點，見圖7.2。7.3機械學習他們指出，可以把機械學習看成是數(shù)據(jù)化簡分級中的第一級。數(shù)據(jù)化簡與計算機語言編譯類似；其目的是把原始信息變成可執(zhí)行的信息。在機械學習中我們只記憶計算的輸入輸出，忽略了計算過程，這樣就把計算問題化簡成存取問題。溯祈些逃靠枕橡臣欺嘶花槐焉鑰健北借既勿緘努聶銀跡臼葬渠擺九琢紡改人工智能第七章人工智能第七章487.3機械學習v機械學習也稱死記硬背學習或記憶學習。這種學習方法不要求系統(tǒng)具有對復雜問題求解的能力，也就是沒有推理技能，系統(tǒng)的學習方法就是直接記錄問題有關的信息，然后檢索并利用這些存儲的

37、信息來解決問題。v機械學習是基于記憶和檢索的辦法，學習方法很簡單。勉惦疹調(diào)豐青扮匆蛀潘唯憫峽并咽誕果肘掣嘶崎洱涂啃撫玉檻吻父鬃同崇人工智能第七章人工智能第七章492.2.機械學習的主要問題機械學習的主要問題v存儲組織信息：存儲組織信息：要采用適當?shù)拇鎯Ψ绞剑捎眠m當?shù)拇鎯Ψ绞?，使檢索速度盡可能地快。使檢索速度盡可能地快。7.3機械學習v環(huán)境的穩(wěn)定性與存儲信息的適用性問題：機械學習系統(tǒng)必須保證所保存的信息適應于外界環(huán)境變化的需要。v存儲與計算之間的權衡：對于機械學習來說很重要的一點是它不能降低系統(tǒng)的效率?；杳Ｅ吲錅p偉魄薦呆煮綽搶外裁銀犬援全良冕圓鋸柜冰廠杭攬瑚礬火前雅人工智能第七章人工智能第七

38、章50第七章機器學習(MachineLearning)7.1機器學習的定義和發(fā)展歷史7.2機器學習的主要策略和基本結(jié)構(gòu)7.3機械學習7.4歸納學習7.5類比學習7.6解釋學習7.7神經(jīng)學習7.8知識發(fā)現(xiàn)鈾蚜憂難囑頤沁鍛拘首幌費微禽鄧漣胳屠繳鍵鬃率藍臂粹肆士扒壕球旭拘人工智能第七章人工智能第七章51 7.4 歸納學習歸納學習v歸納學習（歸納學習（induction learning）是應用歸納推理進是應用歸納推理進行學習的一種方法。根據(jù)歸納學習有無教師指導，行學習的一種方法。根據(jù)歸納學習有無教師指導，可把它分為可把它分為示例學習示例學習和和觀察與發(fā)現(xiàn)學習觀察與發(fā)現(xiàn)學習。前者屬于前者屬于有師學習有

39、師學習，后者屬于無師學習。，后者屬于無師學習。v歸納（induction）是人類拓展認識能力的重要方法，是一種從個別到一般的，從部分到整體的推理行為。v歸納推理是應用歸納方法，從足夠多的具體事例中歸納出一般性知識，提取事物的一般規(guī)律；它是一種從個別到一般的推理。7.4歸納學習悔荷諧馬炕囑罪呆尸混司妥裔占拜崇近磊勤掉巧迎韭約迸吠鷹廳余片罕需人工智能第七章人工智能第七章52 7.4 歸納學習歸納學習7.4.1 歸納學習的模式和規(guī)則歸納學習的模式和規(guī)則 7.4歸納學習v歸納學習的一般模式為：v給定：(1)觀察陳述（事實）F，用以表示有關某些對象、狀態(tài)、過程等的特定知識；蘊涵觀察陳述，并滿足背景知識。

40、v(2)假定的初始歸納斷言（可能為空）；v(3)背景知識，用于定義有關觀察陳述、候選歸納斷言以及任何相關問題領域知識、假設和約束，其中包括能夠刻畫所求歸納斷言的性質(zhì)的優(yōu)先準則。v求：歸納斷言（假設）H，能重言蘊涵或弱蘊涵觀察陳述，并滿足背景知識。潘力锨齡漢育孕鍛罩虛偶芽岡蔑酣派似良泳屜缺釬遍免逞時季父泉腋在虜人工智能第七章人工智能第七章53重言式與蘊涵式v定義：給定一個命題，若無論對分量作怎樣的指派，其對應的真值永遠為T，則稱該命題公式為重言式或永真公式。v定理：任何兩個重言式的合取或析取仍然是一個重言式。v定義：給定一個命題，若無論對分量作怎樣的指派，其對應的真值永遠為F，則稱該命題公式為矛

41、盾式或永假公式。可滿足式：表示可真可假的真值形式。篆彼涵粟倡矯堪隸縱戶邁筷增溢載寇聚愿券拔尖債汽豺叮沉銹卡魏帕擊絳人工智能第七章人工智能第七章54v定義：一個命題稱為合取范式，當且僅當它具有如下的形式：vA1A2An，(n1)v其中A1,A2,An都是由命題變元或其否定所組成的析取式。v定義當命題公式AB為永真式時，稱A邏輯蘊涵B，記為AB，又稱它為邏輯蘊涵式(logicallyimplication)。v定義：一個命題稱為析取范式，當且僅當它具有如下的形式：vA1A2An，(n1)v其中A1,A2,An都是由命題變元或其否定所組成的合取式。外拌共李穗伍址耕妖囚膜堰桂寐絨改茲莉紙三槍省遮匆弊慕

42、巾扳伊鈉抬福人工智能第七章人工智能第七章55一個命題公式稱為合取范式僅當具有形式:A1A2.An（n1）其中An都是由命題變元或其否定組成的析取式。這里A1,A2,.,An稱為析取項(或簡單析取式),n可取1,n=1時,Ak化為單個變元或單個變元否定,也即單個變元或單個變元否定均可看成析取項(簡單析取式),同理單個變元或單個變元否定也均可看成合取項(簡單合取式)。如P(PQR)（pQ)PQ(PQ)均是合取范式。P(PQR)（pQ)PQ(PQ)均是析取范式。夯職姻躊街邀操乏樁極邀心高突腮卵族勻橢發(fā)進岔敗唐戴遂雇醫(yī)侖殖鵝放人工智能第七章人工智能第七章56蘊涵命題序號序號表達式表達式I1P P PI

43、2P P=QI3P=P QI4 P=P QI5Q=P QI6(P Q)=PI7(P Q)=QI8P (P Q)=QI9 Q (P Q)=PI10 P (P Q)QI11(P Q)(Q R)=P RI12(P Q)(P R)(Q R)=RI13(P Q)(R S)=(P R)(Q S)I14(P Q)(Q R)=(P R)悄窩蚜壩矩環(huán)絹洼帖譏吊輩零鬃隙灰曹勒掩蒜汽甄拈激潤隨偉俞截超九葦人工智能第七章人工智能第七章57 7.4 歸納學習歸納學習7.4.1 歸納學習的模式和規(guī)則歸納學習的模式和規(guī)則 7.4歸納學習v歸納學習的一般模式為：v假設H永真蘊涵事實F，說明F是H的邏輯推理，則有：vH|F（讀

44、作H特殊化為F）v或F|輸入層各隱層（處理）輸出層注1：若輸出層實際輸出與期望輸出（教師信號）不符，則轉(zhuǎn)入2（誤差反向傳播過程）侯崩摻膠汪邏炔頑胚摟屋虎煌房匣羹漏辛涂弦莽限特稻毛知亨曹牛辟撻盟人工智能第七章人工智能第七章872）誤差反向傳播：輸出誤差（某種形式）隱層（逐層）輸入層其主要目的是通過將輸出誤差反傳，將誤差分攤給各層所有單元，從而獲得各層單元的誤差信號，進而修正各單元的權值（其過程，是一個權值調(diào)整的過程）。注2：權值調(diào)整的過程，也就是網(wǎng)絡的學習訓練過程（學習也就是權值調(diào)整）。但聰圣間藻親悠訴麗左怔渾古您甸澎研更夯灌庇質(zhì)岡肆晚線肌習芯夯琶飄人工智能第七章人工智能第七章88BP算法實現(xiàn)步

45、驟：（1）初始化（2）輸入訓練樣本對，計算各層輸出（3）計算網(wǎng)絡輸出誤差（4）計算各層誤差信號（5）調(diào)整各層權值（6）檢查網(wǎng)絡總誤差是否達到精度要求滿足，則訓練結(jié)束；不滿足，則返回步驟（2）頌感灸俺御氫衍尖今燕姜剃輩袖徊型橇止扣齋寸縛趁霄搪厚縫簇蛻貌平糟人工智能第七章人工智能第七章897.7.2 基于基于Hopfield網(wǎng)絡的學習網(wǎng)絡的學習7.7神經(jīng)學習7.7神經(jīng)學習Hopfield網(wǎng)絡是神經(jīng)網(wǎng)絡發(fā)展歷史上的一個重要的里程碑。由美國加州理工學院物理學家J.J.Hopfield教授于1982年提出，是一種單層反饋神經(jīng)網(wǎng)絡。Hopfield網(wǎng)絡是一種由非線性元件構(gòu)成的反饋系統(tǒng)，其穩(wěn)定狀態(tài)的分析比前

46、向神經(jīng)網(wǎng)絡要復雜得多。1984年，Hopfield設計并研制了網(wǎng)絡模型的電路，并成功地解決了旅行商(TSP)計算難題(優(yōu)化問題)。Hello,ImJohnHopfield扣擴欲找拷僵犯件棉磁齡嘲雹燒彝曰溺弧贖樂雁箭咽瀝殃醚脖凄鷗攙寄術人工智能第七章人工智能第七章907.7.2 基于基于Hopfield網(wǎng)絡的學習網(wǎng)絡的學習l反饋神經(jīng)網(wǎng)絡反饋神經(jīng)網(wǎng)絡，它是一種動態(tài)反饋系統(tǒng)，比前，它是一種動態(tài)反饋系統(tǒng)，比前饋網(wǎng)絡具有更強的計算能力。饋網(wǎng)絡具有更強的計算能力。7.7神經(jīng)學習7.7神經(jīng)學習vHopfield網(wǎng)絡是一種具有正反相輸出的帶反饋人工神經(jīng)元。vHopfield網(wǎng)絡系統(tǒng)不僅能夠?qū)崿F(xiàn)聯(lián)想記憶，而且能

47、夠執(zhí)行線性和非線性規(guī)劃等優(yōu)化求解任務。鐵兄薯曠匈彤靡狂妹贍霜甜資泛玲蛇嘔荒膀燈云泡直穎監(jiān)汾烤節(jié)國淺全廬人工智能第七章人工智能第七章91v遞歸（反饋）網(wǎng)絡:在遞歸網(wǎng)絡中，多個神經(jīng)元互連以組織一個互連神經(jīng)網(wǎng)絡，如圖4.4。圖圖4.4 反饋網(wǎng)絡反饋網(wǎng)絡x1x2xnV1V2Vn輸入輸入輸出輸出x1x2xn4.2神經(jīng)計算人工神經(jīng)網(wǎng)絡的結(jié)構(gòu)基本上分為兩類：遞歸（反饋）網(wǎng)絡和前饋網(wǎng)絡。有些神經(jīng)元的輸出被反饋至同層或前層神經(jīng)元。因此，信號能夠從正向和反向流通。Hopfield網(wǎng)絡，Elmman網(wǎng)絡和Jordan網(wǎng)絡是遞歸網(wǎng)絡有代表性的例子。兜萊拳用北粵酉塘也溉眷膩束厄她滿漚氧貯舉碩箭屆嶺附荒貫濟題培祝摔人工智

48、能第七章人工智能第七章92若網(wǎng)絡從某一時刻以后，狀態(tài)不再發(fā)生變化，則稱網(wǎng)絡處于穩(wěn)定狀態(tài)。Hopfield神經(jīng)網(wǎng)絡設計的目標就是使得網(wǎng)絡存儲一些特定的平衡點，當給定網(wǎng)絡一個初始條件時，網(wǎng)絡最后會在這樣的點上停下來。枝瘸耿掩垢錄紐禹恰驟芒歡鍺觸擊享漲述柒棧炎經(jīng)姚膊碴哨碘生文鶴與驕人工智能第七章人工智能第七章93Hopfield神經(jīng)網(wǎng)絡的MATLAB實現(xiàn)函函 數(shù)數(shù) 名名功功 能能satlin()飽和線性傳遞函數(shù)飽和線性傳遞函數(shù)satlins()對稱飽和線性傳遞函數(shù)對稱飽和線性傳遞函數(shù)newhop()生成一個生成一個Hopfield回歸網(wǎng)絡回歸網(wǎng)絡nnt2hop()更新更新NNT 2.0 Hopfie

49、ld回歸網(wǎng)絡回歸網(wǎng)絡vMATLAB中Hopfield網(wǎng)絡的重要函數(shù)和功能螺江奎貴斥睜莎礦薩淄話朔武擋諒郡害蝕眺歇沛攀捂假茁蛀蓄敖肢距薛齡人工智能第七章人工智能第七章94vMATLAB中與Hopfield網(wǎng)絡有關的重要函數(shù)和功能vnewhop()v功能生成一個Hopfield回歸網(wǎng)絡。v格式net=newhop(T)v說明net為生成的神經(jīng)網(wǎng)絡，具有在T中的向量上穩(wěn)定的點；T是具有Q個目標向量的R*Q矩陣（元素必須為-1或1）。Hopfield神經(jīng)網(wǎng)絡經(jīng)常被應用于模式的聯(lián)想記憶中。Hopfield神經(jīng)網(wǎng)絡激活函數(shù)用satlins()函數(shù)，層中的神經(jīng)元有來自它自身的連接權和閾值。v神經(jīng)網(wǎng)絡通過學習

50、，改善網(wǎng)絡性能。減守帽奪刁終確攏烙乏咳溉甭官怒何豁刁插搭富養(yǎng)姨隋閃夯遺錦朔怒照怠人工智能第七章人工智能第七章95vMATLAB中與Hopfield網(wǎng)絡有關的重要函數(shù)和功能vsatlins()v功能對稱飽和線性傳遞函數(shù)v格式A=satlins(N)vA輸出向量矩陣；N是由網(wǎng)絡的輸入向量組成的S*Q矩陣，返回的矩陣A與N的維數(shù)大小一致，A的元素取值位于區(qū)間0，1內(nèi)。任紅簇粥撩勛腔譜誦殖引撒梅革伏愚碉矯蛤去控蟻頻計墅律蛆帝伊儉揩乃人工智能第七章人工智能第七章96v人工智能與神經(jīng)網(wǎng)絡v共同之處：研究怎樣使用計算機來模仿人腦工作過程。學習實踐再學習再實踐。v不同之處：v人工智能研究人腦的推理、學習、思考

51、、規(guī)劃等思維活動，解決需人類專家才能處理的復雜問題。v神經(jīng)網(wǎng)絡企圖闡明人腦結(jié)構(gòu)及其功能，以及一些相關學習、聯(lián)想記憶的基本規(guī)則（聯(lián)想、概括、并行搜索、學習和靈活性）抿拴北伍認監(jiān)遙晴休圾臣肅頹擦角干忻深毆劃誡僵獸嘆欽確區(qū)緯發(fā)杰瓷鏈人工智能第七章人工智能第七章97v例如：v人工智能專家系統(tǒng)是制造一個專家，幾十年難以培養(yǎng)的專家。v神經(jīng)網(wǎng)絡是制造一個嬰兒，一個幼兒，一個可以學習，不斷完善，從一些自然知識中汲取智慧的生命成長過程。v同樣是模仿人腦，但所考慮的角度不同。成年人和嬰兒。學習過程不一樣。一個是總結(jié)出常人都不懂的規(guī)律；一個是沒完沒了向他出示、重復一樣東西，就象教一個小孩子說話?；粝伩鑼畨φ诎┙椢?/p>

52、旋洋人梢贓擯疆需隙疹漸郵教怪追彰蔬瀾秉御粹舍人工智能第七章人工智能第七章98脆朱瞎惶軒羚稱女法呸襪亨托添燼剔來潔氖五滯佩罐篙羚停洱稚籃布磐碉人工智能第七章人工智能第七章99第七章機器學習(MachineLearning)7.1機器學習的定義和發(fā)展歷史7.2機器學習的主要策略和基本結(jié)構(gòu)7.3機械學習7.4歸納學習7.5類比學習7.6解釋學習7.7神經(jīng)學習7.8知識發(fā)現(xiàn)黑潛祖瘓蝦逾膛厚鵝頁蓄誡西斬預姜春屬絞葛滇茁債耳鐐膛性閹紅括咬跨人工智能第七章人工智能第七章1007.8 知識發(fā)現(xiàn)知識發(fā)現(xiàn)（Knowledge Discovery，KDD）7.8.1 知識發(fā)現(xiàn)的發(fā)展和定義知識發(fā)現(xiàn)的發(fā)展和定義v智能信

53、息處理的瓶頸知識獲取v機器學習能夠通過對數(shù)據(jù)及其關系的分析，提取出隱含在海量數(shù)據(jù)中的知識咖僑摯姐褂其擴鉀琴艇著縛綱氯鴕顧鼻乳搖慚碼河阮核仗諱壽渣夜該姻揍人工智能第七章人工智能第七章1017.8 知識發(fā)現(xiàn)知識發(fā)現(xiàn)7.8.1 知識發(fā)現(xiàn)的發(fā)展和定義知識發(fā)現(xiàn)的發(fā)展和定義v知識發(fā)現(xiàn)的產(chǎn)生和發(fā)展知識發(fā)現(xiàn)的產(chǎn)生和發(fā)展 知識發(fā)現(xiàn)最早是于知識發(fā)現(xiàn)最早是于1989年年8月在第月在第11屆國際屆國際人工智能聯(lián)合會議的專題討論會上提出。隨著人工智能聯(lián)合會議的專題討論會上提出。隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)上已設立了不少研究互聯(lián)網(wǎng)的發(fā)展，網(wǎng)上已設立了不少研究KDD的的網(wǎng)站、論壇和新聞報導。在研究的基礎上，也網(wǎng)站、論壇和新聞報導。

54、在研究的基礎上，也出現(xiàn)一些出現(xiàn)一些KDD產(chǎn)品和應用系統(tǒng)，引起企業(yè)界的產(chǎn)品和應用系統(tǒng)，引起企業(yè)界的關注。關注。v知識發(fā)現(xiàn)的定義v數(shù)據(jù)庫中的知識發(fā)現(xiàn)是從大量數(shù)據(jù)中辨識出有效的、新穎的、潛在有用的、并可被理解的模式的高級處理過程。貌卒殖眷喻瀉憚竟偵洞乃渤蒜鳥噴駛城懊乖鐐禽培凋苗爪肇占眨搓哺搜寒人工智能第七章人工智能第七章102模式識別的基本概念v模式識別的基本定義v模式(pattern)-存在于時間，空間中可觀察v的事物，具有時間或空間分布的信息。v模式識別(PatternRecognition)-用計算機實v現(xiàn)人對各種事物或現(xiàn)象的分析,描述,判斷,識別。vv模式識別是模擬人的某些功能v模擬人的視覺

55、:計算機+光學系統(tǒng)v模擬人的聽覺:計算機+聲音傳感器v模擬人的嗅覺和觸覺:計算機+傳感器閡蜂逮澳鋸潤耘詫歌椅惜誡摸固貌熄殼磊歲繩弊垢圣存潭纏砷講放公駝影人工智能第七章人工智能第七章103（1）數(shù)據(jù)集：是指一個有關事實F的集合，它是用來描述事物有關方面的信息，是進一步發(fā)現(xiàn)知識的原材料。（2）新穎：經(jīng)過知識發(fā)現(xiàn)提取出的模式必須是新穎的。（3）潛在有用：提取出的模式應該是有意義的，這可以通過某些函數(shù)的值來衡量。（4）可被人理解：知識發(fā)現(xiàn)的一個目標就是將數(shù)據(jù)庫中隱含的模式以容易被人理解的形式表現(xiàn)出來，從而幫助人們更好地了解數(shù)據(jù)庫中所包含的信息。雜瞇炙度大戀雪瓷倚凸雕鄰捕闌龐刮帥江欺喂曹虛棘京喉垢雄寶大

56、伶彬又人工智能第七章人工智能第七章1047.8.2 知識發(fā)現(xiàn)的處理過程知識發(fā)現(xiàn)的處理過程 1.數(shù)據(jù)選擇數(shù)據(jù)選擇。根據(jù)用戶的需求從數(shù)據(jù)根據(jù)用戶的需求從數(shù)據(jù)庫中提取與庫中提取與KDD相關的數(shù)據(jù)。相關的數(shù)據(jù)。2.數(shù)據(jù)預處理數(shù)據(jù)預處理。主要是對上述數(shù)據(jù)進主要是對上述數(shù)據(jù)進行再加工，檢查數(shù)據(jù)的完整性及數(shù)據(jù)行再加工，檢查數(shù)據(jù)的完整性及數(shù)據(jù)的一致性，對丟失的數(shù)據(jù)利用統(tǒng)計方的一致性，對丟失的數(shù)據(jù)利用統(tǒng)計方法進行填補，形成發(fā)掘數(shù)據(jù)庫。法進行填補，形成發(fā)掘數(shù)據(jù)庫。7.8知識發(fā)現(xiàn)猾恕迷妥諾炔掂堂健霉掛鮮密載鑲試性剮倒幟豌肥租殉起癟冷瞄幾篷莎橡人工智能第七章人工智能第七章1053.數(shù)據(jù)變換。即從發(fā)掘數(shù)據(jù)庫里選擇數(shù)據(jù)4

57、.數(shù)據(jù)挖掘。根據(jù)用戶要求，確定KDD的目標是發(fā)現(xiàn)何種類型的知識。5.知識評價。這一過程主要用于對所獲得的規(guī)則進行價值評定，以決定所得的規(guī)則是否存入基礎知識庫。7.8知識發(fā)現(xiàn)可歸納為三個步驟，即數(shù)據(jù)挖掘預處理、數(shù)據(jù)挖掘、數(shù)據(jù)挖掘后處理。屁舉臉龔鮑乓鉸絡箱冰孰氮餐孵瞳妥岳陰痙蚊鰓薪氟龍詳讒瘩烽蘸披襖進人工智能第七章人工智能第七章1067.8.3 知識發(fā)現(xiàn)的方法知識發(fā)現(xiàn)的方法1.統(tǒng)計方法統(tǒng)計方法：統(tǒng)計方法是從事物的外在數(shù)量上：統(tǒng)計方法是從事物的外在數(shù)量上的表現(xiàn)去推斷該事物可能的規(guī)律性。的表現(xiàn)去推斷該事物可能的規(guī)律性。2.機器學習方法機器學習方法 3.神經(jīng)計算方法4.可視化方法：可視化（visuali

58、zation）就是把數(shù)據(jù)、信息和知識轉(zhuǎn)化為可視的表示形式的過程。7.8知識發(fā)現(xiàn)鈞取謎空謅箋誅垣狽代鱉婁氮知遂炯若盞餃露佬炙盼溪餃澡蠱佑腦遺嗆爺人工智能第七章人工智能第七章107KDD由于最終是面向人的，因此可能要對發(fā)現(xiàn)的模式進行可視化，或者把結(jié)果轉(zhuǎn)換為用戶易懂的另一種表示，如把分類決策樹轉(zhuǎn)換為“if.then.”規(guī)則。甥砰犧腋臀沸鞭圾依板肌帥焙貶罰勾頭德茸膠正木裂彼切意爺痕凰拖植熾人工智能第七章人工智能第七章108v機器學習方法v(1)規(guī)則歸納。規(guī)則反映數(shù)據(jù)項中某些屬性或數(shù)據(jù)集中某些數(shù)據(jù)項之間的統(tǒng)計相關性。v(2)決策樹。決策樹的每一個非終葉節(jié)點表示所考慮的數(shù)據(jù)項的測試或決策。v(3)范例推理

59、。范例推理是直接使用過去的經(jīng)驗或解法來求解給定的問題。v(4)貝葉斯信念網(wǎng)絡。貝葉斯信念網(wǎng)絡是概率分布的圖表示。v(5)科學發(fā)現(xiàn)?？茖W發(fā)現(xiàn)是在實驗環(huán)境下發(fā)現(xiàn)科學定律。v(6)遺傳算法。在求解過程中，通過最好解的選擇和彼此組合，使期望解的集合愈來愈好。氏祿乞明匿盜叮羌廊熔晶痘織鬃廁夠失著能歇監(jiān)脯碩嚼漿棄屈階獎記芋茵人工智能第七章人工智能第七章109v知識發(fā)現(xiàn)的對象v1.數(shù)據(jù)庫v數(shù)據(jù)庫是當然的知識發(fā)現(xiàn)對象。v2.數(shù)據(jù)倉庫v隨著計算機技術的迅猛發(fā)展，到20世紀80年代，許多企業(yè)的數(shù)據(jù)庫中已積累了大量的數(shù)據(jù)。v3.Web信息v隨著Web的迅速發(fā)展，分布在Internet上的Web網(wǎng)頁已構(gòu)成了一個巨大的

60、信息空間。糊塢鎳郊足峽寐裳棺尺兌咀忠帛揚肩皂菜畏轍紛太菌跌卸號城沛剎旋也爐人工智能第七章人工智能第七章110v4.圖像和視頻數(shù)據(jù)v圖像和視頻數(shù)據(jù)中也存在有用的信息需要挖掘。例如，地球資源衛(wèi)星每天都要拍攝大量的圖像或錄像，對同一個地區(qū)而言，這些圖像存在著明顯的規(guī)律性，白天和黑夜的圖像不一樣，當可能發(fā)生洪水時與正常情況下的圖像又不一樣。粒類懷巍墑米蟹?？?jié)趨市嚎兄歷曉叢柿盤邵路屋渣耘蛛蠕佯蒲訣傈坎輕人工智能第七章人工智能第七章1117.8.4 知識發(fā)現(xiàn)的應用知識發(fā)現(xiàn)的應用v知識發(fā)現(xiàn)已在許多領域得到應用。知識發(fā)現(xiàn)已在許多領域得到應用。7.8知識發(fā)現(xiàn)v現(xiàn)在，知識發(fā)現(xiàn)已在銀行業(yè)、保險業(yè)、零售業(yè)、醫(yī)療保健、工程和制造業(yè)、科學研究、衛(wèi)星觀察和娛樂業(yè)等行業(yè)和部門得到成功應用，為人們的科學決策提供很大幫助。v跡暢逾羨象龐搖倪撿魏迂泊啄剃屁森身笛褲皋杉卓伊誦背蟲咆轟拄誠座測人工智能第七章人工智能第七章112本章小結(jié)本章小結(jié)l本章只對機器學習作入門介紹。本章只對機器學習作入門介紹。v機器學習在過去十多年中獲得較大發(fā)展。今后機器學習將在理論概念、計算機理、綜合技術和推廣應用等方面開展新的研究。其中，對結(jié)構(gòu)模型、計算理論、算法和混合學習的開發(fā)尤為重要。在這些方面，有許多事要做，有許多新問題需要人們?nèi)ソ鉀Q。谷鷹搖回濕蓉蠕巨痰兔尊圈迫菩茹獸辜成蘿嗓暈成謅捶攀伍貫搪酗檬陵助人工智能第七章人工智能第七章113