《《計算智能》PPT課件》由會員分享，可在線閱讀，更多相關《《計算智能》PPT課件（68頁珍藏版）》請在裝配圖網上搜索。

1、1,4 計算智能,4.1概述 4.2神經計算,2,4.1概述,人工智能分成兩大類：一類是符號智能，一類是計算智能。 符號智能是以知識為基礎，通過推理進行問題求解。也即所謂的傳統(tǒng)人工智能。 計算智能是以數據為基礎，通過訓練建立聯(lián)系，進行問題求解。人工神經網絡、遺傳算法、模糊系統(tǒng)、進化程序設計、人工生命等都可以包括在計算智能。,3,4.1概述（續(xù)）,定義 貝茲德克（Bezdek，1992）：計算智能取決于制造者提供的數據，而不依賴于知識；另一方面，傳統(tǒng)人工智能則應用知識精品（knowledge tidbits）。,4,4.1概述（續(xù)）,計算智能與傳統(tǒng)人工智能的區(qū)別 貝茲德克提出了模式識別（PR）與

2、生物神經網絡（BNN）、人工神經網絡（ANN）和計算神經網絡（CNN）的關系，以及模式識別與其它智能的關系。 貝茲德克對這些相關術語給予一定的符號和簡要說明或定義。,5,4.1概述（續(xù)）,ABC理論： AArtificial， 表示人工的（非生物的），即人造的 BBiological， 表示物理的化學的（？？）生物的 CComputational， 表示數學計算機,6,4.1概述（續(xù)）,下圖表示ABC及其與神經網絡（NN）、模式識別（PR）和智能（I）之間的關系（貝茲德克1994）。,7,4.1概述（續(xù)）,圖中中間部分共有9個節(jié)點，表示9個研究領域或學科。節(jié)點之間的距離衡量領域間的差異，如CN

3、N與CPR間的差異要比BNN與BPR之間的差異小的多。 圖中符號表示“適當的子集”。如中層ANNARP AI，對于右列有：CIAI BI等 在定義時，任何計算機系統(tǒng)都是人工系統(tǒng)，但反命題不能成立。,8,4.1概述（續(xù)）,ABC及其相關領域的定義,9,4.1概述（續(xù)）,計算智能是一種智力方式的低層認知，與傳統(tǒng)人工智能的區(qū)別知識認知層次從中層下降至低層。中層系統(tǒng)含有知識，低層系統(tǒng)則沒有。 當一個系統(tǒng)只涉及數值（低層）數據，含有模式識別部分，不應用傳統(tǒng)人工智能意義上的知識，而且能夠呈現(xiàn)出： （1）計算適應性； （2）計算容錯性； （3）接近人的速度； （4）誤差率與人相近， 則該系統(tǒng)就是計算智能系統(tǒng)

4、。 當一個計算智能系統(tǒng)以非數值方式加上知識（精品）值，即成為人工智能系統(tǒng)。,10,4.2神經計算,神經計算：以神經網絡為基礎的計算 人工神經網絡的定義： （1）HechtNielsen（1988年） ANN是一個并行、分布處理結構，它由處理單元及其稱為聯(lián)接的無向訊號通道互連而成。這些處理單元（PEProcessing Element）具有內存，并可以完成局部操作。每個處理單元有一個單一的輸出聯(lián)接，這個輸出可以根據需要被分枝成希望個數的許多并行聯(lián)接，且這些并行聯(lián)接都輸出相同的信號，即相應處理單元的信號，信號的大小不因分支的多少而變化。,11,4.2神經計算（續(xù)）,處理單元的輸出信號可以是任何需要

5、的數學模型，每個處理單元中進行的操作必須是完全局部的。也就是說，它必須僅僅依賴于經過輸入聯(lián)接到達處理單元的所有輸入信號的當前值和存儲在處理單元局部內存中的值。 強調： 并行、分布處理結構； 一個處理單元的輸出可以被任意分枝，且大小不變； 輸出信號可以是任意的數學模型； 處理單元完全的局部操作,12,4.2神經計算（續(xù)）,（2）Rumellhart，McClelland，Hinton的并行分布處理 （PDP） 1）一組處理單元（PE或AN）； 2）處理單元的激活狀態(tài)（ai）； 3）每個處理單元的輸出函數（fi）； 4）處理單元之間的聯(lián)接模式； 5）傳遞規(guī)則（wijoi）； 6）把處理單元的輸入及

6、當前狀態(tài)結合起來產生激活值的激活規(guī)則（Fi）； 7）通過經驗修改聯(lián)接強度的學習規(guī)則； 8）系統(tǒng)運行的環(huán)境（樣本集合）。,13,4.2神經計算（續(xù)）,（3）Simpson（1987年） ANN是一個非線性的有向圖，圖中含有可以通過改變權大小來存放模式的加權邊，并且可以從不完整的或未知的輸入找到模式。,14,4.2.1 人工神經網絡的研究與發(fā)展,40年代初，美國McCulloch和Pitts從信息處理的角度，研究神經細胞行為的數學模型表達，提出了二值神經元模型。MP模型的提出開始了對神經網絡的研究進程。1949年心理學家Hebb提出著名的Hebb學習規(guī)則，即由神經元之間結合強度的改變來實現(xiàn)神經學習

7、的方法。雖然Hebb學習規(guī)則在人們研究神經網絡的初期就已提出，但是其基本思想至今在神經網絡的研究中仍發(fā)揮著重要作用。,15,4.2.1 人工神經網絡的研究與發(fā)展（續(xù)）,50年代末期，Rosenblatt提出感知機模型(Perceptron)，首先從工程角度出發(fā)，研究了用于信息處理的神經網絡模型。這是一種學習和自組織的心理學模型，它基本符合神經生理學的原理。感知機雖然比較簡單，卻已具有神經網絡的一些基本性質，如分布式存貯、并行處理、可學習性、連續(xù)計算等。這些神經網絡的特性與當時流行串行的、離散的、符號處理的電子計算機及其相應的人工智能技術有本質上的不同，由此引起許多研究者的興趣，在60代掀起了神

8、經網絡研究的第一次高潮。 但是，當時人們對神經網絡研究過于樂觀，認為只要將這種神經元互連成一個網絡，就可以解決人腦思維的模擬問題，然而，后來的研究結果卻又使人們走到另一個極端上。,16,4.2.1 人工神經網絡的研究與發(fā)展（續(xù)）,在60年代末，Minsky和Papert對Rosenblatt的工作進行了深人研究，出版了有較大影響的(Perceptron)一書，指出感知機的功能和處理能力的局限性，甚至連XOR(異或)這樣的問題也不能解決，同時也指出如果在感知器中引入隱含神經元，增加神經網絡的層次，可以提高神經網絡的處理能力，但是卻無法給出相應的網絡學習算法。因此Minsky的結論是悲觀的。 另一

9、方面，由于60年代以來集成電路和微電子技術日新月異的發(fā)展，使得電子計算機的計算速度飛速提高，加上那時以功能模擬為目標、以知識信息處理為基礎的知識工程等研究成果，給人工智能從實驗室走向實用帶來了希望，這些技術進步給人們造成這樣的認識：以為串行信息處理及以它為基礎的傳統(tǒng)人工智能技術的潛力是無窮的，這就暫時掩蓋了發(fā)展新型計算機和尋找新的人工智能途徑的必要性和迫切性。另外，當時對大腦的計算原理、對神經網絡計算的優(yōu)點、缺點、可能性及其局限性等還很不清楚?？傊J識上的局限性使對神經網絡的研究進入了低潮。,17,4.2.1 人工神經網絡的研究與發(fā)展（續(xù)）,在這一低潮時期，仍有一些學者扎扎實實地繼續(xù)著神經網

10、絡模型和學習算法的基礎理論研究，提出了許多有意義的理論和方法。其中，主要有自適應共振理論，自組織映射，認知機網絡模型理論，BSB模型等等，為神經網絡的發(fā)展奠定了理論基礎。 進入80年代，首先是基于“知識庫”的專家系統(tǒng)的研究和運用，在許多方面取得了較大成功。但在一段時間以后，實際情況表明專家系統(tǒng)并不像人們所希望的那樣高明，特別是在處理視覺、聽覺、形象思維、聯(lián)想記憶以及運動控制等方面，傳統(tǒng)的計算機和人工智能技術面臨著重重困難。模擬人腦的智能信息處理過程，如果僅靠串行邏輯和符號處理等傳統(tǒng)的方法來濟決復雜的問題，會產生計算量的組合爆炸。因此，具有并行分布處理模式的神經網絡理論又重新受到人們的重視。對神

11、經網絡的研究又開始復興，掀起了第二次研究高潮。,18,4.2.1 人工神經網絡的研究與發(fā)展（續(xù)）,1982年，美國加州理工學院物理學家Hopfield提出了一種新的神經網絡HNN。引入了“能量函數”的概念，使得網絡穩(wěn)定性研究有了明確的判據。 HNN的電子電路物理實現(xiàn)為神經計算機的研究奠定了基礎，并將其應用于目前電子計算機尚難解決的計算復雜度為NP完全型的問題，例如著名的“旅行商問題”(TSP)，取得很好的效果。 從事并行分布處理研究的學者，于1985年對Hopfield模型引入隨機機制，提出了Boltzmann機。1986年Rumelhart等人在多層神經網絡模型的基礎上，提出了多層神經網絡模

12、型的反向傳播學習算法(BP算法)，解決了多層前向神經網絡的學習問題，證明了多層神經網絡具有很強的學習能力，它可以完成許多學習任務，解決許多實際問題。 1987年在美國召開了第一屆世界神經網絡大會1000人參加。從此神經網絡的研究正式成為世界范圍內的一個研究領域，被人類科學的各個領域的科學家關注。,19,4.2.1 人工神經網絡的研究與發(fā)展（續(xù)）,目前的研究： 1）開發(fā)現(xiàn)有模型的應用，并在應用中根據實際運行情況對模型、算法加以改造，以提高網絡的訓練速度和運行的準確度； 2）充分發(fā)揮傳統(tǒng)人工智能與ANN絡技術各自的優(yōu)勢是一個有效方法； 3）希望在理論上尋找新的突破，建立新的專用/通用模型和算法；

13、4）進一步對生物神經系統(tǒng)進行研究，不斷地豐富對人腦的認識；,20,4.2.2 人工神經網絡的特征,（1）可以充分逼近任意復雜的非線性關系 （2）所有定量或定性的信息都等勢分布貯存于網絡內的各神經元，故有很強的魯棒性和容錯性 （3）采用并行分布處理方法，使得快速進行大量運算成為可能 （4）可學習和自適應不知道或不確定的系統(tǒng) （5）能夠同時處理定量、定性知識。,21,4.2.2 人工神經網絡的特征（續(xù)）,局限性 （1）ANN研究受到腦科學研究成果的限制。 （2）ANN缺少一個完整、成熟的理論體系。 （3）ANN研究帶有濃厚的策略和經驗色彩。 （4）ANN與傳統(tǒng)技術的接口不成熟。,22,4.2.2

14、人工神經網絡的特征（續(xù)）,一般而言, ANN與經典計算方法相比并非優(yōu)越, 只有當常規(guī)方法解決不了或效果不佳時ANN方法才能顯示出其優(yōu)越性。 對問題的機理不甚了解或不能用數學模型表示的系統(tǒng),如故障診斷、特征提取和預測等問題,ANN往往是最有利的工具。 ANN對處理大量原始數據而不能用規(guī)則或公式描述的問題, 表現(xiàn)出極大的靈活性和自適應性。,23,4.2.3 人工神經網絡的結構,ANN的結構是由基本處理單元（人工神經元）及其互連方法決定的。 人工神經元： 神經元是構成神經網絡的最基本單元（構件）。 人工神經元模型應該具有生物神經元的四個基本特性。,24,4.2.3 人工神經網絡的結構（續(xù)）,四個基本

15、特征： 1）神經元是一個多輸入（一個神經元的多個樹突與多個其他神經元的神經鍵相聯(lián)系）、單輸出（一個神經元只有一個軸索作為輸出通道）元件； 2）神經元是一個具有非線性輸入輸出特性的元件。表現(xiàn)在只有當來自各個神經鍵的活動電位脈沖達到一定強度之后，該神經元的神經鍵才能被激活，釋放出神經化學物質，發(fā)出本身的活動電位脈沖； 3）神經元具有可塑性，表現(xiàn)在其活動電位脈沖的傳遞強度依靠神經傳遞化學物質的釋放量及神經鍵間隙的變化是可調節(jié)的； 4）神經元的輸出響應是各個輸入綜合作用的結果，即所有輸入的累加作用，輸入分為興奮型（正值）和抑制型（負值）兩種。,25,4.2.3 人工神經網絡的結構（續(xù)）,人工神經元是A

16、NN的基本處理單元，它一般是一個多輸入/多輸出的非線性元件。神經元輸出除受輸入信號的影響之外，同時也受到神經元內部其他因素的影響，所以在人工神經元的建模中，常常還加有一個額外輸入信號，稱為偏置（bais），有時也稱為閥值或門限值。,26,4.2.3 人工神經網絡的結構（續(xù)）,典型人工神經元模型 該神經元由多個輸入xi，和一個輸出y組成，中間狀態(tài)由輸入信號的權和表示，輸出可以表示為：,27,4.2.3 人工神經網絡的結構（續(xù)）,激勵函數的作用 1、控制輸入對輸出的激活作用； 2、對輸入、輸出進行函數轉換； 3、將可能無限域的輸入變換成指定的有限范圍內的輸出。,28,4.2.3 人工神經網絡的結構

17、（續(xù)）,幾種常用激勵函數 1、閥值型 2、分段線性型 3、高斯函數 4、S型函數,29,4.2.3 人工神經網絡的結構（續(xù)）,常用神經網絡結構 1、前向網絡（前饋網絡） 神經元分層排列，分別組成輸入層、中間層（又稱隱層，可有多層）和輸出層。每一層神經元只接收來自前一層神經元的輸入。輸入信息經各層變換后，最終在輸出層輸出,30,4.2.3 人工神經網絡的結構（續(xù)）,特點： 1. 神經元分層排列，可又多層 2. 層間無連接 3. 方向由入到出，每一層神經元只接受來自前一層神經元的輸出，前向網絡也叫前饋網絡 應用最為廣泛,31,4.2.3 人工神經網絡的結構（續(xù)）,從輸出層到輸入層有反饋的網絡 特點

18、： 1. 內部前向 2. 輸出反饋到輸入,32,4.2.3 人工神經網絡的結構（續(xù)）,互連網絡 不但每一層上的神經元相互連接，而且同一層上的神經元也相互連接，甚至任意兩個神經元都可以有連接。這種網絡還可以細分，僅同一層上神經元相互連的網絡稱為層內互連網絡，任意兩個神經元都相互連接的網絡叫完全互連網絡。 層內互連網絡的一個顯著特點是利用神經元橫向控制作用對層內其它神經元進行抑制或激發(fā)。完全互連網絡則一直處于狀態(tài)的動態(tài)變化中。,33,4.2.3 人工神經網絡的主要學習算法,ANN最具有吸引力的特點是它的學習能力。 通過向環(huán)境學習獲取知識并改進自身性能是 ANN 的一個重要特點，在一般情況下，性能的

19、改善是按某種預定的度量通過調節(jié)自身參數（如權值）隨時間逐步達到的。 1962年，Rosenblatt給出了人工神經網絡著名的學習定理：人工神經網絡可以學會它可以表達的任何東西。,34,4.2.3 人工神經網絡的主要學習算法（續(xù)）,（1）監(jiān)督學習（有導師學習）這種學習方式需要外界存在一個“導師”，他可對一組給定輸入提供應有的輸出結果（正確答案）。這組已知的輸入輸出數據稱為訓練樣本集。學習系統(tǒng)可根據已知輸出與實際輸出之間的差值（誤差信號）來調節(jié)系統(tǒng)參數。,35,4.2.3 人工神經網絡的主要學習算法（續(xù)）,學習算法的主要步驟 1）從樣本集合中取一個樣本（Ai，Bi）； 2）計算出網絡的實際輸出Y；

20、 3）求D=Bi-Y； 4）根據D調整權矩陣W； 5）對每個樣本重復上述過程，直到對整個樣本集來說，誤差不超過規(guī)定范圍。 主要有規(guī)則、廣義規(guī)則以及LVQ算法等,36,4.2.3 人工神經網絡的主要學習算法（續(xù)）,（2）非監(jiān)督學習（無導師學習）非監(jiān)督學習時不存在外部導師，學習系統(tǒng)完全按照環(huán)境所提供數據的某些統(tǒng)計規(guī)律來調節(jié)自身參數或結構（這是一種自組織過程），以表示外部輸入的某種固有特征（ 如聚類，或某種統(tǒng)計上的分布特征）。,37,4.2.3 人工神經網絡的主要學習算法（續(xù)）,Hebb學習律、競爭與協(xié)同（Competitive and Cooperative）學習、隨機聯(lián)接系統(tǒng)（Randomly

21、Connected Learning）等。 Hebb算法的核心：當兩個神經元同時處于激發(fā)狀態(tài)時被加強，否則被減弱。,38,4.2.3 人工神經網絡的主要學習算法（續(xù)）,（3）再勵學習（或強化學習）這種學習介于上述兩種情況之間，外部環(huán)境對系統(tǒng)輸出結果只給出評價（獎或懲）而不是給出正確答案，學習系統(tǒng)通過強化那些受獎勵的動作來改善自身性能。,39,4.2.4 人工神經網絡的典型模型,(1) 自適應共振(ART)由Grossberg提出，是根據可選參數對輸入數據進行粗分類的網絡，ART用于二值輸入，ART用于連續(xù)值輸入。缺點是太敏感，輸入有小的變化，輸出變化很大。 (2) 雙向聯(lián)想存儲器(BAM)，由

22、Kosko提出是一種單狀態(tài)互聯(lián)想網，具有學習功能。缺點是存儲密度較低，且易振蕩。 (3) Boltzmann機由Hinton等提出。建立在Hopfield網絡基礎上具有學習能力，能夠通過一個模擬退火過程尋求解答，缺點是訓練時間較BP網要長。 (4) 反向傳遞(BP)網是一種反向傳遞并修正誤差的多層映射網，在參數適當時，能收斂到較小的均方誤差，是當前應用最廣的一種網絡。缺點是訓練時間長，易陷入局部極小。,40,4.2.4 人工神經網絡的典型模型（續(xù)）,(5) BSB模型亦稱盒中腦模型，是具有最小均方誤差的單層自聯(lián)想網絡，可用于從數據庫中提取知識。缺點是僅有單步決策能力。 (6) CPN(Coun

23、ter Propagation Network)由Hecht和Nielsen于1987年提出，亦稱對流網，通常是5層，在第1、5兩層加載向量樣本對X、Y，并在網絡中反向流動，在2、4兩層輸出近似的Y、X向量?？捎糜诼?lián)想存儲。缺點是一般應用均要求很多的處理單元。 (7) Hopfield網由Hopfield于1982年提出，是一類不帶有學習功能的單層自聯(lián)想網，缺點是要對稱連接，內存開銷較大。 (8) MadaLine是AdaLine的發(fā)展，是一組具有最小均方差線性網絡的組合，學習能力較強，但I/O間需滿足線性關系。,41,4.2.4 人工神經網絡的典型模型（續(xù)）,(9) 認知機(Neocogni

24、tron)由Fukushima于1972年提出，是迄今為止結構最復雜的多層網，通過無導師學習，具有選擇性注意的能力，對樣品的平移、旋轉不敏感。缺點是耗用結點及互連多，參數多且難選。 (10) 感知器(Perceptron)是最“古老”的網絡(Rosenblatt，于1975年提出)，是一組可訓練的線性分類器，目前已很少使用。 (11) 自組織映射網(SOM)由Kohonen于1972年提出。能形成簇與簇之間的連續(xù)映射，起矢量量化器的作用。,42,4.2.5 人工神經網絡示例及其算法,1、感知器 Rosenblatt于1957年提出的感知器模型把神經網絡的研究從純理論探討引向了工程上的實現(xiàn)，在神

25、經網絡的發(fā)展史上占有重要的地位。 盡管它有較大的局限性，甚至連簡單的異或（XOR）邏輯運算都不能實現(xiàn)，但它畢竟是最先提出來的網絡模型，而且它提出的自組織、自學習思想及收斂算法對后來發(fā)展起來的網絡模型都產生了重要的影響，甚至可以說，后來發(fā)展的網絡模型都是對它的改進與推廣。 最初的感知器是一個只有單層計算單元的前向神經網絡，由線性閾值單元組成，稱為單層感知器。后來針對其局限性進行了改進，提出了多層感知器。,43,4.2.5 人工神經網絡示例及其算法,單層感知器 單層感知器只有一個計算層，它以信號模板作為輸入，經計算后匯總輸出，層內無互連，從輸出至輸入無反饋，是一種典型的前向網絡， 在單層感知器中，

26、當輸入的加權和大于等于閾值時，輸出為1，否則為0或1。它假定神經元間的連接強度（即連接權值 wij）是可變的，這樣它就可以進行學習。,44,4.2.5 人工神經網絡示例及其算法,單層感知器學習算法 學習的目的是調整連接權值，以使網絡對任何輸入都能得到所期望的輸出。在算法描述中，只考慮僅有一個輸出節(jié)點的情況，其中，xi是該輸出節(jié)點的輸入；wi是相應的連接權值(i=1,2,,n)；y(t)是時刻t的輸出；d是所期望的輸出，它或者為1，或者為1 學習算法步驟： （1）給 wi (0) (i=1,2,,n)及閾值分別賦予一個較小的非零隨機數作為初值。這里wi (0)表示在時刻t=0時第i個輸入的連接權

27、值。,45,4.2.5 人工神經網絡示例及其算法,（2）輸入一個樣例 X=x1,x2,,xn 和一個所期望的輸出d。 （3）計算網絡的實際輸出： （4）調整連接權值： wi(t+1)=wi(t)+d-y(t)xi ，i=1,2,n 此處0 1，它是一個增益因子，用于控制調整速度，通常不能太大，否則會影響 wi(t)的穩(wěn)定；也不能太小，否則 wi(t)的收斂速度太慢。如果實際輸出與已知的輸出一致，表示網絡已經作出了正確的決策，此時就無需改變wi(t)的值。 （5）轉到第（2）步，直到連接權值wi對一切樣例均穩(wěn)定不變時為止。,46,4.2.5 人工神經網絡示例及其算法,Rosenblatt還證明了

28、如果取自兩類模式 A，B 中的輸入是線性可分的，即它們可以分別落在某個超平面的兩邊，那么單層感知器的上述算法就一定會最終收斂于將這兩類模式分開的那個超平面，并且該超平面能將 A，B 類中的所有模式都分開。但是，當輸入不是線性可分并且還部分重疊時，在單層感知器的收斂過程中決策界面將不斷地振蕩。 單層感知器不能解決 XOR問題,47,4.2.5 人工神經網絡示例及其算法,多層感知器 只要在輸入層與輸出層之間增加一層或多層隱層，就可得到多層感知器，下圖是一個具有兩個隱層的三層感知器， 多層感知器克服了單層感知器的許多弱點。例如，應用二層感知器就可實現(xiàn)異或邏輯運算。,48,4.2.5 人工神經網絡示例

29、及其算法,2、自適應諧振理論（ART）網絡 自適應共振理論（Adaptive Resonance Theory）由葛勞斯伯格和卡彭特于1986年提出。這一理論包括 ART1，ART2和 ART3三種模型，它們可以對任意多個和任意復雜的二維模式進行自組織、自穩(wěn)定和大規(guī)模并行處理。其中ART1用于二進制輸入，ART2用于連續(xù)信號輸入，而 ART3用模擬化學神經傳導動態(tài)行為的方程來描述，它們主要用于模式識別。,49,4.2.5 人工神經網絡示例及其算法（續(xù)）,基本原理 ART網絡實際上是一個模式分類器，用于對模式進行分類。每當網絡接收外界的一個輸入向量時，它就對該向量所表示的模式進行識別，并將它歸入

30、與某已知類別的模式匹配的類中去；如果它不與任何已知類別的模式匹配，則就為它建立一個新的類。如果一個新輸入的模式與某一個已知類別的模式近似匹配，則在把它歸入該類的同時，還要對那個已知類別的模式向量進行調整，以使它與新模式更相似。這里所說的近似匹配是指兩個向量的差異落在允許的警戒值（Vigilance）范圍之內。,50,4.2.5 人工神經網絡示例及其算法（續(xù)）,ART網絡結構 網絡含有兩層，一個輸入層，一個輸出層，這兩層完全互連，該連接沿著正向（自底向上）和反饋（自頂向下）兩個方向進行,51,4.2.5 人工神經網絡示例及其算法（續(xù)）,學習算法 ART的學習分類過程，目前已有多種實現(xiàn) 分 類 的

31、 方 法，下面給出一種基于李普曼（Lippman）1987年提出的方法，它分為以下幾步： （1）初始化。在開始訓練及分類前，要對自上而下的權值向量 Wj、自下而上的權值向量 Bj以及警戒值進行初始化。一般Bj應設置為相同的較小值， 如：bij(0)=1/(1+n) 其中n為輸入向量的元素個數。 Wj的元素初值為1，即wij(0)=1相應的警戒值 為0 1，通過調節(jié)的值可調整分類的類數，當 大時，類別就多；當小時，類別就少。因此在訓練時，可通過調節(jié) 的值，使分類逐步由粗變細。,52,4.2.5 人工神經網絡示例及其算法（續(xù)）,（2）給出一個新的輸入樣例，即輸入一個新的樣例向量。 （3）計算輸出節(jié)

32、點j的輸出 其中，j是輸出節(jié)點j的輸出，xi是輸入節(jié)點i的輸入，取值為0或1。 （4） 選擇最佳匹配 這可通過輸出節(jié)點的擴展抑制權達到。,53,4.2.5 人工神經網絡示例及其算法（續(xù)）,（5）警戒值檢測 如果s ,則轉（7），否則轉（6）。 （6）重新匹配。當相似率低于時，這就需要另外尋找已有的其它模式，即尋找一個更接近于輸入向量的類。為此，首先初始化搜索狀態(tài)，把原激活的神經元置為0，并標志該神經元取消競爭資格，然后轉（3），重復上述過程，直到相似率大于而轉入（7），結束分類過程，或者全部已有的模式均被測試過，無一匹配，此時將輸入信息作為新的一類存儲。,54,4.2.5 人工神經網絡示例及其

33、算法（續(xù)）,（7）調整網絡權值 （8）轉向（2），進行新的向量學習分類。 這是一種快速學習算法，并且是邊學習邊運行的，輸出節(jié)點中每次最多只有一個為1。每個輸出節(jié)點可以看作一類相似模式的代表性概念。一個輸入節(jié)點的所有權值對應于一個模式，只有當輸入模式距某一個這樣的模式較近時，代表它的輸出節(jié)點才響應。,55,4.2.5 人工神經網絡示例及其算法（續(xù)）,ART學習算法有下列特性： （1）它是一種無導師的學習算法。 （2）訓練穩(wěn)定后，任一已用于訓練的輸入向量都將不再需要搜索就能正確地激活約定的神經元，并作出正確的分類。同時又能迅速適應未經訓練的新對象。 （3）搜索過程和訓練過程是穩(wěn)定的。 （4）訓練過

34、程會自行終止。在對有限數量的輸入向量訓練后，將產生一組確定的權值。,56,4.2.5 人工神經網絡示例及其算法,3、Hopfield網絡 Hopfield模型是霍普菲爾特分別于1982年及1984年提出的兩個神經網絡模型，一個是離散的，一個是連續(xù)的，但它們都屬于反饋網絡，即它們從輸入層至輸出層都有反饋存在。下圖是一個單層反饋神經網絡。,57,4.2.5 人工神經網絡示例及其算法,在反饋網絡中，由于網絡的輸出要反復地作為輸入送入網絡中，這就使得網絡的狀態(tài)在不斷地改變，因而就提出了網絡的穩(wěn)定性問題。 所謂一個網絡是穩(wěn)定的，是指從某一時刻開始，網絡的狀態(tài)不再改 變。設 用X(t)表示網絡在時刻t的狀

35、態(tài)，如果從t=0的任一初態(tài) X(0)開始，存在一個有限的時刻t，使得從此時刻開始神經網絡的狀態(tài)不再發(fā)生變化，即X(t+t)=X(t) , t0 就稱該網絡是穩(wěn)定的,58,4.2.5 人工神經網絡示例及其算法,Hopfield提出的離散網絡模型是一個離散時間系統(tǒng)，每個神經元只有兩種狀態(tài)，可用1和-1，或者1和0表示，由連接權值 wij所構成的矩陣是一個零對角的對稱矩陣，即 在該網絡中，每當有信息進入輸入層時，在輸入層不做任何計算，直接將輸入信息分布地傳遞給下一層各有關節(jié)點。若用 Xj(t)表示節(jié)點j 在時刻t 的狀態(tài)，則該節(jié)點在下一時刻（即t+1）的狀態(tài)由下式決定：,59,4.2.5 人工神經網

36、絡示例及其算法,整個網絡的狀態(tài)用 X(t)表示，它是由各節(jié)點的狀態(tài)所構成的向量。若假設輸出層只有兩個節(jié)點，并用1和0分別表示每個節(jié)點的狀態(tài)，則整個網絡共有四種狀態(tài)，分別為：00,01,10,11。 一般來說，如果在輸出層有n 個神經元，則網絡就有2n個狀態(tài)，它可以與一個n 維超立體的頂角相聯(lián)系。當有一個輸入向量輸入到網絡后，網絡的迭代過程就不斷地從一個頂角轉向另一個頂角，直至穩(wěn)定于一個頂角為止。如果網絡的輸入不完全或只有部分正確，則網絡將穩(wěn)定于所期望頂角附近的一個頂角那里。,60,4.2.5 人工神經網絡示例及其算法,Hopfield的離散網絡模型有兩種工作方式，即串行（異步）方式及并行（同步

37、）方式。 串行方式，是指在任一時刻t只有一個神經元j發(fā)生狀態(tài)變化，而其余n-1個神經元保持狀態(tài)不變，并行方式，是指在任一時刻t，都有部分或全體神經元同時改變狀態(tài)。,61,4.2.5 人工神經網絡示例及其算法,離散Hopfield網絡的穩(wěn)定性:早在1983年就由科恩(Cojen)與葛勞斯伯格（Grossberg）給出了穩(wěn)定性的證明。 Hopfield等又進一步證明，只要連接權值構成的矩陣是具有非負對角元的對稱矩陣，則該網絡就具有串行穩(wěn)定性；若該矩陣為非負定矩陣，則該網絡就具有并行穩(wěn)定性。 離散Hopfield網絡中的神經元與生物神經元的差別較大，因為生物神經元的輸入輸出是連續(xù)的，而且生物神經元存

38、在時延。于是Hopfield于1984年又提出了連續(xù)時間的神經網絡，在這種網絡中，節(jié)點的狀態(tài)可取0至1間任一實數值。,62,4.2.5 人工神經網絡示例及其算法,Hopfield網絡是一種非線性的動力學網絡，它通過反復運算這一動態(tài)過程求解問題，這是符號邏輯方法所不具有的特性。在求解某些問題時，它與人們求解的方法很相似。 例如對于“旅行商問題”就是這樣。對該問題，若用窮盡搜索的方法來求解，則運算量將隨城市數 N的增加呈指數性增長，但若用Hopfield網絡求解這個問題，就會把最短路徑問題化為一個網絡能量（ Hopfield認為網絡行為是受網絡能量支配的，對于離散及連續(xù)的Hopfield網絡均有相

39、應的能量函數來表示網絡的能量）求極小的問題，這個動態(tài)系統(tǒng)的最后運行結果就是問題的解。當然，用這種方法求得的解不一定是最優(yōu)的，即不一定是最短路徑，而是某個較短路徑，但這正好與人們憑直覺求解問題的效果是一致的。人們遇到問題時，經常能直觀地很快作出決策，但它卻不一定是最優(yōu)的。,63,4.2.5 人工神經網絡示例及其算法,Hopfield網絡算法步驟： （1）設置互連權值 （2）未知類別樣本初始化 yi(0)=xi 其中，yi(t)為節(jié)點i在t時刻的輸出，當t=0時，yi(0)就是節(jié)點i的初始值，xi為輸入樣本的第i個分量。 （3）迭代直到收斂,該過程將一直重復進行，直到進一步的迭代不再改變節(jié)點的輸出

40、為止。,64,4.2.5 人工神經網絡示例及其算法,（3）轉（2）繼續(xù)。 Hopfield網絡的主要不足之處： （1）很難精確分析網絡的性能。 （2）其動力學行為比較簡單。,65,4.2.6 基于神經網絡的知識表示與推理,1、知識表示 在基于神經網絡的系統(tǒng)中，知識的表示方法與傳統(tǒng)AI系統(tǒng)中所用的方法（如謂詞、框架、語義網絡等）完全不同。 傳統(tǒng)AI系統(tǒng)中所用的方法是知識的顯式表示，而神經網絡中的知識表示是一種隱式的表示方法。在這里，知識并不像在產生系統(tǒng)中那樣獨立地表示為每一條規(guī)則，而是將某一問題的若干知識在同一網絡中表示。 例如在有些神經網絡系統(tǒng)中，知識是用神經網絡所對應的有向帶權圖的鄰接矩陣及

41、閾值向量表示的。,66,4.2.6 基于神經網絡的知識表示與推理,例：如圖所示的表示異或邏輯的神經網絡來說，其鄰接矩陣（權矩陣）為： 如以產生式規(guī)則來描述，則該網絡代表了四條規(guī)則 IF x1=0 AND x2=0 THEN y=0 IF x1=0 AND x2=1 THEN y=1 IF x1=1 AND x2=0 THEN y=1 IF x1=1 AND x2=1 THEN y=0,67,4.2.6 基于神經網絡的知識表示與推理,2、基于神經網絡的推理 采用神經網絡進行推理實際上也是通過網絡權值的計算完成的。用戶提供的數據作為輸入數據送到網絡的輸入端，網絡按某種規(guī)則對樣本進行訓練，最終給出

42、期望的輸出值。網絡的權值由開始的隨機數趨于穩(wěn)定值，網絡也就基本固定不變了。 對正向推理，其推理步驟為： （1）根據已知問題設計神經網絡，并對權值進行初始化； （2）把已知數據送到網絡的輸入端的各個節(jié)點； （3）利用特性函數逐層計算各層的輸出； （4）用閾值函數對輸出層的計算結果進行判別，給出最終結果。,68,4.2.6 基于神經網絡的知識表示與推理,特征： （1）同一層的處理單元是完全并行的，但層間的信息傳遞是串行的。由于層中處理單元的數目要比網絡的層數多得多，因此它是一種并行推理； （2）在網絡推理中不會出現(xiàn)傳統(tǒng)AI系統(tǒng)中推理的沖突問題； （3）網絡推理只與輸入及網絡自身的參數有關，而這些參數又是通過使用學習算法對網絡訓練得到的，因此它是一種自適應推理。,