《AI-chapter6 機(jī)器學(xué)習(xí)》由會(huì)員分享，可在線閱讀，更多相關(guān)《AI-chapter6 機(jī)器學(xué)習(xí)（63頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)內(nèi)容1 機(jī)器學(xué)習(xí)及其重要性機(jī)器學(xué)習(xí)及其重要性2 2 機(jī)器學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu)機(jī)器學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu)3 機(jī)器學(xué)習(xí)主要策略機(jī)器學(xué)習(xí)主要策略 記憶學(xué)習(xí)、傳授學(xué)習(xí)、演繹學(xué)習(xí)、記憶學(xué)習(xí)、傳授學(xué)習(xí)、演繹學(xué)習(xí)、類比學(xué)習(xí)、歸納學(xué)習(xí)（實(shí)例學(xué)習(xí)）類比學(xué)習(xí)、歸納學(xué)習(xí)（實(shí)例學(xué)習(xí)）4 機(jī)器學(xué)習(xí)的研究目標(biāo)機(jī)器學(xué)習(xí)的研究目標(biāo)5 機(jī)器學(xué)習(xí)的特點(diǎn)機(jī)器學(xué)習(xí)的特點(diǎn)6 機(jī)器學(xué)習(xí)角色的轉(zhuǎn)變機(jī)器學(xué)習(xí)角色的轉(zhuǎn)變7 五個(gè)挑戰(zhàn)問(wèn)題五個(gè)挑戰(zhàn)問(wèn)題1 機(jī)器學(xué)習(xí)的定義機(jī)器學(xué)習(xí)的定義按照人工智能大師西蒙的觀點(diǎn)，按照人工智能大師西蒙的觀點(diǎn)，學(xué)習(xí)學(xué)習(xí)就就是系統(tǒng)在不斷重復(fù)的工作中對(duì)本身能力是系統(tǒng)在不斷重復(fù)的工作中對(duì)本身能力的增強(qiáng)或者改進(jìn)，使得系

2、統(tǒng)在下一次執(zhí)的增強(qiáng)或者改進(jìn)，使得系統(tǒng)在下一次執(zhí)行同樣任務(wù)或類似任務(wù)時(shí)，會(huì)比現(xiàn)在做行同樣任務(wù)或類似任務(wù)時(shí)，會(huì)比現(xiàn)在做得更好或效率更高。得更好或效率更高。經(jīng)典定義：利用經(jīng)驗(yàn)改善系統(tǒng)自身的性能經(jīng)典定義：利用經(jīng)驗(yàn)改善系統(tǒng)自身的性能 T.Mitchell,Book 97隨著該領(lǐng)域的發(fā)展，主要做隨著該領(lǐng)域的發(fā)展，主要做智能數(shù)據(jù)分析智能數(shù)據(jù)分析典型任務(wù)：預(yù)測(cè)典型任務(wù)：預(yù)測(cè)例如：天氣預(yù)報(bào)例如：天氣預(yù)報(bào)機(jī)器學(xué)習(xí)是研究如何使用機(jī)器來(lái)模擬人類學(xué)習(xí)活動(dòng)機(jī)器學(xué)習(xí)是研究如何使用機(jī)器來(lái)模擬人類學(xué)習(xí)活動(dòng)的一門學(xué)科。稍為嚴(yán)格的提法是：機(jī)器學(xué)習(xí)是一門的一門學(xué)科。稍為嚴(yán)格的提法是：機(jī)器學(xué)習(xí)是一門研究機(jī)器獲取新知識(shí)和新技能，并識(shí)別現(xiàn)

3、有知識(shí)的研究機(jī)器獲取新知識(shí)和新技能，并識(shí)別現(xiàn)有知識(shí)的學(xué)問(wèn)。學(xué)問(wèn)。機(jī)器學(xué)習(xí)的發(fā)展史機(jī)器學(xué)習(xí)的發(fā)展史第一第一階段是在段是在5050年代中葉到年代中葉到6060年代中葉，年代中葉，屬于屬于熱烈烈時(shí)期期 在這個(gè)時(shí)期，所研究的是在這個(gè)時(shí)期，所研究的是“沒(méi)有知沒(méi)有知識(shí)識(shí)”的學(xué)習(xí)，即的學(xué)習(xí)，即“無(wú)知無(wú)知”學(xué)習(xí)學(xué)習(xí)；其；其研究目標(biāo)是各類自組織系統(tǒng)和自適研究目標(biāo)是各類自組織系統(tǒng)和自適應(yīng)系統(tǒng)；指導(dǎo)本階段研究的理論基應(yīng)系統(tǒng)；指導(dǎo)本階段研究的理論基礎(chǔ)是早在礎(chǔ)是早在4040年代就開始研究的年代就開始研究的神經(jīng)神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)模型。在這個(gè)時(shí)期，我國(guó)研制模型。在這個(gè)時(shí)期，我國(guó)研制了數(shù)字識(shí)別學(xué)習(xí)機(jī)。了數(shù)字識(shí)別學(xué)習(xí)機(jī)。第二階段在第

4、二階段在6060年代中葉至年代中葉至7070年代中葉，年代中葉，被稱為機(jī)器學(xué)習(xí)的冷靜時(shí)期。被稱為機(jī)器學(xué)習(xí)的冷靜時(shí)期。本階段的研究目標(biāo)是模擬人類的概念學(xué)本階段的研究目標(biāo)是模擬人類的概念學(xué)習(xí)過(guò)程，并采用邏輯結(jié)構(gòu)或圖結(jié)構(gòu)作為習(xí)過(guò)程，并采用邏輯結(jié)構(gòu)或圖結(jié)構(gòu)作為機(jī)器內(nèi)部描述。這個(gè)時(shí)期正是我國(guó)機(jī)器內(nèi)部描述。這個(gè)時(shí)期正是我國(guó)“史史無(wú)前例無(wú)前例”的十年，對(duì)機(jī)器學(xué)習(xí)的研究不的十年，對(duì)機(jī)器學(xué)習(xí)的研究不可能取得實(shí)質(zhì)進(jìn)展?？赡苋〉脤?shí)質(zhì)進(jìn)展。第三階段從第三階段從7070年代中葉至年代中葉至8080年代中葉，年代中葉，稱為復(fù)興時(shí)期。稱為復(fù)興時(shí)期。在這個(gè)時(shí)期，人們從學(xué)習(xí)單個(gè)概念擴(kuò)展在這個(gè)時(shí)期，人們從學(xué)習(xí)單個(gè)概念擴(kuò)展到學(xué)習(xí)多

5、個(gè)概念，探索不同的學(xué)習(xí)策略到學(xué)習(xí)多個(gè)概念，探索不同的學(xué)習(xí)策略和各種學(xué)習(xí)方法。本階段已開始把學(xué)習(xí)和各種學(xué)習(xí)方法。本階段已開始把學(xué)習(xí)系統(tǒng)與各種應(yīng)用結(jié)合起來(lái)，中國(guó)科學(xué)院系統(tǒng)與各種應(yīng)用結(jié)合起來(lái)，中國(guó)科學(xué)院自動(dòng)化研究所進(jìn)行質(zhì)譜分析和模式文法自動(dòng)化研究所進(jìn)行質(zhì)譜分析和模式文法推斷研究，表明我國(guó)的機(jī)器學(xué)習(xí)研究得推斷研究，表明我國(guó)的機(jī)器學(xué)習(xí)研究得到恢復(fù)。到恢復(fù)。19801980年西蒙來(lái)華傳播機(jī)器學(xué)習(xí)年西蒙來(lái)華傳播機(jī)器學(xué)習(xí)的火種后，我國(guó)的機(jī)器學(xué)習(xí)研究出現(xiàn)了的火種后，我國(guó)的機(jī)器學(xué)習(xí)研究出現(xiàn)了新局面。新局面。機(jī)器學(xué)習(xí)的最新階段始于機(jī)器學(xué)習(xí)的最新階段始于19861986年。年。一方面，由于神經(jīng)網(wǎng)絡(luò)研究的重新興起，一方

6、面，由于神經(jīng)網(wǎng)絡(luò)研究的重新興起，另一方面，對(duì)實(shí)驗(yàn)研究和應(yīng)用研究得到另一方面，對(duì)實(shí)驗(yàn)研究和應(yīng)用研究得到前所未有的重視。我國(guó)的機(jī)器學(xué)習(xí)研究前所未有的重視。我國(guó)的機(jī)器學(xué)習(xí)研究開始進(jìn)入穩(wěn)步發(fā)展和逐漸繁榮的新時(shí)期。開始進(jìn)入穩(wěn)步發(fā)展和逐漸繁榮的新時(shí)期。機(jī)器學(xué)習(xí)（續(xù)）數(shù)據(jù)挖掘數(shù)據(jù)庫(kù)機(jī)器學(xué)習(xí)數(shù)據(jù)分析技術(shù)數(shù)據(jù)管理技術(shù)美國(guó)航空航天局美國(guó)航空航天局JPL實(shí)驗(yàn)室的科學(xué)家在實(shí)驗(yàn)室的科學(xué)家在Science（2001年年9月）上撰文指出：月）上撰文指出：機(jī)器機(jī)器學(xué)習(xí)對(duì)科學(xué)研究的整個(gè)過(guò)程正起到越來(lái)越大的支持作用，學(xué)習(xí)對(duì)科學(xué)研究的整個(gè)過(guò)程正起到越來(lái)越大的支持作用，該領(lǐng)域在今后的若干年內(nèi)將取得穩(wěn)定而快速的發(fā)，該領(lǐng)域在今后的若干年

7、內(nèi)將取得穩(wěn)定而快速的發(fā)展展生物信息學(xué)計(jì)算金融學(xué)分子生物學(xué)行星地質(zhì)學(xué)工業(yè)過(guò)程控制機(jī)器人遙感信息處理信息安全機(jī) 器 學(xué) 習(xí)重要性重要性重要性：例子網(wǎng)絡(luò)安全入侵檢測(cè)：是否是入侵？是何種入侵？如何檢測(cè)？歷史數(shù)據(jù)：以往的正常訪問(wèn)模式及其表現(xiàn)、以往的入侵模式及其表現(xiàn)對(duì)當(dāng)前訪問(wèn)模式分類這是一個(gè)典型的預(yù)測(cè)型機(jī)器學(xué)習(xí)問(wèn)題常用技術(shù)：神經(jīng)網(wǎng)絡(luò) 決策樹支持向量機(jī) k近鄰序列分析 聚類 重要性：例子生物信息學(xué)常用技術(shù)：神經(jīng)網(wǎng)絡(luò) 支持向量機(jī)隱馬爾可夫模型k近鄰 決策樹序列分析 聚類 重要性（續(xù)）計(jì)算機(jī)科學(xué)在過(guò)去十年中發(fā)展極為迅速，今后會(huì)快計(jì)算機(jī)科學(xué)在過(guò)去十年中發(fā)展極為迅速，今后會(huì)快速穩(wěn)定地發(fā)展、對(duì)科學(xué)做出更大貢獻(xiàn)的領(lǐng)域速

8、穩(wěn)定地發(fā)展、對(duì)科學(xué)做出更大貢獻(xiàn)的領(lǐng)域E.Mjolsness&D.DesCoste,Science 01人工智能中最活躍、應(yīng)用潛力最明顯的領(lǐng)域人工智能中最活躍、應(yīng)用潛力最明顯的領(lǐng)域（之一）（之一）T.G.Dietterich,AIMag 97美國(guó)、歐洲各國(guó)都投入了大量人力物力美國(guó)、歐洲各國(guó)都投入了大量人力物力大型公司如波音、微軟、通用電器等都有研究課題大型公司如波音、微軟、通用電器等都有研究課題已有一些研究成果進(jìn)入產(chǎn)品已有一些研究成果進(jìn)入產(chǎn)品A Few Quotes“A breakthrough in machine learning would be worth ten Microsofts”

9、(Bill Gates,Chairman,Microsoft)“Machine learning is the next Internet”(Tony Tether,Director,DARPA)Machine learning is the hot new thing”(John Hennessy,President,Stanford)“Web rankings today are mostly a matter of machine learning”(Prabhakar Raghavan,Dir.Research,Yahoo)“Machine learning is going to r

10、esult in a real revolution”(Greg Papadopoulos,CTO,Sun)“Machine learning is todays discontinuity”(Jerry Yang,CEO,Yahoo)So What Is Machine Learning?Automating automationGetting computers to program themselvesWriting software is the bottleneckLet the data do the work instead!Traditional Programming Mac

11、hine LearningComputerDataProgramOutputComputerDataOutputProgramMagic?No,more like gardeningSeeds=AlgorithmsNutrients=DataGardener=YouPlants=ProgramsML in a NutshellTens of thousands of machine learning algorithmsHundreds new every yearEvery machine learning algorithm has three components:nRepresenta

12、tionnEvaluationnOptimizationRepresentationDecision treesSets of rules/Logic programsInstancesGraphical models(Bayes/Markov nets)Neural networksSupport vector machinesEtc.EvaluationAccuracyPrecision and recallmean square error or MSE Posterior probabilityCost/UtilityEntropyEtc.OptimizationCombinatori

13、al optimizationnE.g.:Greedy searchConvex optimizationnE.g.:Gradient descentConstrained optimizationnE.g.:Linear programmingTypes of LearningSupervised(inductive)learningUnsupervised learningSemi-supervised learningReinforcement learningMulti-instance learningData dream learning2 2 機(jī)器學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu)機(jī)器學(xué)習(xí)系統(tǒng)的

14、基本結(jié)構(gòu) SimonSimon 設(shè)計(jì)學(xué)習(xí)系統(tǒng)應(yīng)當(dāng)注意的某些設(shè)計(jì)學(xué)習(xí)系統(tǒng)應(yīng)當(dāng)注意的某些總的原則總的原則：環(huán)境向系統(tǒng)的學(xué)習(xí)部分提供某些信息，：環(huán)境向系統(tǒng)的學(xué)習(xí)部分提供某些信息，學(xué)習(xí)部分利用這些信息修改知識(shí)庫(kù)，以增進(jìn)系統(tǒng)執(zhí)行部分完成任務(wù)的效能，執(zhí)行學(xué)習(xí)部分利用這些信息修改知識(shí)庫(kù)，以增進(jìn)系統(tǒng)執(zhí)行部分完成任務(wù)的效能，執(zhí)行部分根據(jù)知識(shí)庫(kù)完成任務(wù)，同時(shí)把獲得的信息反饋給學(xué)習(xí)部分。在具體的應(yīng)用中，部分根據(jù)知識(shí)庫(kù)完成任務(wù)，同時(shí)把獲得的信息反饋給學(xué)習(xí)部分。在具體的應(yīng)用中，環(huán)境，知識(shí)庫(kù)和執(zhí)行部分決定了具體的工作內(nèi)容，學(xué)習(xí)部分所需要解決的問(wèn)題完環(huán)境，知識(shí)庫(kù)和執(zhí)行部分決定了具體的工作內(nèi)容，學(xué)習(xí)部分所需要解決的問(wèn)題完全由

15、上述全由上述3 3部分確定。部分確定。環(huán)境環(huán)境環(huán)境可以是系統(tǒng)的工作對(duì)象，也可以包括工作環(huán)境可以是系統(tǒng)的工作對(duì)象，也可以包括工作對(duì)象和外界條件；對(duì)象和外界條件；例如在醫(yī)療系統(tǒng)中，環(huán)境就是病人當(dāng)前的癥狀、例如在醫(yī)療系統(tǒng)中，環(huán)境就是病人當(dāng)前的癥狀、檢驗(yàn)的數(shù)據(jù)和病歷；檢驗(yàn)的數(shù)據(jù)和病歷；在模式識(shí)別中，環(huán)境就是待識(shí)別的圖形或景物；在模式識(shí)別中，環(huán)境就是待識(shí)別的圖形或景物；在控制系統(tǒng)中，環(huán)境就是受控的設(shè)備或生產(chǎn)流在控制系統(tǒng)中，環(huán)境就是受控的設(shè)備或生產(chǎn)流程。程。就環(huán)境提供給系統(tǒng)的信息來(lái)說(shuō)，就環(huán)境提供給系統(tǒng)的信息來(lái)說(shuō)，信息的水平和信息的水平和質(zhì)量質(zhì)量對(duì)學(xué)習(xí)系統(tǒng)有很大影響。對(duì)學(xué)習(xí)系統(tǒng)有很大影響。信息的水平信息的水

16、平是指信息的一般性程度，也就是適是指信息的一般性程度，也就是適用范圍的廣泛性。這里的一般性程度是相對(duì)執(zhí)用范圍的廣泛性。這里的一般性程度是相對(duì)執(zhí)行環(huán)節(jié)的要求而言。行環(huán)節(jié)的要求而言。高水平信息比較抽象，適用于更廣泛的問(wèn)題。高水平信息比較抽象，適用于更廣泛的問(wèn)題。低水平信息比較具體，只適用于個(gè)別的問(wèn)題。低水平信息比較具體，只適用于個(gè)別的問(wèn)題。環(huán)境提供的信息水平和執(zhí)行環(huán)節(jié)所需的信息水環(huán)境提供的信息水平和執(zhí)行環(huán)節(jié)所需的信息水平之間往往有差距，平之間往往有差距，學(xué)習(xí)環(huán)節(jié)的任務(wù)就是解決學(xué)習(xí)環(huán)節(jié)的任務(wù)就是解決水平差距問(wèn)題水平差距問(wèn)題。n如果環(huán)境提供較抽象的高水平信息，學(xué)習(xí)環(huán)節(jié)就要如果環(huán)境提供較抽象的高水平信息

17、，學(xué)習(xí)環(huán)節(jié)就要補(bǔ)充遺漏的細(xì)節(jié)，以便執(zhí)行環(huán)節(jié)能用于具體情況。補(bǔ)充遺漏的細(xì)節(jié)，以便執(zhí)行環(huán)節(jié)能用于具體情況。n如果環(huán)境提供較具體的低水平信息，即在特殊情況如果環(huán)境提供較具體的低水平信息，即在特殊情況執(zhí)行任務(wù)的實(shí)例，學(xué)習(xí)環(huán)境就要由此歸納出規(guī)則，執(zhí)行任務(wù)的實(shí)例，學(xué)習(xí)環(huán)境就要由此歸納出規(guī)則，以便用于完成更廣的任務(wù)。以便用于完成更廣的任務(wù)。信息的質(zhì)量信息的質(zhì)量是指：正確性、適當(dāng)?shù)倪x擇是指：正確性、適當(dāng)?shù)倪x擇和合理的組織。和合理的組織。信息質(zhì)量對(duì)學(xué)習(xí)難度有明顯的影響。信息質(zhì)量對(duì)學(xué)習(xí)難度有明顯的影響。n例如，若施教者向系統(tǒng)提供準(zhǔn)確的示教例子，例如，若施教者向系統(tǒng)提供準(zhǔn)確的示教例子，而且提供例子的次序也有利于學(xué)習(xí)

18、，則容易而且提供例子的次序也有利于學(xué)習(xí)，則容易進(jìn)行歸納。若示教例子中有干擾，或示例的進(jìn)行歸納。若示教例子中有干擾，或示例的次序不合理，則難以歸納。次序不合理，則難以歸納。知識(shí)庫(kù)知識(shí)庫(kù)知識(shí)庫(kù)的形式就是知識(shí)表示的形式。知識(shí)庫(kù)的形式就是知識(shí)表示的形式。常用的知識(shí)表示方法有：特征向量、謂詞演算、常用的知識(shí)表示方法有：特征向量、謂詞演算、產(chǎn)生式規(guī)則、過(guò)程、產(chǎn)生式規(guī)則、過(guò)程、Lisp函數(shù)、數(shù)字多項(xiàng)式、函數(shù)、數(shù)字多項(xiàng)式、語(yǔ)義網(wǎng)絡(luò)和框架。語(yǔ)義網(wǎng)絡(luò)和框架。選擇知識(shí)表示方法要考慮下列準(zhǔn)則；選擇知識(shí)表示方法要考慮下列準(zhǔn)則；n可表達(dá)性可表達(dá)性n推理難度推理難度n可修改性可修改性n可擴(kuò)充性?？蓴U(kuò)充性。下面以特征向量和謂

19、詞演算方法為例說(shuō)明這些下面以特征向量和謂詞演算方法為例說(shuō)明這些準(zhǔn)則。準(zhǔn)則。可表達(dá)性方面可表達(dá)性方面 特征向量適于描述缺乏內(nèi)特征向量適于描述缺乏內(nèi)在結(jié)構(gòu)的事物，它以一個(gè)固定的待征集在結(jié)構(gòu)的事物，它以一個(gè)固定的待征集合來(lái)描述事物。謂詞演算則適于描述結(jié)合來(lái)描述事物。謂詞演算則適于描述結(jié)構(gòu)化的事物。構(gòu)化的事物。推理難度方面推理難度方面 一種常用的推理是比較一種常用的推理是比較兩個(gè)描述是否等效。顯然判定兩個(gè)待征兩個(gè)描述是否等效。顯然判定兩個(gè)待征向量等效較容易，判定兩個(gè)謂詞表達(dá)式向量等效較容易，判定兩個(gè)謂詞表達(dá)式等效的代價(jià)就較大。等效的代價(jià)就較大?？尚薷男苑矫婵尚薷男苑矫?特征向量和謂詞演算這特征向量和謂

20、詞演算這類顯式的表示都容局修改。過(guò)程表示等類顯式的表示都容局修改。過(guò)程表示等隱式的方法就難以修改。隱式的方法就難以修改?？蓴U(kuò)允性可擴(kuò)允性 是指學(xué)習(xí)系統(tǒng)通過(guò)增加詞典條是指學(xué)習(xí)系統(tǒng)通過(guò)增加詞典條目和表示結(jié)構(gòu)來(lái)擴(kuò)大表示能力以便學(xué)習(xí)目和表示結(jié)構(gòu)來(lái)擴(kuò)大表示能力以便學(xué)習(xí)更復(fù)雜的知識(shí)。一個(gè)例子是更復(fù)雜的知識(shí)。一個(gè)例子是AM(lenat，1983)，它可根據(jù)老概念定義新概念。它可根據(jù)老概念定義新概念。執(zhí)行環(huán)節(jié)執(zhí)行環(huán)節(jié)學(xué)習(xí)環(huán)節(jié)的目的就是改善執(zhí)行環(huán)節(jié)的行為。執(zhí)學(xué)習(xí)環(huán)節(jié)的目的就是改善執(zhí)行環(huán)節(jié)的行為。執(zhí)行環(huán)節(jié)的行環(huán)節(jié)的復(fù)雜性、反饋和透明度復(fù)雜性、反饋和透明度復(fù)雜性、反饋和透明度復(fù)雜性、反饋和透明度都對(duì)學(xué)習(xí)環(huán)節(jié)都對(duì)學(xué)習(xí)

21、環(huán)節(jié)有影響。有影響。復(fù)雜的任務(wù)需要更多的知識(shí)。復(fù)雜的任務(wù)需要更多的知識(shí)。執(zhí)行環(huán)節(jié)給學(xué)習(xí)環(huán)節(jié)的反饋也很重要。學(xué)習(xí)系執(zhí)行環(huán)節(jié)給學(xué)習(xí)環(huán)節(jié)的反饋也很重要。學(xué)習(xí)系統(tǒng)都要用某種方法去評(píng)價(jià)學(xué)習(xí)環(huán)節(jié)推薦的假設(shè)。統(tǒng)都要用某種方法去評(píng)價(jià)學(xué)習(xí)環(huán)節(jié)推薦的假設(shè)。若執(zhí)行環(huán)節(jié)有較好的透明度，學(xué)習(xí)環(huán)節(jié)就容易若執(zhí)行環(huán)節(jié)有較好的透明度，學(xué)習(xí)環(huán)節(jié)就容易追蹤執(zhí)行環(huán)節(jié)的行為。追蹤執(zhí)行環(huán)節(jié)的行為。n例如在學(xué)習(xí)下棋如果執(zhí)行環(huán)節(jié)把考慮過(guò)的所有走例如在學(xué)習(xí)下棋如果執(zhí)行環(huán)節(jié)把考慮過(guò)的所有走法都提供給學(xué)習(xí)環(huán)節(jié)，不是僅僅提供實(shí)際采用的走法都提供給學(xué)習(xí)環(huán)節(jié)，不是僅僅提供實(shí)際采用的走法，系統(tǒng)就較容易分析合理的走法。法，系統(tǒng)就較容易分析合理的走法。影響學(xué)

22、習(xí)系統(tǒng)設(shè)計(jì)的重要因素影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的重要因素 影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的最最重要的因素重要的因素是環(huán)境向系是環(huán)境向系統(tǒng)提供的信息。整個(gè)過(guò)統(tǒng)提供的信息。整個(gè)過(guò)程要遵循程要遵循“取之精華，取之精華，棄之糟粕棄之糟粕”的原則，同的原則，同時(shí)謹(jǐn)記時(shí)謹(jǐn)記“實(shí)踐是檢驗(yàn)真實(shí)踐是檢驗(yàn)真理的唯一標(biāo)準(zhǔn)理的唯一標(biāo)準(zhǔn)”。表達(dá)能力強(qiáng)。表達(dá)能力強(qiáng)。易于推理。易于推理。容易修改知識(shí)庫(kù)。容易修改知識(shí)庫(kù)。知識(shí)表示易于擴(kuò)展。知識(shí)表示易于擴(kuò)展。1).影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的最重要的因素是環(huán)境向系統(tǒng)提供的信息。整個(gè)過(guò)程要遵循“取之精華，棄之糟粕”的原則，同時(shí)謹(jǐn)記“實(shí)踐是檢驗(yàn)真理的唯一標(biāo)準(zhǔn)”。(2).知識(shí)庫(kù)是影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的第

23、二個(gè)因素。知識(shí)的表示有多種形式，在選擇表示方式時(shí)要兼顧以下4個(gè)方面：表達(dá)能力強(qiáng)。所選擇的表示方式能很容易地表達(dá)有關(guān)的知識(shí)。易于推理。為了使學(xué)習(xí)系統(tǒng)的計(jì)算代價(jià)比較低，希望知識(shí)表示方式能使推理較為容易。容易修改知識(shí)庫(kù)。學(xué)習(xí)系統(tǒng)的本質(zhì)要求它不斷地修改自己的知識(shí)庫(kù)，當(dāng)推廣得出一般執(zhí)行規(guī)則后，要加到知識(shí)庫(kù)中。知識(shí)表示易于擴(kuò)展。學(xué)習(xí)系統(tǒng)不能在全然沒(méi)有任何知識(shí)的情況下憑空獲取知識(shí)，每一個(gè)學(xué)習(xí)系統(tǒng)都要求具有某些知識(shí)理解環(huán)境提供的信息，分析比較，做出假設(shè)，檢驗(yàn)并修改這些假設(shè)。因此，更確切地說(shuō)，學(xué)習(xí)系統(tǒng)是對(duì)現(xiàn)有知識(shí)的擴(kuò)展和改進(jìn)。3 機(jī)器學(xué)習(xí)的分類機(jī)器學(xué)習(xí)的分類 對(duì)機(jī)器學(xué)習(xí)的分類可以由下列幾方面進(jìn)對(duì)機(jī)器學(xué)習(xí)的分類可

24、以由下列幾方面進(jìn)行：行：學(xué)習(xí)策賂、知識(shí)表示和應(yīng)用領(lǐng)域?qū)W習(xí)策賂、知識(shí)表示和應(yīng)用領(lǐng)域。學(xué)習(xí)策略學(xué)習(xí)策略是學(xué)習(xí)中使用的推理方法。下是學(xué)習(xí)中使用的推理方法。下面將按學(xué)習(xí)策略分類，以便系統(tǒng)介紹不面將按學(xué)習(xí)策略分類，以便系統(tǒng)介紹不同的方法。同的方法。機(jī)器學(xué)習(xí)主要策略機(jī)械學(xué)習(xí)機(jī)械學(xué)習(xí) （記憶學(xué)習(xí)）（記憶學(xué)習(xí)）傳授學(xué)習(xí)傳授學(xué)習(xí)演繹學(xué)習(xí)演繹學(xué)習(xí)歸納學(xué)習(xí)歸納學(xué)習(xí)類比學(xué)習(xí)類比學(xué)習(xí)3.1 3.1 機(jī)械學(xué)習(xí)機(jī)械學(xué)習(xí) 最基本的機(jī)器學(xué)最基本的機(jī)器學(xué)習(xí) 嬰兒的學(xué)習(xí)方式嬰兒的學(xué)習(xí)方式 VS VS 成人的思維方式成人的思維方式記憶記憶 機(jī)械學(xué)習(xí)是最簡(jiǎn)單的機(jī)器學(xué)習(xí)方法。機(jī)械學(xué)習(xí)是最簡(jiǎn)單的機(jī)器學(xué)習(xí)方法。機(jī)械學(xué)習(xí)就是記憶機(jī)械學(xué)習(xí)就是記

25、憶機(jī)械學(xué)習(xí)就是記憶機(jī)械學(xué)習(xí)就是記憶，即把新的知識(shí)存儲(chǔ)起來(lái)，供需要時(shí)檢索調(diào)用，而即把新的知識(shí)存儲(chǔ)起來(lái)，供需要時(shí)檢索調(diào)用，而不需要計(jì)不需要計(jì)不需要計(jì)不需要計(jì)算和推理算和推理算和推理算和推理。機(jī)械學(xué)習(xí)又是最基本的學(xué)習(xí)過(guò)程。任何學(xué)習(xí)系。機(jī)械學(xué)習(xí)又是最基本的學(xué)習(xí)過(guò)程。任何學(xué)習(xí)系統(tǒng)都必須記住它們獲取的知識(shí)。在機(jī)械學(xué)習(xí)系統(tǒng)中，知識(shí)統(tǒng)都必須記住它們獲取的知識(shí)。在機(jī)械學(xué)習(xí)系統(tǒng)中，知識(shí)的獲取是以較為穩(wěn)定和直接的方式進(jìn)行的，不需要系統(tǒng)進(jìn)的獲取是以較為穩(wěn)定和直接的方式進(jìn)行的，不需要系統(tǒng)進(jìn)行過(guò)多的加工。行過(guò)多的加工。計(jì)算和推理計(jì)算和推理數(shù)據(jù)化簡(jiǎn)級(jí)別圖數(shù)據(jù)化簡(jiǎn)級(jí)別圖 在機(jī)械學(xué)習(xí)中我們只記憶計(jì)算的輸入輸在機(jī)械學(xué)習(xí)中我們只記

26、憶計(jì)算的輸入輸出，忽略了計(jì)算過(guò)程，這樣就把計(jì)算問(wèn)出，忽略了計(jì)算過(guò)程，這樣就把計(jì)算問(wèn)題化簡(jiǎn)成題化簡(jiǎn)成存取問(wèn)題存取問(wèn)題 數(shù)據(jù)化數(shù)據(jù)化簡(jiǎn) Lenat,Hayes Roth，和，和Klahr等人于等人于1979年關(guān)于機(jī)械學(xué)習(xí)提出一種有趣的觀年關(guān)于機(jī)械學(xué)習(xí)提出一種有趣的觀點(diǎn)。他們指出，可以把機(jī)械學(xué)習(xí)看成是點(diǎn)。他們指出，可以把機(jī)械學(xué)習(xí)看成是數(shù)據(jù)化簡(jiǎn)數(shù)據(jù)化簡(jiǎn)分級(jí)中的第一級(jí)。分級(jí)中的第一級(jí)。數(shù)據(jù)化簡(jiǎn)與計(jì)算機(jī)語(yǔ)言編譯類似；其目的是把數(shù)據(jù)化簡(jiǎn)與計(jì)算機(jī)語(yǔ)言編譯類似；其目的是把原始信息變成可執(zhí)行的信息。原始信息變成可執(zhí)行的信息。主要問(wèn)題主要問(wèn)題對(duì)于機(jī)械學(xué)習(xí)，需要注意對(duì)于機(jī)械學(xué)習(xí)，需要注意3 3個(gè)重要的問(wèn)題：個(gè)重要的問(wèn)

27、題：存儲(chǔ)存儲(chǔ)存儲(chǔ)存儲(chǔ)組織，穩(wěn)定性和存儲(chǔ)與計(jì)算之間的權(quán)衡。組織，穩(wěn)定性和存儲(chǔ)與計(jì)算之間的權(quán)衡。組織，穩(wěn)定性和存儲(chǔ)與計(jì)算之間的權(quán)衡。組織，穩(wěn)定性和存儲(chǔ)與計(jì)算之間的權(quán)衡。（1 1）存儲(chǔ)組織信息：采用適當(dāng)?shù)拇鎯?chǔ)方式，使）存儲(chǔ)組織信息：采用適當(dāng)?shù)拇鎯?chǔ)方式，使檢索速度盡可能地快，是機(jī)械學(xué)習(xí)中的重要問(wèn)題。檢索速度盡可能地快，是機(jī)械學(xué)習(xí)中的重要問(wèn)題。（2 2）環(huán)境的穩(wěn)定性與存儲(chǔ)信息的適用性問(wèn)題：）環(huán)境的穩(wěn)定性與存儲(chǔ)信息的適用性問(wèn)題：機(jī)械學(xué)習(xí)系統(tǒng)必須保證所保存的信息適應(yīng)于外界環(huán)機(jī)械學(xué)習(xí)系統(tǒng)必須保證所保存的信息適應(yīng)于外界環(huán)境變化的需要，這也就是所謂的信息適用性問(wèn)題。境變化的需要，這也就是所謂的信息適用性問(wèn)題。（3

28、 3）存儲(chǔ)與計(jì)算之間的權(quán)衡：對(duì)于機(jī)械學(xué)習(xí)來(lái)）存儲(chǔ)與計(jì)算之間的權(quán)衡：對(duì)于機(jī)械學(xué)習(xí)來(lái)說(shuō)很重要的一點(diǎn)是它不能降低系統(tǒng)的效率。說(shuō)很重要的一點(diǎn)是它不能降低系統(tǒng)的效率。3.2 3.2 傳授學(xué)習(xí)傳授學(xué)習(xí) (指點(diǎn)學(xué)習(xí)指點(diǎn)學(xué)習(xí))l在傳授學(xué)習(xí)中，學(xué)習(xí)環(huán)節(jié)進(jìn)行的變換只是對(duì)施教者提供在傳授學(xué)習(xí)中，學(xué)習(xí)環(huán)節(jié)進(jìn)行的變換只是對(duì)施教者提供的信息進(jìn)行選擇和改造，這主要是在語(yǔ)法層的變換。這時(shí)的信息進(jìn)行選擇和改造，這主要是在語(yǔ)法層的變換。這時(shí)環(huán)境提供的信息過(guò)于抽象，它的水平高于執(zhí)行環(huán)節(jié)所用信環(huán)境提供的信息過(guò)于抽象，它的水平高于執(zhí)行環(huán)節(jié)所用信息的水平。息的水平。l學(xué)習(xí)環(huán)節(jié)把較高水平的知識(shí)變換為較低水平的知識(shí)。這學(xué)習(xí)環(huán)節(jié)把較高水平的知

29、識(shí)變換為較低水平的知識(shí)。這種變換稱為種變換稱為實(shí)用化實(shí)用化。l實(shí)用化主要有下列步驟：由傳授的信息推出結(jié)論，作出實(shí)用化主要有下列步驟：由傳授的信息推出結(jié)論，作出假設(shè)以補(bǔ)充一些細(xì)節(jié)和確定何時(shí)需要進(jìn)一步傳授。假設(shè)以補(bǔ)充一些細(xì)節(jié)和確定何時(shí)需要進(jìn)一步傳授。l實(shí)用化過(guò)程類似于編譯系統(tǒng)把高級(jí)語(yǔ)言程序變換成機(jī)器實(shí)用化過(guò)程類似于編譯系統(tǒng)把高級(jí)語(yǔ)言程序變換成機(jī)器碼程序。碼程序。l第一個(gè)例子是第一個(gè)例子是McCarthy(1958)的系統(tǒng)。的系統(tǒng)。3.3 3.3 演繹學(xué)習(xí)演繹學(xué)習(xí)在演繹學(xué)習(xí)中，學(xué)習(xí)系統(tǒng)由給定的知識(shí)在演繹學(xué)習(xí)中，學(xué)習(xí)系統(tǒng)由給定的知識(shí)進(jìn)行演繹的保真推理，并存儲(chǔ)有用的結(jié)進(jìn)行演繹的保真推理，并存儲(chǔ)有用的結(jié)論

30、。這種策略近幾年才作為一種獨(dú)立的論。這種策略近幾年才作為一種獨(dú)立的學(xué)習(xí)策賂。學(xué)習(xí)策賂。(Michalaki，1983)演繹學(xué)演繹學(xué)習(xí)包括知識(shí)改造、知識(shí)編譯、產(chǎn)生宏操習(xí)包括知識(shí)改造、知識(shí)編譯、產(chǎn)生宏操作、保持等價(jià)的操作和其它保真變換。作、保持等價(jià)的操作和其它保真變換。3.4 3.4 歸納學(xué)習(xí)歸納學(xué)習(xí) 歸納學(xué)習(xí)系統(tǒng)模型歸納學(xué)習(xí)系統(tǒng)模型 規(guī)劃過(guò)程通過(guò)對(duì)實(shí)例空間的搜索完成實(shí)例選擇，并將這些選中的活躍實(shí)例提交解釋過(guò)程。解釋過(guò)程對(duì)實(shí)例加以適當(dāng)轉(zhuǎn)換，把活躍實(shí)例變換為規(guī)則空間中的特定概念，以引導(dǎo)規(guī)則空間的搜索。歸納學(xué)習(xí)的定義歸納學(xué)習(xí)的定義（1 1）歸納（）歸納（inductioninduction）是人類拓展

31、認(rèn)識(shí)能是人類拓展認(rèn)識(shí)能力的重要方法，是一種力的重要方法，是一種從個(gè)別到一般從個(gè)別到一般從個(gè)別到一般從個(gè)別到一般的，從的，從部分部分部分部分到整體到整體到整體到整體的推理行為。的推理行為。（2 2）歸納推理是應(yīng)用歸納方法，從足夠多的）歸納推理是應(yīng)用歸納方法，從足夠多的具體事例中歸納出一般性知識(shí)，提取事物的一般具體事例中歸納出一般性知識(shí)，提取事物的一般規(guī)律；它是一種從個(gè)別到一般的推理。規(guī)律；它是一種從個(gè)別到一般的推理。（3 3）歸納學(xué)習(xí)（）歸納學(xué)習(xí)（induction learninginduction learning）是應(yīng)是應(yīng)用歸納推理進(jìn)行學(xué)習(xí)的一種方法。用歸納推理進(jìn)行學(xué)習(xí)的一種方法。根據(jù)歸納

32、學(xué)習(xí)有無(wú)教師指導(dǎo)，可把它分為根據(jù)歸納學(xué)習(xí)有無(wú)教師指導(dǎo)，可把它分為示示(實(shí)實(shí))例學(xué)習(xí)例學(xué)習(xí)和和觀察發(fā)現(xiàn)學(xué)習(xí)觀察發(fā)現(xiàn)學(xué)習(xí)。前者屬于有師學(xué)習(xí)，后。前者屬于有師學(xué)習(xí)，后者屬于無(wú)師學(xué)習(xí)。者屬于無(wú)師學(xué)習(xí)。示例學(xué)習(xí)示例學(xué)習(xí)示例學(xué)習(xí)（示例學(xué)習(xí)（learning from exampleslearning from examples）又稱為又稱為實(shí)例學(xué)習(xí)，它是通過(guò)環(huán)境中若干與某概念有關(guān)的例實(shí)例學(xué)習(xí)，它是通過(guò)環(huán)境中若干與某概念有關(guān)的例子，經(jīng)歸納得出一般性概念的一種學(xué)習(xí)方法。子，經(jīng)歸納得出一般性概念的一種學(xué)習(xí)方法。在這種學(xué)習(xí)方法中，外部環(huán)境提供的是一組例在這種學(xué)習(xí)方法中，外部環(huán)境提供的是一組例子（正例和反例），子（

33、正例和反例），示例學(xué)習(xí)就是要從這些特殊知識(shí)中歸納出適用示例學(xué)習(xí)就是要從這些特殊知識(shí)中歸納出適用于更大范圍的一般性知識(shí)，以覆蓋所有的正例并排于更大范圍的一般性知識(shí)，以覆蓋所有的正例并排除所有反例。除所有反例。觀察發(fā)現(xiàn)學(xué)習(xí)觀察發(fā)現(xiàn)學(xué)習(xí)觀察發(fā)現(xiàn)學(xué)習(xí)又稱為描述性概括，其目標(biāo)是確觀察發(fā)現(xiàn)學(xué)習(xí)又稱為描述性概括，其目標(biāo)是確定一個(gè)定律或理論的一般性描述，刻畫觀察集，指定一個(gè)定律或理論的一般性描述，刻畫觀察集，指定某類對(duì)象的性質(zhì)。定某類對(duì)象的性質(zhì)。觀察發(fā)現(xiàn)學(xué)習(xí)可分為觀察學(xué)習(xí)與機(jī)器發(fā)現(xiàn)兩種。觀察發(fā)現(xiàn)學(xué)習(xí)可分為觀察學(xué)習(xí)與機(jī)器發(fā)現(xiàn)兩種。前者用于對(duì)事例進(jìn)行聚類，形成概念描述；前者用于對(duì)事例進(jìn)行聚類，形成概念描述；后者用

34、于發(fā)現(xiàn)規(guī)律，產(chǎn)生定律或規(guī)則。后者用于發(fā)現(xiàn)規(guī)律，產(chǎn)生定律或規(guī)則。3.5 3.5 類比學(xué)習(xí)類比學(xué)習(xí) 類比學(xué)習(xí)是演繹學(xué)習(xí)與歸納學(xué)習(xí)的組合。它匹配不類比學(xué)習(xí)是演繹學(xué)習(xí)與歸納學(xué)習(xí)的組合。它匹配不同論域的描述，確定公共的子結(jié)構(gòu)。以此作為類比同論域的描述，確定公共的子結(jié)構(gòu)。以此作為類比映射的基礎(chǔ)。映射的基礎(chǔ)。尋找公共子結(jié)構(gòu)是歸納推理尋找公共子結(jié)構(gòu)是歸納推理，而，而實(shí)現(xiàn)實(shí)現(xiàn)類比映射是演繹推理類比映射是演繹推理。由提醒學(xué)習(xí)可以看作一種類。由提醒學(xué)習(xí)可以看作一種類比學(xué)習(xí)比學(xué)習(xí)(SchankSchank，1982)1982)。類比推理是由新情況與已知情況在某些方面的相似類比推理是由新情況與已知情況在某些方面的相似來(lái)

35、推出它們?cè)谄渌嚓P(guān)方面的相似。顯然，類比推來(lái)推出它們?cè)谄渌嚓P(guān)方面的相似。顯然，類比推理是在兩個(gè)相似域之間進(jìn)行的：類比推理的目的是理是在兩個(gè)相似域之間進(jìn)行的：類比推理的目的是從源域中選出與當(dāng)前問(wèn)題最近似的問(wèn)題及其求解方從源域中選出與當(dāng)前問(wèn)題最近似的問(wèn)題及其求解方法以求解決當(dāng)前的問(wèn)題，或者建立起目標(biāo)域中已有法以求解決當(dāng)前的問(wèn)題，或者建立起目標(biāo)域中已有命題間的聯(lián)系，形成新知識(shí)。命題間的聯(lián)系，形成新知識(shí)。推理過(guò)程如下推理過(guò)程如下(1)(1)回憶與聯(lián)想回憶與聯(lián)想遇到新情況或新問(wèn)題時(shí)，首先通過(guò)回憶與聯(lián)想在遇到新情況或新問(wèn)題時(shí)，首先通過(guò)回憶與聯(lián)想在S S中找出與當(dāng)前情況中找出與當(dāng)前情況相似的情況，這些情況

36、是過(guò)去已經(jīng)處理過(guò)的，有現(xiàn)成的解決方法及相關(guān)的相似的情況，這些情況是過(guò)去已經(jīng)處理過(guò)的，有現(xiàn)成的解決方法及相關(guān)的知識(shí)。知識(shí)。(2)(2)選擇選擇從找出的相似情況中選出與當(dāng)前情況最相似的情況及其有關(guān)知識(shí)。從找出的相似情況中選出與當(dāng)前情況最相似的情況及其有關(guān)知識(shí)。(3)(3)建立對(duì)應(yīng)映射建立對(duì)應(yīng)映射在在S S與與T T的相似情況之間建立相似元素的對(duì)應(yīng)關(guān)系，并建立起相應(yīng)的映的相似情況之間建立相似元素的對(duì)應(yīng)關(guān)系，并建立起相應(yīng)的映射。射。(4)(4)轉(zhuǎn)換轉(zhuǎn)換在上一步建立的映射下，把在上一步建立的映射下，把S S中的有關(guān)知識(shí)引到中的有關(guān)知識(shí)引到T T中來(lái)，從而建立起求中來(lái)，從而建立起求解當(dāng)前問(wèn)題的方法或者學(xué)習(xí)

37、到關(guān)于解當(dāng)前問(wèn)題的方法或者學(xué)習(xí)到關(guān)于T T的新知識(shí)。的新知識(shí)。當(dāng)前研究的焦點(diǎn)是當(dāng)前研究的焦點(diǎn)是歸納歸納和類比學(xué)和類比學(xué)習(xí)。習(xí)。如如果果我我們們想想做做出出重重要要的的貢貢獻(xiàn)獻(xiàn)，首首先先需需要要把把握握住住該該領(lǐng)域發(fā)展的脈搏領(lǐng)域發(fā)展的脈搏機(jī)器學(xué)習(xí)現(xiàn)在似乎已經(jīng)發(fā)展到一個(gè)新階段機(jī)器學(xué)習(xí)現(xiàn)在似乎已經(jīng)發(fā)展到一個(gè)新階段機(jī)機(jī)器器學(xué)學(xué)習(xí)習(xí)起起源源于于人人工工智智能能對(duì)對(duì)人人類類學(xué)學(xué)習(xí)習(xí)能能力力的的追追求求，上上一一階階段段的的研研究究幾幾乎乎完完全全局局限限在在人工智能這一領(lǐng)域中人工智能這一領(lǐng)域中（學(xué)習(xí)本身是目的）（學(xué)習(xí)本身是目的）而而現(xiàn)現(xiàn)在在，機(jī)機(jī)器器學(xué)學(xué)習(xí)習(xí)已已經(jīng)經(jīng)開開始始進(jìn)進(jìn)入入了了計(jì)計(jì)算算機(jī)機(jī)科科學(xué)學(xué)

38、的的不不同同領(lǐng)領(lǐng)域域，甚甚至至其其他他學(xué)學(xué)科科，成成為為一一種支持技術(shù)、服務(wù)技術(shù)種支持技術(shù)、服務(wù)技術(shù)（學(xué)習(xí)本身是手段）（學(xué)習(xí)本身是手段）機(jī)器學(xué)習(xí)角色的轉(zhuǎn)變機(jī)器學(xué)習(xí)角色的轉(zhuǎn)變機(jī)器學(xué)習(xí)角色的轉(zhuǎn)變（續(xù)）現(xiàn)現(xiàn)階階段段對(duì)對(duì)機(jī)機(jī)器器學(xué)學(xué)習(xí)習(xí)的的研研究究可可能能不不應(yīng)應(yīng)再再過(guò)過(guò)多多地地強(qiáng)調(diào)模擬人的學(xué)習(xí)能力強(qiáng)調(diào)模擬人的學(xué)習(xí)能力可可能能應(yīng)應(yīng)該該把把機(jī)機(jī)器器學(xué)學(xué)習(xí)習(xí)真真正正當(dāng)當(dāng)成成一一種種支支持持技技術(shù)術(shù)（手手段段而而非非目目的的），考考慮慮不不同同領(lǐng)領(lǐng)域域甚甚至至不不同同學(xué)學(xué)科科對(duì)對(duì)機(jī)機(jī)器器學(xué)學(xué)習(xí)習(xí)的的需需求求，找找出出其其中中具具有有共共性的、必須解決的問(wèn)題性的、必須解決的問(wèn)題，并進(jìn)而著手研究，并進(jìn)而著手研究

39、 我我們們暫暫且且把把這這種種視視角角下下的的機(jī)機(jī)器器學(xué)學(xué)習(xí)習(xí)稱稱為為：“普適機(jī)器學(xué)習(xí)普適機(jī)器學(xué)習(xí)”（Pervasive ML）挑戰(zhàn)問(wèn)題(1)：泛化能力共性問(wèn)題：共性問(wèn)題：幾乎所有的領(lǐng)域，都希望越準(zhǔn)越好幾乎所有的領(lǐng)域，都希望越準(zhǔn)越好提高泛化能力是永遠(yuǎn)的追求提高泛化能力是永遠(yuǎn)的追求目前泛化能力最強(qiáng)的技術(shù)：目前泛化能力最強(qiáng)的技術(shù)：支持向量機(jī)（支持向量機(jī)（SVM）產(chǎn)生途徑：理論產(chǎn)生途徑：理論-實(shí)踐實(shí)踐集成學(xué)習(xí)（集成學(xué)習(xí)（ensemble learning）產(chǎn)生途徑：實(shí)踐產(chǎn)生途徑：實(shí)踐-理論理論挑戰(zhàn)問(wèn)題挑戰(zhàn)問(wèn)題挑戰(zhàn)問(wèn)題(1)：泛化能力（續(xù)）第一個(gè)挑戰(zhàn)問(wèn)題：第一個(gè)挑戰(zhàn)問(wèn)題：今后今后10年年能否更能否更“

40、準(zhǔn)準(zhǔn)”？如果能，會(huì)從哪兒來(lái)？如果能，會(huì)從哪兒來(lái)？挑戰(zhàn)問(wèn)題(2)：速度共性問(wèn)題：共性問(wèn)題：幾乎所有的領(lǐng)域，都希望越快越好幾乎所有的領(lǐng)域，都希望越快越好加快速度也是永遠(yuǎn)的追求加快速度也是永遠(yuǎn)的追求“訓(xùn)練速度訓(xùn)練速度”vs.“測(cè)試速度測(cè)試速度”訓(xùn)練速度快的往往測(cè)試速度慢：訓(xùn)練速度快的往往測(cè)試速度慢：k近鄰近鄰 測(cè)試速度快的往往訓(xùn)練速度慢：神經(jīng)網(wǎng)絡(luò)測(cè)試速度快的往往訓(xùn)練速度慢：神經(jīng)網(wǎng)絡(luò)挑戰(zhàn)問(wèn)題(2)：速度（續(xù)）第二個(gè)挑戰(zhàn)問(wèn)題：第二個(gè)挑戰(zhàn)問(wèn)題：今后今后10年年能否更能否更“快快”？能能做做到到“訓(xùn)訓(xùn)練練快快”、“測(cè)測(cè)試試也也快快”嗎嗎？如果能，如何做？如果能，如何做？挑戰(zhàn)問(wèn)題(3)：可理解性共性問(wèn)題：共性

41、問(wèn)題：絕大多數(shù)領(lǐng)域都希望有絕大多數(shù)領(lǐng)域都希望有“可理解性可理解性”例子：醫(yī)療診斷例子：醫(yī)療診斷 地震預(yù)測(cè)地震預(yù)測(cè)目前強(qiáng)大的技術(shù)幾乎都是（或基本上是）目前強(qiáng)大的技術(shù)幾乎都是（或基本上是）“黑盒子黑盒子”神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)、集成學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)、集成學(xué)習(xí)“黑盒子黑盒子”能滿足需要嗎？能滿足需要嗎？挑戰(zhàn)問(wèn)題(3)：可理解性（續(xù)）第三個(gè)挑戰(zhàn)問(wèn)題：第三個(gè)挑戰(zhàn)問(wèn)題：今后今后10年年能否產(chǎn)生能否產(chǎn)生“白盒子白盒子”？是和是和“黑盒子黑盒子”完全不同的東西，完全不同的東西，還是從還是從“黑盒子黑盒子”變出來(lái)？變出來(lái)？挑戰(zhàn)問(wèn)題(4)：數(shù)據(jù)利用能力傳統(tǒng)的機(jī)器學(xué)習(xí)技術(shù)傳統(tǒng)的機(jī)器學(xué)習(xí)技術(shù) 對(duì)有標(biāo)記數(shù)據(jù)進(jìn)行學(xué)

42、習(xí)對(duì)有標(biāo)記數(shù)據(jù)進(jìn)行學(xué)習(xí)“標(biāo)記標(biāo)記”事件所對(duì)應(yīng)的結(jié)果事件所對(duì)應(yīng)的結(jié)果共性問(wèn)題：共性問(wèn)題：隨著數(shù)據(jù)收集能力飛速提高、隨著數(shù)據(jù)收集能力飛速提高、Internet的出現(xiàn)，在大多數(shù)領(lǐng)域中都的出現(xiàn)，在大多數(shù)領(lǐng)域中都可以很容易地獲得大量未標(biāo)記數(shù)據(jù)可以很容易地獲得大量未標(biāo)記數(shù)據(jù) 例子：醫(yī)學(xué)圖象分析例子：醫(yī)學(xué)圖象分析 垃圾郵件過(guò)濾垃圾郵件過(guò)濾沒(méi)有標(biāo)記的數(shù)據(jù)是沒(méi)用的嗎？沒(méi)有標(biāo)記的數(shù)據(jù)是沒(méi)用的嗎？挑戰(zhàn)問(wèn)題(4)：數(shù)據(jù)利用能力（續(xù)）共性問(wèn)題：共性問(wèn)題：在絕大多數(shù)領(lǐng)域中都會(huì)遇到在絕大多數(shù)領(lǐng)域中都會(huì)遇到“壞壞”數(shù)據(jù)，數(shù)據(jù)，有時(shí)甚至只有有時(shí)甚至只有“壞壞”數(shù)據(jù)數(shù)據(jù) 例子：海軍艦隊(duì)例子：海軍艦隊(duì) Web“壞壞”數(shù)據(jù)數(shù)據(jù) 大量

43、噪音、屬性缺失、不一致、大量噪音、屬性缺失、不一致、傳統(tǒng)的傳統(tǒng)的“壞壞”數(shù)據(jù)處理方式數(shù)據(jù)處理方式 “扔掉扔掉”“壞壞”數(shù)據(jù)一點(diǎn)用也沒(méi)有嗎？數(shù)據(jù)一點(diǎn)用也沒(méi)有嗎？第四個(gè)挑戰(zhàn)問(wèn)題：第四個(gè)挑戰(zhàn)問(wèn)題：今后今后10年年能否能否“數(shù)據(jù)通吃數(shù)據(jù)通吃”？如何如何“吃吃”？挑戰(zhàn)問(wèn)題(4)：數(shù)據(jù)利用能力（續(xù)）挑戰(zhàn)問(wèn)題(5)：代價(jià)敏感目前的機(jī)器學(xué)習(xí)技術(shù)目前的機(jī)器學(xué)習(xí)技術(shù) 降低錯(cuò)誤率降低錯(cuò)誤率“錯(cuò)誤錯(cuò)誤”是沒(méi)有區(qū)別的嗎？是沒(méi)有區(qū)別的嗎？把把“好好”當(dāng)成當(dāng)成“壞壞”把把“壞壞”當(dāng)成當(dāng)成“好好”共性問(wèn)題：共性問(wèn)題：大多數(shù)領(lǐng)域中的錯(cuò)誤代價(jià)都不一樣大多數(shù)領(lǐng)域中的錯(cuò)誤代價(jià)都不一樣 例子：入侵檢測(cè)例子：入侵檢測(cè) 癌癥診斷癌癥診斷一樣嗎？第五個(gè)挑戰(zhàn)問(wèn)題：第五個(gè)挑戰(zhàn)問(wèn)題：今后今后10年年能否能否“趨利避害趨利避害”？在達(dá)到較低的總錯(cuò)誤率的基礎(chǔ)上，在達(dá)到較低的總錯(cuò)誤率的基礎(chǔ)上，如何如何“趨趨”、如何、如何“避避”？挑戰(zhàn)問(wèn)題(5)：代價(jià)敏感（續(xù)）挑戰(zhàn)問(wèn)題：More 在在任任何何一一個(gè)個(gè)挑挑戰(zhàn)戰(zhàn)問(wèn)問(wèn)題題上上取取得得突突破破性性進(jìn)進(jìn)展展，都都可可能能成成為為對(duì)機(jī)器學(xué)習(xí)的重要貢獻(xiàn)對(duì)機(jī)器學(xué)習(xí)的重要貢獻(xiàn) 謝謝！謝謝！