《電子金融課件：16b 機(jī)器學(xué)習(xí) 簡介》由會(huì)員分享，可在線閱讀，更多相關(guān)《電子金融課件：16b 機(jī)器學(xué)習(xí) 簡介（14頁珍藏版）》請?jiān)谘b配圖網(wǎng)上搜索。

1、機(jī)器學(xué)習(xí)簡介機(jī)器學(xué)習(xí)簡介什么是機(jī)器學(xué)習(xí)什么是機(jī)器學(xué)習(xí) 卡內(nèi)基梅隆大學(xué)教授Tom Mitchell定義了什么是機(jī)器學(xué)習(xí)：一個(gè)程序能夠從經(jīng)驗(yàn)E中學(xué)習(xí)，解決任務(wù)T，達(dá)到性能度量值P，當(dāng)且僅當(dāng)，經(jīng)過經(jīng)驗(yàn)E后，經(jīng)過P評價(jià)，程序在處理任務(wù)T時(shí)的性能有所提升 例子：西洋棋程序，通過編程讓程序跟自己下了幾萬盤棋，通過學(xué)習(xí)那種布局會(huì)贏那種布局會(huì)輸，一段時(shí)間之后，該西洋棋程序就知道什么是好的布局什么是壞的布局 對于上述的西洋棋程序而言，經(jīng)驗(yàn)E就是程序自己進(jìn)行的上萬次的自我學(xué)習(xí)，任務(wù)T就是下棋這個(gè)過程，性能度量值P就是比賽的最后會(huì)贏的概率。 電子郵件系統(tǒng)中的垃圾郵件標(biāo)注的案例，加入我們將一份該系統(tǒng)并沒標(biāo)注為垃圾郵件

2、的郵件手動(dòng)變主衛(wèi)垃圾郵件，基于我們標(biāo)注的垃圾郵件，該垃圾郵件識(shí)別系統(tǒng)將更好的學(xué)習(xí)如何過濾垃圾郵件。什么是機(jī)器學(xué)習(xí)什么是機(jī)器學(xué)習(xí) 機(jī)器學(xué)習(xí)學(xué)習(xí)的對象又是什么呢？數(shù)據(jù)。 他從數(shù)據(jù)出發(fā)，提取數(shù)據(jù)特征，發(fā)現(xiàn)數(shù)據(jù)中的知識(shí)，然后又回到對數(shù)據(jù)的分析預(yù)測中去。 為此，在機(jī)器學(xué)習(xí)的假設(shè)中有很重重的一個(gè)假設(shè)，那就是假設(shè)同類數(shù)據(jù)的數(shù)據(jù)有一定的統(tǒng)計(jì)特性。這樣機(jī)器學(xué)習(xí)通過考慮學(xué)習(xí)什么樣的模型以及如何學(xué)習(xí)的問題，使得模型能讀數(shù)據(jù)進(jìn)行準(zhǔn)確的預(yù)測與分析。機(jī)器學(xué)習(xí)分類機(jī)器學(xué)習(xí)分類機(jī)器學(xué)習(xí)分類機(jī)器學(xué)習(xí)分類 基于數(shù)據(jù)構(gòu)架模型從而對數(shù)據(jù)進(jìn)行分析預(yù)測的機(jī)器學(xué)習(xí)由監(jiān)督學(xué)習(xí)(supervised learning)非監(jiān)督學(xué)習(xí)(unsupe

3、rvised learning)半監(jiān)督學(xué)習(xí)(semi-supervised learning)強(qiáng)化學(xué)習(xí)(reinforcement learning)監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí) 1、可以由訓(xùn)練資料中學(xué)到或建立一個(gè)模式，并依此模式推測新的實(shí)例。訓(xùn)練資料是由輸入物件(通常是向量)和預(yù)期輸出所組成。函數(shù)的輸出可以是一個(gè)連續(xù)的值(稱為回歸分析)，或是預(yù)測一個(gè)分類標(biāo)簽(稱作分類)。 2、一個(gè)監(jiān)督式學(xué)習(xí)的任務(wù)在觀察完一些訓(xùn)練范例(輸入和預(yù)期輸出)后，去預(yù)測這個(gè)函數(shù)對任何可能出現(xiàn)的輸入的值的輸出。要達(dá)到此目的，學(xué)習(xí)者必須以合理(見歸納偏向)的方式從現(xiàn)有的資料中一般化到非觀察到的情況。在人類和動(dòng)物感知中，則通常被稱為概

4、念學(xué)習(xí)。 3、監(jiān)督式學(xué)習(xí)有兩種形態(tài)的模型。最一般的，監(jiān)督式學(xué)習(xí)產(chǎn)生一個(gè)全域模型，會(huì)將輸入物件對應(yīng)到預(yù)期輸出。而另一種，則是將這種對應(yīng)實(shí)作在一個(gè)區(qū)域模型。(如案例推論及最近鄰居法)。 目前最廣泛被使用的分類器有人工神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)、最近鄰居法、高斯混合模型、樸素貝葉斯方法、決策樹和徑向基函數(shù)分類。監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)無監(jiān)督學(xué)習(xí)無監(jiān)督學(xué)習(xí) 1、無監(jiān)督式學(xué)習(xí)(Unsupervised Learning)其目的是去對原始資料進(jìn)行分類，以便了解資料內(nèi)部結(jié)構(gòu)。有別于監(jiān)督式學(xué)習(xí)網(wǎng)絡(luò)，無監(jiān)督式學(xué)習(xí)網(wǎng)絡(luò)在學(xué)習(xí)時(shí)并不知道其分類結(jié)果是否正確，亦即沒有受到監(jiān)督式增強(qiáng)(告訴它何種學(xué)習(xí)是正確的)。其特點(diǎn)是僅對此種網(wǎng)絡(luò)提供

5、輸入范例，而它會(huì)自動(dòng)從這些范例中找出其潛在類別規(guī)則。當(dāng)學(xué)習(xí)完畢并經(jīng)測試后，也可以將之應(yīng)用到新的案例上。 2、無監(jiān)督學(xué)習(xí)里典型的例子就是聚類了。聚類的目的在于把相似的東西聚在一起，而我們并不關(guān)心這一類是什么。因此，一個(gè)聚類算法通常只需要知道如何計(jì)算相似度就可以開始工作了。無監(jiān)督學(xué)習(xí)無監(jiān)督學(xué)習(xí)強(qiáng)化強(qiáng)化學(xué)習(xí)學(xué)習(xí) 強(qiáng)化學(xué)習(xí)是從動(dòng)物學(xué)習(xí)、參數(shù)擾動(dòng)自適應(yīng)控制等理論發(fā)展而來，其基本原理基本原理是：如果Agent的某個(gè)行為策略導(dǎo)致環(huán)境正的獎(jiǎng)賞(強(qiáng)化信號)，那么Agent以后產(chǎn)生這個(gè)行為策略的趨勢便會(huì)加強(qiáng)。Agent的目標(biāo)是在每個(gè)離散狀態(tài)發(fā)現(xiàn)最優(yōu)策略以使期望的折扣獎(jiǎng)賞和最大。 強(qiáng)化學(xué)習(xí)把學(xué)習(xí)看作試探評價(jià)過程，A

6、gent選擇一個(gè)動(dòng)作用于環(huán)境，環(huán)境接受該動(dòng)作后狀態(tài)發(fā)生變化，同時(shí)產(chǎn)生一個(gè)強(qiáng)化信號(獎(jiǎng)或懲)反饋給Agent，Agent根據(jù)強(qiáng)化信號和環(huán)境當(dāng)前狀態(tài)再選擇下一個(gè)動(dòng)作，選擇的原則是使受到正強(qiáng)化(獎(jiǎng))的概率增大。選擇的動(dòng)作不僅影響立即強(qiáng)化值，而且影響環(huán)境下一時(shí)刻的狀態(tài)及最終的強(qiáng)化值。 強(qiáng)化學(xué)習(xí)不同于連接主義學(xué)習(xí)中的監(jiān)督學(xué)習(xí)，主要表現(xiàn)在教師信號上，強(qiáng)化學(xué)習(xí)中由環(huán)境提供的強(qiáng)化信號是Agent對所產(chǎn)生動(dòng)作的好壞作一種評價(jià)(通常為標(biāo)量信號)，而不是告訴Agent如何去產(chǎn)生正確的動(dòng)作。由于外部環(huán)境提供了很少的信息，Agent必須靠自身的經(jīng)歷進(jìn)行學(xué)習(xí)。通過這種方式，Agent在行動(dòng)一一評價(jià)的環(huán)境中獲得知識(shí)，改進(jìn)行

7、動(dòng)方案以適應(yīng)環(huán)境。 強(qiáng)化學(xué)習(xí)系統(tǒng)學(xué)習(xí)的目標(biāo)是動(dòng)態(tài)地調(diào)整參數(shù)，以達(dá)到強(qiáng)化信號最大。若已知r/A梯度信息，則可直接可以使用監(jiān)督學(xué)習(xí)算法。因?yàn)閺?qiáng)化信號r與Agent產(chǎn)生的動(dòng)作A沒有明確的函數(shù)形式描述，所以梯度信息r/A無法得到。因此，在強(qiáng)化學(xué)習(xí)系統(tǒng)中，需要某種隨機(jī)單元，使用這種隨機(jī)單元，Agent在可能動(dòng)作空間中進(jìn)行搜索并發(fā)現(xiàn)正確的動(dòng)作。半半監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)學(xué)習(xí)資料學(xué)習(xí)資料一些學(xué)習(xí)資料一些學(xué)習(xí)資料 周志華2016 CNCC講話http:/ 李宏毅machine learning課程http:/speech.ee.ntu.edu.tw/tlkagk/courses_ML17_2.htmlhttps:/