《廈門大學(xué)機器學(xué)習(xí)考試題.doc》由會員分享，可在線閱讀，更多相關(guān)《廈門大學(xué)機器學(xué)習(xí)考試題.doc（3頁珍藏版）》請在裝配圖網(wǎng)上搜索。

第一題 判斷題（10分，每小題1 分） [1] 邏輯斯蒂回歸模型可以用來做分類，但是SVM不能用來做回歸。（ ） [2] 訓(xùn)練數(shù)據(jù)較少時更容易發(fā)生過擬合。（ ） [3] 如果回歸函數(shù)A比B簡單，則A一定會比B在測試集上表現(xiàn)更好。（ ） [4] 在核回歸中，最影響回歸的過擬合性和欠擬合之間平衡的參數(shù)為核函數(shù)的寬度。（ ） [5] 在AdaBoost算法中，所有被錯分的樣本的權(quán)重更新比例相同。（ ） [6] Boosting的一個優(yōu)點是不會過擬合。（ ） [7] 梯度下降有時會陷于局部極小值，但EM 算法不會。（ ） [8] SVM對噪聲（如來自其他分布的噪聲樣本）魯棒。（ ） [9] 經(jīng)驗風(fēng)險最小化在一定條件下與極大似然估計是等價的。（ ） [10] 在回歸分析中，最佳子集選擇可以做特征選擇；Lasso模型也可以實現(xiàn)特征選擇。（ ） 第二題 統(tǒng)計學(xué)習(xí)方法的三要素（10分） 1. (5分)是一個函數(shù)空間，是上一個概率測度，是的一個子集（采樣），，， 請問： [1] (2分)隨著N增大而增大嗎？為什么？ [2] (3分)隨著H增大而增大嗎？為什么？ 2. (5分) 比較感知機、邏輯斯蒂回歸模型、AdaBoost和SVM的損失函數(shù)。 第三題 產(chǎn)生式模型和判別式模型 （10分） [1] （5分）解釋產(chǎn)生式模型和判別式模型，并分析二者的不同點； [2] 列出三種判別式模型（3分）和兩種產(chǎn)生式模型（2分） 第四題 EM and Naive Bayes （15分） [1] （5分）概述EM算法的用途及其主要思想； [2] （10分）EM算法可以用到樸素貝葉斯法的非監(jiān)督學(xué)習(xí)，寫出其算法。 第五題 HMM （10分） 考慮盒子和球模型λ=(A,B,π)，狀態(tài)集合Q=1,2,3，觀測集合V=紅,白， ，，π=(0.2,0.4,0.4)T 設(shè)T=3，O=(紅、白、紅)，試用前向算法計算P(O|λ). 第六題 SVM（15分） 考慮利用線性支持向量機對如下兩類可分數(shù)據(jù)進行分類： +1：(1,1), (2,2), (2,0) -1：(0,0), (1,0), (0,1) [1] （4分）在圖中做出這6個訓(xùn)練點，構(gòu)造具有最優(yōu)超平面和最優(yōu)間隔的權(quán)重向量； [2] （3分）哪些是支撐向量？ [3] （8分）通過尋找拉格朗日乘子來構(gòu)造在對偶空間的解，并將它與[1]中的結(jié)果比較。 第七題 Logistic 回歸模型（15分） 如圖1(a)所示，數(shù)據(jù)采用簡化的線性logistic回歸模型進行兩類分類，即， 為了簡化，不采用偏差w0,訓(xùn)練數(shù)據(jù)可以被完全分開（訓(xùn)練誤差為0，如圖1(b)所示的L1）。 [1] （8分）考慮一個正則化的方法，即最大化,注意只有w2被懲罰。則當C 很大時，如圖1(b)所示的4 個決策邊界中，哪條線可能是由該正則方法得到的？L2、L3 和L4 可以通過正則w2得到嗎？簡要說明理由。 [2] （7分）如果我們將正則項給出L1 范式，即最大化,則隨著 C 增大，下面哪種情形可能出現(xiàn)（單選） ？注：簡要說明理由 (A) w1將變成0，然后w2 也將變成0。 (B)w2將變成0，然后w1也將變成0。 (C) w1和w2將同時變成0。 (D)兩個權(quán)重都不會變成0，只是隨著C的增大而減小為0。 第八題 AdaBoost （15分） 考慮如下圖2所示的訓(xùn)練樣本，其中’X’和’O’分別表示正樣本和負樣本。采用AdaBoost算法對上述樣本進行分類。在Boosting的每次迭代中，選擇加權(quán)錯誤率最小的弱分類器。假設(shè)采用的弱分類器為平行兩個坐標軸的線性分類器。 [1] （4分）在圖2中標出第一次迭代選擇的弱分類器（L1），并給出決策面的‘+’和‘-’面。 [2] （4分）在圖2中用圓圈標出在第一次迭代后權(quán)重最大的樣本，其權(quán)重是多少？ [3] （4分）第一次迭代后權(quán)重最大的樣本在經(jīng)過第二次迭代后權(quán)重變?yōu)槎嗌伲? [4] （3分）強分類器為弱分類器的加權(quán)組合。則在這些點中，存在被經(jīng)過第二次迭代后的強分類器錯分的樣本嗎？給出簡短理由。