《大腦皮層視覺(jué)通路計(jì)算模型的物體識(shí)別.ppt》由會(huì)員分享，可在線閱讀，更多相關(guān)《大腦皮層視覺(jué)通路計(jì)算模型的物體識(shí)別.ppt（37頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

2020年3月12日 1 題目 RobustObjectRecognitionwithCortex LikeMechanisms 作者 ThomasSerre TomasoPoggio講解人 SuYu 2020年3月12日 2 作者的相關(guān)信息 ThomasSerre2005年獲得博士學(xué)位computationalneuroscienceMIT BrainandCognitiveScienceDept Cambridge MA Advisor TomasoPoggio所在機(jī)構(gòu)PostdoctoralassociateattheCenterforBiologicalandComputationalLearning CBCL atMIT主要研究方向Biologicalvision machinevision objectrecognition computationalneuroscience learningincortex主要的學(xué)術(shù)貢獻(xiàn)點(diǎn)提出了一個(gè)關(guān)于視覺(jué)皮層腹部通路 ventralstreamofvisualcortex 中回路和計(jì)算的定量模型 提出了一個(gè)component based的人臉檢測(cè) 識(shí)別模型 2020年3月12日 3 作者的相關(guān)信息 TomasoPoggio所在機(jī)構(gòu)DepartmentofBrain CognitiveSciencesandArtificialIntelligenceLaboratory MassachusettsInstituteofTechnology主要研究方向theprocessesbywhichthebrainlearnstorecognizeandcategorizevisualobjectshttp cbcl mit edu cbcl web pis poggio index htm 2020年3月12日 4 文章的相關(guān)信息 PAMI2007 3相關(guān)文獻(xiàn)M RiesenhuberandT Poggio HierarchicalModelsofObjectRecognitioninCortex NatureNeuroscience vol 2 no 11 pp 1019 1025 1999 T Serre M Kouh C Cadieu U Knoblich G Kreiman andT Poggio ATheoryofObjectRecognition ComputationsandCircuitsintheFeedforwardPathoftheVentralStreaminPrimateVisualCortex AIMemo2005 036 CBCLMemo259 MassachusettsInst ofTechnology Cambridge 2005 2020年3月12日 5 文章摘要 受生物學(xué)的啟發(fā) 我們提出了一種識(shí)別復(fù)雜視覺(jué)場(chǎng)景的新的通用框架 在這個(gè)框架中 我們描述了一個(gè)與視覺(jué)皮層組織結(jié)構(gòu)非常相似的一個(gè)層次化模型 并且通過(guò)交替進(jìn)行模板匹配 templatematching 和最大化操作 maximumpoolingoperation 得到復(fù)雜性和不變性越來(lái)越高的特征表示 我們?cè)诙鄠€(gè)識(shí)別任務(wù)上驗(yàn)證了這種方法的正確性 包括復(fù)雜場(chǎng)景中單類(lèi)或多類(lèi)物體的識(shí)別 以及依賴于識(shí)別shape based和texture based物體的復(fù)雜場(chǎng)景理解 在滿足一些生物學(xué)限制條件的情況下 這種方法的性能非常好 它可以從少量訓(xùn)練樣本中進(jìn)行學(xué)習(xí) 并且與目前最好的系統(tǒng)旗鼓相當(dāng) 除了與計(jì)算機(jī)視覺(jué)的相關(guān)性 這種方法的成功證明了大腦皮層中物體識(shí)別前饋模型的正確性 2020年3月12日 6 研究背景和研究意義 研究背景研究大腦視覺(jué)皮層中物體識(shí)別的過(guò)程對(duì)于神經(jīng)科學(xué) Neuroscience 來(lái)說(shuō)是一個(gè)關(guān)鍵的問(wèn)題 計(jì)算機(jī)視覺(jué)中神經(jīng)科學(xué)的應(yīng)用局限在推導(dǎo)立體視 stereo 算法和驗(yàn)證DoG以及Gabor的正確性 一些基于仿生的高層次特征沒(méi)有在實(shí)際的圖像數(shù)據(jù)庫(kù)上驗(yàn)證 研究意義人類(lèi)和哺乳動(dòng)物的視覺(jué)系統(tǒng)優(yōu)于目前的機(jī)器視覺(jué)的系統(tǒng) 因此模仿大腦皮層中物體識(shí)別的過(guò)程就變得非常有吸引力 2020年3月12日 7 前人相關(guān)工作的介紹 相關(guān)工作層次化結(jié)構(gòu)ConstellationmodelMultilayeredconvolutionalnetworks 物體表示方法Appearance based區(qū)分性強(qiáng)但缺乏不變性 Histogram based不變性強(qiáng)但缺乏區(qū)分性 2020年3月12日 8 本文所研究問(wèn)題的提出 問(wèn)題的提出不變性 Invariance 和區(qū)分性 Selective 對(duì)于物體識(shí)別來(lái)說(shuō)都是很重要的 本文提出一種新的物體描述方式 能夠很好地平衡不變性和區(qū)分性 2020年3月12日 9 本文解決思路的基本思想 模擬大腦視覺(jué)皮層的處理過(guò)程通過(guò)一種層次結(jié)構(gòu)定量地模擬了大腦視覺(jué)皮層腹部通路前100 200毫秒的處理過(guò)程 系統(tǒng)共分4個(gè)層次 包括兩個(gè)simpleSunits和兩個(gè)complexCunits 兼顧可分性 Sunits 和不變性 Cunits 2020年3月12日 10 文章的組織結(jié)構(gòu) IntroductionDetailedImplementationEmpiricalEvaluationDiscussion 2020年3月12日 11 基礎(chǔ)知識(shí) 相關(guān)學(xué)科神經(jīng)科學(xué) Neuroscience 腦研究的綜合學(xué)科 應(yīng)用生命科學(xué)和物理科學(xué) 信息科學(xué)的綜合途徑 從分子 細(xì)胞到計(jì)算網(wǎng)絡(luò) 心理多個(gè)水平 對(duì)神經(jīng)系統(tǒng)的形成 正常功能和異常病變進(jìn)行研究 認(rèn)知科學(xué) CognitiveScience 是研究人 動(dòng)物和機(jī)器的智能的本質(zhì)和規(guī)律的科學(xué) 目標(biāo)是揭示人腦認(rèn)知過(guò)程的機(jī)制 用計(jì)算機(jī)程序?qū)崿F(xiàn)這一機(jī)制并加以驗(yàn)證 2020年3月12日 12 基礎(chǔ)知識(shí) 人類(lèi)視覺(jué)感知系統(tǒng)視覺(jué)信息在大腦中按照一定的通路傳輸視網(wǎng)膜接受外界信號(hào)信號(hào)通過(guò)視神經(jīng)交叉和視束傳到中樞的側(cè)膝體信息到達(dá)大腦皮層細(xì)胞大腦皮層由簡(jiǎn)單到復(fù)雜 由低級(jí)到高級(jí)SimpleCell ComplexCell HypercomplexCell 2020年3月12日 13 基礎(chǔ)知識(shí) 視覺(jué)信息處理特點(diǎn)兩條通路腹部通路 ventralstream 又稱what通路背部通路 dorsalstream 又稱where通路層次結(jié)構(gòu)視網(wǎng)膜 側(cè)膝體 視皮層反饋連接高層區(qū)域 視覺(jué)初級(jí)皮層區(qū)高級(jí)行為也會(huì)對(duì)低層神經(jīng)元活動(dòng)產(chǎn)生影響感受野等級(jí)特性神經(jīng)細(xì)胞越復(fù)雜 對(duì)應(yīng)視網(wǎng)膜上區(qū)域越大 注意選擇機(jī)制學(xué)習(xí)機(jī)制 2020年3月12日 14 系統(tǒng)框架 2020年3月12日 15 S1units Gabor 模擬簡(jiǎn)單視覺(jué)細(xì)胞的感受野 多方向 多尺度 提取具有區(qū)分能力的底層特征 2020年3月12日 16 C1units 較大的感受野 對(duì)感受野內(nèi)不同位置 不同尺寸的邊緣都會(huì)有響應(yīng) 通過(guò)尺度和空間鄰域的局部最大值操作 LocalMaximum 來(lái)實(shí)現(xiàn) 體現(xiàn)了平移和尺度不變性 2020年3月12日 17 C1units C1 max max 2020年3月12日 18 C1units C1 S1 2020年3月12日 19 S1和C1具體參數(shù) 2020年3月12日 20 S2units 與從訓(xùn)練集中學(xué)到的patch進(jìn)行模板匹配 Patch 2020年3月12日 21 S2units r 2020年3月12日 22 C2units 在所有尺度 所有位置上取最大值 2020年3月12日 23 TheLearningStage 選擇若干具有代表性的patch從訓(xùn)練圖像 C1level 中隨機(jī)采樣每類(lèi)物體有自己的代表patch 2020年3月12日 24 TheClassificationStage 特征Standardmodelfeatures SMFs C1orC2分類(lèi)器SVMBoosting 2020年3月12日 25 實(shí)驗(yàn) ObjectRecognitioninClutterObjectRecognitionwithoutClutter 2020年3月12日 26 ObjectRecognitioninClutter 測(cè)試條件目標(biāo)物體沒(méi)有分割 位置和尺度也不同采用的特征scaleandposition invariantC2SMFs測(cè)試數(shù)據(jù)庫(kù)CalTech5 CalTech101 andMIT CBCL 2020年3月12日 27 ObjectRecognitioninClutter Comparisonwithbenchmarksystems 19 20 constellationmodels 17 hierarchicalSVM 18 fragments gentleBoost 2020年3月12日 28 ObjectRecognitioninClutter ComparisonwithSIFTfeatures 2020年3月12日 29 ObjectRecognitioninClutter Numberoffeaturesandtrainingexamples 2020年3月12日 30 ObjectRecognitionwithoutClutter 測(cè)試條件和滑動(dòng)窗結(jié)合 從圖像的不同位置和不同尺度提取圖像窗 resize到同樣大小 沒(méi)有位置和尺度的變化沒(méi)有clutter采用的特征C1和C2均可 但C1優(yōu)于C2測(cè)試數(shù)據(jù)庫(kù)StreetScenesscene understandingdataset 2020年3月12日 31 ObjectRecognitionwithoutClutter 2020年3月12日 32 ObjectRecognitionwithoutClutter 2020年3月12日 33 ObjectRecognitionwithoutClutter 2020年3月12日 34 總結(jié) 本文提出了一種基于大腦皮層視覺(jué)通路計(jì)算模型的物體識(shí)別方法 并應(yīng)用到多種不同的識(shí)別任務(wù)中 取得了不錯(cuò)的效果 2020年3月12日 35 最后 可以改進(jìn)之處增加層數(shù) 比如S3 C3 S4等等融合多個(gè)層次的特征學(xué)習(xí)過(guò)程中采用特征選擇調(diào)整模型參數(shù)增加反饋的過(guò)程提高速度能否應(yīng)用到人臉識(shí)別 2020年3月12日 36 Thanksandanyquestions 2020年3月12日 37