《《多媒體信息檢索》PPT課件.ppt》由會員分享，可在線閱讀，更多相關《《多媒體信息檢索》PPT課件.ppt（39頁珍藏版）》請在裝配圖網(wǎng)上搜索。

多媒體信息檢索,102131387莊子勻,概念,多媒體檢索是一種基于內(nèi)容特征的檢索（CBR：content-basedretrieval）?；趦?nèi)容的檢索是對媒體對象的內(nèi)容及上下文語義環(huán)境進行檢索，如圖像中的顏色、紋理、形狀，視頻中的鏡頭、場景、鏡頭的運動，聲音中的音調(diào)、響度、音色等。基于內(nèi)容的檢索突破了傳統(tǒng)的基于文本檢索技術的局限，直接對圖像、視頻、音頻內(nèi)容進行分析，抽取特征和語義，利用這些內(nèi)容特征建立索引并進行檢索。在這一檢索過程中，它主要以圖像處理、模式識別、計算機視覺、圖像理解等學科中的一些方法為部分基礎技術，是多種技術的合成。,體系結構,檢索過程,分類,,基于文本的檢索,人工建立元數(shù)據(jù)標引，本質(zhì)類似于純文本信息檢索普及程度：是現(xiàn)行網(wǎng)絡檢索系統(tǒng)中的主流方式。檢索方式：信息分類、擴展名、關鍵詞優(yōu)勢：實現(xiàn)原理相對簡單，技術成熟劣勢：具有主觀性，仁者見仁、智者見智；多媒體信息的多維性，人工描述難以窮盡Google圖片搜索、音樂搜索與視頻搜索，Yahoo音樂搜索與圖片搜索，YahooVideoSearch，百度mp3、圖片與視頻搜索,普通搜索引擎,搜索圖片、圖像格式：image:文件名功能：檢索含有指定文件名圖像的所有網(wǎng)頁。搜索多媒體信息格式：media:text功能：檢索文件的名字中含有指定文字的多媒體信息,基于內(nèi)容的信息檢索,Content-BasedRetrieval一種新的檢索技術，是對多媒體對象的內(nèi)容及上下文語義環(huán)境進行檢索原理：提取特征并進行量化，表示成向量空間，建立索引庫，將用戶提問轉化成向量，并與已有信息的向量空間進行相似度匹配計算。常用多媒體文件特征：①圖像：顏色、紋理及時空關系等②視頻：對象運動特征、顏色和光線變化等③音頻：時域、頻域、時頻、短時幀和音頻特征等普及程度：局限在較小的數(shù)據(jù)集合上，大多只是實驗室研究成果,基于內(nèi)容的圖像檢索,分析圖像的內(nèi)容提取其顏色、形狀、紋理，以及對象空間關系等信息建立圖像的特征索引,QBIC,QueryByImageContent,Photobook,http://vismod.media.mit.edu/vismod/demos/photobook/由MIT的媒體實驗室開發(fā)研制圖像在存儲時按人臉、形狀或紋理特性自動分類圖像根據(jù)類別通過顯著語義特征壓縮編碼,VisualSeek,http://www.ctr.columbia.edu/VisualSEEk美國哥倫比亞大學開發(fā)的圖像查詢系統(tǒng)主要特點是用到了圖像區(qū)域的空間關系查詢和直接從壓縮數(shù)據(jù)中提取視覺特征,EXCALIBUR技術公司開發(fā)的retrievalware系統(tǒng),Virage公司開發(fā)的virage檢索系統(tǒng),香港公共圖書館的多媒體信息系統(tǒng)（MMIS）,MultimediaInformationSystemhttp://hkclweb.hkpl.gov.hk/hkclr2/internet/eng/html/welcome.htmlIBM和分包商ICO于1999年底開始承建190萬美元的數(shù)字圖書館項目被認為是世界上最大且最復雜的“中文/英文”雙語圖書館服務之一采用的DB2Text和ImageExtenders既支持文本查找，也支持圖片查找,相似顏色,相似形狀,相似內(nèi)容,IMEDIA,IMEDIA按照數(shù)據(jù)庫的內(nèi)容劃分為五個功能系統(tǒng)。VisualRetrieval(generalistdatabases)、VisualRetrieval(biodiversitycollections)、VisualRetrievalwithrelevancefeedback（satelliteimages）、partialvisualqueries(localdescriptors)和3Dretrieval,基于內(nèi)容的視頻檢索,通過對非結構化的視頻數(shù)據(jù)進行結構化分析和處理，采用視頻分割技術，將連續(xù)的視頻流劃分為具有特定語義的視頻片段——鏡頭，作為檢索的基本單元，在此基礎上進行代表幀(representativeframe)的提取和動態(tài)特征的提取，形成描述鏡頭的特征索引鏡頭組織和特征索引，采用視頻聚類等方法研究鏡頭之間的關系，把內(nèi)容相近的鏡頭組合起來，逐步縮小檢索范圍，直至查詢到所需的視頻數(shù)據(jù)視頻分割、代表幀和動態(tài)特征提取是基于內(nèi)容的視頻檢索的關鍵技術。,卡內(nèi)基梅隆大學的informedia數(shù)字視頻圖書館系統(tǒng),CMUInformediaVideoResearchhttp://www.informedia.cs.cmu.edu結合語音識別、視頻分析和文本檢索技術，支持2000小時的視頻廣播的檢索實現(xiàn)全內(nèi)容的、基于知識的查詢和檢索同步元數(shù)據(jù)搜索和導航,天線視頻,,哥倫比亞大學的VideoQ,,基于內(nèi)容的音頻檢索,從音頻數(shù)據(jù)中提取聽覺特征信息音頻特征分為：聽覺感知特征和聽覺非感知特征(物理特性)聽覺感知特征包括音量、音調(diào)、音強等,IBM的ViaVoice,http://ibm-,劍橋大學的VMR系統(tǒng),VideoMailRetrievalUsingVoicehttp://mi.eng.cam.ac.uk/research/projects/Video_Mail_Retrieval_Voice音頻處理較出色,美國Musclefish公司基于內(nèi)容的音頻檢索系統(tǒng),Content-BasedRetrievalofAudio,Thankyou,