《計算機前沿技術(shù)》由會員分享,可在線閱讀,更多相關(guān)《計算機前沿技術(shù)(7頁珍藏版)》請在裝配圖網(wǎng)上搜索。
1、姓名:劉洋
學(xué)號:1
計算機前沿技術(shù)
—— 云計算
摘要:
論文對新興的計算模型——云計算進行了簡要的介紹。論文給出了云計算的定義,介紹了云計算的發(fā)展背景和應(yīng)用場景,分析了云計算和網(wǎng)格計算以及傳統(tǒng)超級計算的區(qū)別, 總結(jié)了云計算的關(guān)鍵技術(shù):存儲技術(shù)、數(shù)據(jù)管理技術(shù)以及編程模型。
關(guān)鍵詞:云計算; 數(shù)據(jù)存儲; 數(shù)據(jù)管理; 編程模型
一、云計算的定義及特點
云計算(Cloud Computing)是一種新近提出的計算模式。維基百科給云計算下的定義:云計算將IT相關(guān)的能力以服務(wù)的方式提供給用戶,允許用戶在不了解提
2、供服務(wù)的技術(shù)、沒有相關(guān)知識以及設(shè)備操作能力的情況下,通過Internet獲取需要服務(wù)[1]。中國云計算網(wǎng)將云定義為:云計算是分布式計算(Distributed Computing)、并行計算(ParallelComputing)和網(wǎng)格計算(Grid Computing)的發(fā)展,或者說是這些科學(xué)概念的商業(yè)實現(xiàn)[2]?!orrester Research 的分析師 James Staten 定義云為:“云計算是一個具備高度擴展性和管理性并能夠勝任終端用戶應(yīng)用軟件計算基礎(chǔ)架構(gòu)的系統(tǒng)池”。雖然目前云計算沒有統(tǒng)一的定義,結(jié)合上述定義,可以總結(jié)出云計算的一些本質(zhì)特征,即分布式計算和存儲特性,高擴展性,用
3、戶友好性,良好的管理性。云計算技術(shù)具有以下特點:
(1) 云計算系統(tǒng)提供的是服務(wù)。服務(wù)的實現(xiàn)機制對用戶透明,用戶無需了解云計算的具體機制,就可以獲得需要的服務(wù)。
(2) 用冗余方式提供可靠性。云計算系統(tǒng)由大量商用計算機組成機群向用戶提供數(shù)據(jù)處理服務(wù)。隨著計算機數(shù)量的增加,系統(tǒng)出現(xiàn)錯誤的概率大大增加。在沒有專用的硬件可靠性部件的支持下,采用軟件的方式,即數(shù)據(jù)冗余和分布式存儲來保證數(shù)據(jù)的可靠性。
(3) 高可用性。通過集成海量存儲和高性能的計算能力,云能提供一定滿意度的服務(wù)質(zhì)量。云計算系統(tǒng)可以自動檢測失效節(jié)點,并將失效節(jié)點排除,不影響系統(tǒng)的正常運行。
(4) 高層次的編程模型。云計算系統(tǒng)提
4、供高級別的編程模型。用戶通過簡單學(xué)習(xí),就可以編寫自己的云計算程序,在“云”系統(tǒng)上執(zhí)行,滿足自己的需求?,F(xiàn)在云計算系統(tǒng)主要采用Map-Reduce模型。
(5) 經(jīng)濟性。組建一個采用大量的商業(yè)機組成的機群相對于同樣性能的超級計算機花費的資金要少很多。
二、云計算的發(fā)展和應(yīng)用背景
目前,亞馬遜,微軟,谷歌,IBM,Intel等公司紛紛提出了“云計劃”。例如亞馬遜的AWS (AmazonWeb Services) [3]、IBM和谷歌聯(lián)合進行的“藍云”計劃等。這對云計算的商業(yè)價值給予了巨大的肯定。同時學(xué)術(shù)界也紛紛對云計算進行深層次的研究。例如谷歌同華盛頓大學(xué)以及清華大學(xué)合作,啟動云計算學(xué)術(shù)合作
5、計劃(Academic Cloud Computing Initiative),推動云計算的普及,加緊對云計算的研究。美國卡耐基梅隴大學(xué)等提出對數(shù)據(jù)密集型的超級計算(DISC:Data Intensive SuperComputing)進行研究,本質(zhì)上也是對云計算相關(guān)技術(shù)開展研究。IDC的調(diào)查顯示,未來五年云計算服務(wù)將急速增長,預(yù)期2012年市場規(guī)??蛇_420億美元。目前企業(yè)導(dǎo)入云計算已逐漸普及,并且有逐年成長趨勢。估計在2012年,企業(yè)投入在云計算服務(wù)的支出將占整體IT成本的25%,甚至在2013年提高至IT總支出的三分之一。由此可見,在各大公司以及學(xué)術(shù)界的共同推動下,云計算技術(shù)將會持續(xù)發(fā)展
6、。云計算有著廣泛的應(yīng)用前景。如表所示:
表 云計算的應(yīng)用領(lǐng)域
領(lǐng)域
應(yīng)用場景
科研
地震監(jiān)測
海洋信息監(jiān)測
醫(yī)學(xué)
DNA信息分析
海量病例儲存分析
醫(yī)療影像處理
網(wǎng)絡(luò)安全
病毒庫儲存
垃圾郵件屏蔽
圖形和圖像處理
動畫素材分析
海量圖片檢索
互聯(lián)網(wǎng)
在線實時翻譯
網(wǎng)絡(luò)檢索服務(wù)
三、云計算與其他傳統(tǒng)超級計算的區(qū)別
超級計算機擁有強大的處理能力,特別是計算能力。2008年11月17日,最新一期的Top500榜單發(fā)布。冠軍“RoadRunner”是IBM為美國 Los Alamos 國家實驗室建造的計算機系統(tǒng)。它的運算速度達到了1.026 Petaflop
7、/s。RoadRuner超級計算機包含12960個IBM PowerXcell 8i處理器以及6948個分布于刀片服務(wù)器上的AMD Opteron芯片刀片服務(wù)器安裝在288個IBMBladCener機架上。RoadRuner擁有80TB的內(nèi)存,外存使用1.5PB容量的Panasas存儲,外存通過10Gb/秒以太網(wǎng)進行連接。耗資超過1億美元。TOP500對超級計算機的排名方式可以看出,傳統(tǒng)的超級計算機注重運算速度和任務(wù)的吞吐率。以運算速度為核心進行計算機的研究和開發(fā)。而云計算則以數(shù)據(jù)為中心,同時兼顧系統(tǒng)的運算速度。傳統(tǒng)的超級計算機耗資巨大,遠超云計算系統(tǒng)。例如,趨勢科技花費1000多萬美元租用3
8、4000多臺服務(wù)器,構(gòu)建自身的“安全云”系統(tǒng)。
四、云計算的關(guān)鍵技術(shù)
云計算是一種新型的超級計算方式,以數(shù)據(jù)為中心,是一種數(shù)據(jù)密集型的超級計算。在數(shù)據(jù)存儲、數(shù)據(jù)管理、編程模式等方面具有自身獨特的技術(shù)。
4.1 數(shù)據(jù)存儲技術(shù)
為保證高可用、高可靠和經(jīng)濟性,云計算采用分布式存儲的方式來存儲數(shù)據(jù),采用冗余存儲的方式來保證存儲數(shù)據(jù)的可靠性,即為同一份數(shù)據(jù)存儲多個副本。另外,云計算系統(tǒng)需要同時滿足大量用戶的需求,并行地為大量用戶提供服務(wù)。因此,云計算的數(shù)據(jù)存儲技術(shù)必須具有高吞吐率和高傳輸率的特點。云計算的數(shù)據(jù)存儲技術(shù)主要有谷歌的非開源的GFS(Google File System)和 H
9、adoop 開發(fā)團隊開發(fā)的GFS的開源實現(xiàn)HDFS(Hadoop Distributed FileSystem)。大部分IT廠商,包括yahoo、Intel的“云”計劃采用的都是HDFS的數(shù)據(jù)存儲技術(shù)。未來的發(fā)展將集中在超大規(guī)模的數(shù)據(jù)存儲、數(shù)據(jù)加密和安全性保證、以及繼續(xù)提高I/O速率等方面。
4.2 數(shù)據(jù)管理技術(shù)
云計算系統(tǒng)對大數(shù)據(jù)集進行處理、分析向用戶提供高效的服務(wù)。因此,數(shù)據(jù)管理技術(shù)必須能夠高效的管理大數(shù)據(jù)集。其次,如何在規(guī)模巨大的數(shù)據(jù)中找到特定的數(shù)據(jù),也是云計算數(shù)據(jù)管理技術(shù)所必須解決的問題。云計算的特點是對海量的數(shù)據(jù)存儲、讀取后進行大量的分析,數(shù)據(jù)的讀操作頻率遠大于數(shù)據(jù)的更新頻率,云
10、中的數(shù)據(jù)管理是一種讀優(yōu)化的數(shù)據(jù)管理。因此,云系統(tǒng)的數(shù)據(jù)管理往往采用數(shù)據(jù)庫領(lǐng)域中列存儲的數(shù)據(jù)管理模式。將表按列劃分后存儲。云計算的數(shù)據(jù)管理技術(shù)最著名的是谷歌的BigTable數(shù)據(jù)管理技術(shù),同時Hadoop開發(fā)團隊正在開發(fā)類似BigTable的開源數(shù)據(jù)管理模塊。由于采用列存儲的方式管理數(shù)據(jù),如何提高數(shù)據(jù)的更新速率以及進一步提高隨機讀速率是未來的數(shù)據(jù)管理技術(shù)必須解決的問題。
4.3 編程模式
為了使用戶能更輕松的享受云計算帶來的服務(wù),讓用戶能利用該編程模型編寫簡單的程序來實現(xiàn)特定的目的,云計算上的編程模型必須十分簡單。必須保證后臺復(fù)雜的并行執(zhí)行和任務(wù)調(diào)度向用戶和編程人員透明。云計算采用類似MAP
11、-Reduce的編程模式?,F(xiàn)在所有IT廠商提出的“云”計劃中采用的編程模型,都是基于MAP-Reduce的思想開發(fā)的編程工具。MAP-Reduce不僅僅是一種編程模型,同時也是一種高效的任務(wù)調(diào)度模型。Map-Reduce這種編程模型并不僅適用于云計算,在多核和多處理器、cellprocessor、以及異構(gòu)機群上同樣有良好的性能[16,17,18]。該編程模式僅適用于編寫任務(wù)內(nèi)部松耦合、能夠高度并行化的程序。如何改進該編程模式,使程序員得能夠輕松的編寫緊耦合的程序,運行時能高效的調(diào)度和執(zhí)行任務(wù),是Map-Reduce編程模型未來的發(fā)展方向。
五、結(jié)語
綜上所述,云計算是一種新型的計算模式
12、。它的最主要特征是系統(tǒng)擁有大規(guī)模數(shù)據(jù)集、基于該數(shù)據(jù)集,向用戶提供服務(wù)。它使用大量的普通商用機來構(gòu)建系統(tǒng),通過冗余存儲的方式確保整個系統(tǒng)的可靠性和可用性。與傳統(tǒng)超級計算機在底層編程不同,數(shù)據(jù)密集計算的云系統(tǒng)上使用基于Map-Reduce的高級編程模式。這使得編程人員可以不用考慮底層的并行化方式,專心與程序的邏輯實現(xiàn)。普通用戶經(jīng)過簡單的學(xué)習(xí),可以編寫出滿足自身需要的簡單程序。越來越多的IT廠商提出了自己的“云”計劃,并投入大量資金推動云計算的發(fā)展。這恰恰為云計算提供了良好的發(fā)展機遇。雖然現(xiàn)在的云計算并不能完美地解決所有的問題,但是在不久的將來,一定會有越來越多的云計算系統(tǒng)投入實用,云計算系統(tǒng)也會不斷地被完善,并推動其他科學(xué)技術(shù)的發(fā)展。