《計(jì)算機(jī)前沿技術(shù)》由會(huì)員分享,可在線閱讀,更多相關(guān)《計(jì)算機(jī)前沿技術(shù)(7頁(yè)珍藏版)》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。
1、姓名:劉洋
學(xué)號(hào):1
計(jì)算機(jī)前沿技術(shù)
—— 云計(jì)算
摘要:
論文對(duì)新興的計(jì)算模型——云計(jì)算進(jìn)行了簡(jiǎn)要的介紹。論文給出了云計(jì)算的定義,介紹了云計(jì)算的發(fā)展背景和應(yīng)用場(chǎng)景,分析了云計(jì)算和網(wǎng)格計(jì)算以及傳統(tǒng)超級(jí)計(jì)算的區(qū)別, 總結(jié)了云計(jì)算的關(guān)鍵技術(shù):存儲(chǔ)技術(shù)、數(shù)據(jù)管理技術(shù)以及編程模型。
關(guān)鍵詞:云計(jì)算; 數(shù)據(jù)存儲(chǔ); 數(shù)據(jù)管理; 編程模型
一、云計(jì)算的定義及特點(diǎn)
云計(jì)算(Cloud Computing)是一種新近提出的計(jì)算模式。維基百科給云計(jì)算下的定義:云計(jì)算將IT相關(guān)的能力以服務(wù)的方式提供給用戶,允許用戶在不了解提
2、供服務(wù)的技術(shù)、沒(méi)有相關(guān)知識(shí)以及設(shè)備操作能力的情況下,通過(guò)Internet獲取需要服務(wù)[1]。中國(guó)云計(jì)算網(wǎng)將云定義為:云計(jì)算是分布式計(jì)算(Distributed Computing)、并行計(jì)算(ParallelComputing)和網(wǎng)格計(jì)算(Grid Computing)的發(fā)展,或者說(shuō)是這些科學(xué)概念的商業(yè)實(shí)現(xiàn)[2]?!orrester Research 的分析師 James Staten 定義云為:“云計(jì)算是一個(gè)具備高度擴(kuò)展性和管理性并能夠勝任終端用戶應(yīng)用軟件計(jì)算基礎(chǔ)架構(gòu)的系統(tǒng)池”。雖然目前云計(jì)算沒(méi)有統(tǒng)一的定義,結(jié)合上述定義,可以總結(jié)出云計(jì)算的一些本質(zhì)特征,即分布式計(jì)算和存儲(chǔ)特性,高擴(kuò)展性,用
3、戶友好性,良好的管理性。云計(jì)算技術(shù)具有以下特點(diǎn):
(1) 云計(jì)算系統(tǒng)提供的是服務(wù)。服務(wù)的實(shí)現(xiàn)機(jī)制對(duì)用戶透明,用戶無(wú)需了解云計(jì)算的具體機(jī)制,就可以獲得需要的服務(wù)。
(2) 用冗余方式提供可靠性。云計(jì)算系統(tǒng)由大量商用計(jì)算機(jī)組成機(jī)群向用戶提供數(shù)據(jù)處理服務(wù)。隨著計(jì)算機(jī)數(shù)量的增加,系統(tǒng)出現(xiàn)錯(cuò)誤的概率大大增加。在沒(méi)有專用的硬件可靠性部件的支持下,采用軟件的方式,即數(shù)據(jù)冗余和分布式存儲(chǔ)來(lái)保證數(shù)據(jù)的可靠性。
(3) 高可用性。通過(guò)集成海量存儲(chǔ)和高性能的計(jì)算能力,云能提供一定滿意度的服務(wù)質(zhì)量。云計(jì)算系統(tǒng)可以自動(dòng)檢測(cè)失效節(jié)點(diǎn),并將失效節(jié)點(diǎn)排除,不影響系統(tǒng)的正常運(yùn)行。
(4) 高層次的編程模型。云計(jì)算系統(tǒng)提
4、供高級(jí)別的編程模型。用戶通過(guò)簡(jiǎn)單學(xué)習(xí),就可以編寫(xiě)自己的云計(jì)算程序,在“云”系統(tǒng)上執(zhí)行,滿足自己的需求?,F(xiàn)在云計(jì)算系統(tǒng)主要采用Map-Reduce模型。
(5) 經(jīng)濟(jì)性。組建一個(gè)采用大量的商業(yè)機(jī)組成的機(jī)群相對(duì)于同樣性能的超級(jí)計(jì)算機(jī)花費(fèi)的資金要少很多。
二、云計(jì)算的發(fā)展和應(yīng)用背景
目前,亞馬遜,微軟,谷歌,IBM,Intel等公司紛紛提出了“云計(jì)劃”。例如亞馬遜的AWS (AmazonWeb Services) [3]、IBM和谷歌聯(lián)合進(jìn)行的“藍(lán)云”計(jì)劃等。這對(duì)云計(jì)算的商業(yè)價(jià)值給予了巨大的肯定。同時(shí)學(xué)術(shù)界也紛紛對(duì)云計(jì)算進(jìn)行深層次的研究。例如谷歌同華盛頓大學(xué)以及清華大學(xué)合作,啟動(dòng)云計(jì)算學(xué)術(shù)合作
5、計(jì)劃(Academic Cloud Computing Initiative),推動(dòng)云計(jì)算的普及,加緊對(duì)云計(jì)算的研究。美國(guó)卡耐基梅隴大學(xué)等提出對(duì)數(shù)據(jù)密集型的超級(jí)計(jì)算(DISC:Data Intensive SuperComputing)進(jìn)行研究,本質(zhì)上也是對(duì)云計(jì)算相關(guān)技術(shù)開(kāi)展研究。IDC的調(diào)查顯示,未來(lái)五年云計(jì)算服務(wù)將急速增長(zhǎng),預(yù)期2012年市場(chǎng)規(guī)??蛇_(dá)420億美元。目前企業(yè)導(dǎo)入云計(jì)算已逐漸普及,并且有逐年成長(zhǎng)趨勢(shì)。估計(jì)在2012年,企業(yè)投入在云計(jì)算服務(wù)的支出將占整體IT成本的25%,甚至在2013年提高至IT總支出的三分之一。由此可見(jiàn),在各大公司以及學(xué)術(shù)界的共同推動(dòng)下,云計(jì)算技術(shù)將會(huì)持續(xù)發(fā)展
6、。云計(jì)算有著廣泛的應(yīng)用前景。如表所示:
表 云計(jì)算的應(yīng)用領(lǐng)域
領(lǐng)域
應(yīng)用場(chǎng)景
科研
地震監(jiān)測(cè)
海洋信息監(jiān)測(cè)
醫(yī)學(xué)
DNA信息分析
海量病例儲(chǔ)存分析
醫(yī)療影像處理
網(wǎng)絡(luò)安全
病毒庫(kù)儲(chǔ)存
垃圾郵件屏蔽
圖形和圖像處理
動(dòng)畫(huà)素材分析
海量圖片檢索
互聯(lián)網(wǎng)
在線實(shí)時(shí)翻譯
網(wǎng)絡(luò)檢索服務(wù)
三、云計(jì)算與其他傳統(tǒng)超級(jí)計(jì)算的區(qū)別
超級(jí)計(jì)算機(jī)擁有強(qiáng)大的處理能力,特別是計(jì)算能力。2008年11月17日,最新一期的Top500榜單發(fā)布。冠軍“RoadRunner”是IBM為美國(guó) Los Alamos 國(guó)家實(shí)驗(yàn)室建造的計(jì)算機(jī)系統(tǒng)。它的運(yùn)算速度達(dá)到了1.026 Petaflop
7、/s。RoadRuner超級(jí)計(jì)算機(jī)包含12960個(gè)IBM PowerXcell 8i處理器以及6948個(gè)分布于刀片服務(wù)器上的AMD Opteron芯片刀片服務(wù)器安裝在288個(gè)IBMBladCener機(jī)架上。RoadRuner擁有80TB的內(nèi)存,外存使用1.5PB容量的Panasas存儲(chǔ),外存通過(guò)10Gb/秒以太網(wǎng)進(jìn)行連接。耗資超過(guò)1億美元。TOP500對(duì)超級(jí)計(jì)算機(jī)的排名方式可以看出,傳統(tǒng)的超級(jí)計(jì)算機(jī)注重運(yùn)算速度和任務(wù)的吞吐率。以運(yùn)算速度為核心進(jìn)行計(jì)算機(jī)的研究和開(kāi)發(fā)。而云計(jì)算則以數(shù)據(jù)為中心,同時(shí)兼顧系統(tǒng)的運(yùn)算速度。傳統(tǒng)的超級(jí)計(jì)算機(jī)耗資巨大,遠(yuǎn)超云計(jì)算系統(tǒng)。例如,趨勢(shì)科技花費(fèi)1000多萬(wàn)美元租用3
8、4000多臺(tái)服務(wù)器,構(gòu)建自身的“安全云”系統(tǒng)。
四、云計(jì)算的關(guān)鍵技術(shù)
云計(jì)算是一種新型的超級(jí)計(jì)算方式,以數(shù)據(jù)為中心,是一種數(shù)據(jù)密集型的超級(jí)計(jì)算。在數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)管理、編程模式等方面具有自身獨(dú)特的技術(shù)。
4.1 數(shù)據(jù)存儲(chǔ)技術(shù)
為保證高可用、高可靠和經(jīng)濟(jì)性,云計(jì)算采用分布式存儲(chǔ)的方式來(lái)存儲(chǔ)數(shù)據(jù),采用冗余存儲(chǔ)的方式來(lái)保證存儲(chǔ)數(shù)據(jù)的可靠性,即為同一份數(shù)據(jù)存儲(chǔ)多個(gè)副本。另外,云計(jì)算系統(tǒng)需要同時(shí)滿足大量用戶的需求,并行地為大量用戶提供服務(wù)。因此,云計(jì)算的數(shù)據(jù)存儲(chǔ)技術(shù)必須具有高吞吐率和高傳輸率的特點(diǎn)。云計(jì)算的數(shù)據(jù)存儲(chǔ)技術(shù)主要有谷歌的非開(kāi)源的GFS(Google File System)和 H
9、adoop 開(kāi)發(fā)團(tuán)隊(duì)開(kāi)發(fā)的GFS的開(kāi)源實(shí)現(xiàn)HDFS(Hadoop Distributed FileSystem)。大部分IT廠商,包括yahoo、Intel的“云”計(jì)劃采用的都是HDFS的數(shù)據(jù)存儲(chǔ)技術(shù)。未來(lái)的發(fā)展將集中在超大規(guī)模的數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)加密和安全性保證、以及繼續(xù)提高I/O速率等方面。
4.2 數(shù)據(jù)管理技術(shù)
云計(jì)算系統(tǒng)對(duì)大數(shù)據(jù)集進(jìn)行處理、分析向用戶提供高效的服務(wù)。因此,數(shù)據(jù)管理技術(shù)必須能夠高效的管理大數(shù)據(jù)集。其次,如何在規(guī)模巨大的數(shù)據(jù)中找到特定的數(shù)據(jù),也是云計(jì)算數(shù)據(jù)管理技術(shù)所必須解決的問(wèn)題。云計(jì)算的特點(diǎn)是對(duì)海量的數(shù)據(jù)存儲(chǔ)、讀取后進(jìn)行大量的分析,數(shù)據(jù)的讀操作頻率遠(yuǎn)大于數(shù)據(jù)的更新頻率,云
10、中的數(shù)據(jù)管理是一種讀優(yōu)化的數(shù)據(jù)管理。因此,云系統(tǒng)的數(shù)據(jù)管理往往采用數(shù)據(jù)庫(kù)領(lǐng)域中列存儲(chǔ)的數(shù)據(jù)管理模式。將表按列劃分后存儲(chǔ)。云計(jì)算的數(shù)據(jù)管理技術(shù)最著名的是谷歌的BigTable數(shù)據(jù)管理技術(shù),同時(shí)Hadoop開(kāi)發(fā)團(tuán)隊(duì)正在開(kāi)發(fā)類似BigTable的開(kāi)源數(shù)據(jù)管理模塊。由于采用列存儲(chǔ)的方式管理數(shù)據(jù),如何提高數(shù)據(jù)的更新速率以及進(jìn)一步提高隨機(jī)讀速率是未來(lái)的數(shù)據(jù)管理技術(shù)必須解決的問(wèn)題。
4.3 編程模式
為了使用戶能更輕松的享受云計(jì)算帶來(lái)的服務(wù),讓用戶能利用該編程模型編寫(xiě)簡(jiǎn)單的程序來(lái)實(shí)現(xiàn)特定的目的,云計(jì)算上的編程模型必須十分簡(jiǎn)單。必須保證后臺(tái)復(fù)雜的并行執(zhí)行和任務(wù)調(diào)度向用戶和編程人員透明。云計(jì)算采用類似MAP
11、-Reduce的編程模式?,F(xiàn)在所有IT廠商提出的“云”計(jì)劃中采用的編程模型,都是基于MAP-Reduce的思想開(kāi)發(fā)的編程工具。MAP-Reduce不僅僅是一種編程模型,同時(shí)也是一種高效的任務(wù)調(diào)度模型。Map-Reduce這種編程模型并不僅適用于云計(jì)算,在多核和多處理器、cellprocessor、以及異構(gòu)機(jī)群上同樣有良好的性能[16,17,18]。該編程模式僅適用于編寫(xiě)任務(wù)內(nèi)部松耦合、能夠高度并行化的程序。如何改進(jìn)該編程模式,使程序員得能夠輕松的編寫(xiě)緊耦合的程序,運(yùn)行時(shí)能高效的調(diào)度和執(zhí)行任務(wù),是Map-Reduce編程模型未來(lái)的發(fā)展方向。
五、結(jié)語(yǔ)
綜上所述,云計(jì)算是一種新型的計(jì)算模式
12、。它的最主要特征是系統(tǒng)擁有大規(guī)模數(shù)據(jù)集、基于該數(shù)據(jù)集,向用戶提供服務(wù)。它使用大量的普通商用機(jī)來(lái)構(gòu)建系統(tǒng),通過(guò)冗余存儲(chǔ)的方式確保整個(gè)系統(tǒng)的可靠性和可用性。與傳統(tǒng)超級(jí)計(jì)算機(jī)在底層編程不同,數(shù)據(jù)密集計(jì)算的云系統(tǒng)上使用基于Map-Reduce的高級(jí)編程模式。這使得編程人員可以不用考慮底層的并行化方式,專心與程序的邏輯實(shí)現(xiàn)。普通用戶經(jīng)過(guò)簡(jiǎn)單的學(xué)習(xí),可以編寫(xiě)出滿足自身需要的簡(jiǎn)單程序。越來(lái)越多的IT廠商提出了自己的“云”計(jì)劃,并投入大量資金推動(dòng)云計(jì)算的發(fā)展。這恰恰為云計(jì)算提供了良好的發(fā)展機(jī)遇。雖然現(xiàn)在的云計(jì)算并不能完美地解決所有的問(wèn)題,但是在不久的將來(lái),一定會(huì)有越來(lái)越多的云計(jì)算系統(tǒng)投入實(shí)用,云計(jì)算系統(tǒng)也會(huì)不斷地被完善,并推動(dòng)其他科學(xué)技術(shù)的發(fā)展。