云計(jì)算架構(gòu)比較和關(guān)鍵技術(shù)講解.ppt
《云計(jì)算架構(gòu)比較和關(guān)鍵技術(shù)講解.ppt》由會(huì)員分享,可在線閱讀,更多相關(guān)《云計(jì)算架構(gòu)比較和關(guān)鍵技術(shù)講解.ppt(82頁珍藏版)》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。
云計(jì)算 ——Cloud Computing,,近年來,云計(jì)算已成為IT業(yè)界最熱門的研究方向之一。幾乎所有的主流IT廠商都在談?wù)撛朴?jì)算,既包括硬件廠商(IBM、英特爾等)、軟件開發(fā)商(微軟等),也包括互聯(lián)網(wǎng)服務(wù)提供商(Google、Amazon等)和電信運(yùn)營(yíng)商(AT&T、中國(guó)移動(dòng)等)。這些企業(yè)覆蓋了整個(gè)IT產(chǎn)業(yè)鏈,構(gòu)建了一個(gè)完整的云計(jì)算生態(tài)系統(tǒng)。,引言,2,,引言,什么是云計(jì)算?,3,云計(jì)算的最終目標(biāo)是將計(jì)算、服務(wù)和應(yīng)用作為一種公共設(shè)施提供給公眾,使人們能夠像使用水、電、煤氣和電話那樣使用計(jì)算機(jī)資源。,引言,4,云計(jì)算概述 云計(jì)算體系結(jié)構(gòu) 云計(jì)算關(guān)鍵技術(shù) 云計(jì)算研究現(xiàn)狀 云計(jì)算機(jī)遇與挑戰(zhàn) 云計(jì)算與分布式處理,目錄,5,1.1 云計(jì)算起源,2006年3月,亞馬遜推出彈性計(jì)算云服務(wù)。 2006年8月9日,Google首席執(zhí)行官埃里克施密特在搜索引擎大會(huì)首次提出“云計(jì)算”的概念。 2007年10月,Google與IBM開始在美國(guó)大學(xué)校園,推廣云計(jì)算的計(jì)劃,這項(xiàng)計(jì)劃希望能降低分散式計(jì)算技術(shù)在學(xué)術(shù)研究方面的成本,并為這些大學(xué)提供相關(guān)的軟硬件設(shè)備及技術(shù)支持。 2008年7月29日,雅虎、惠普和英特爾宣布一項(xiàng)涵蓋美國(guó)、德國(guó)和新加坡的聯(lián)合研究計(jì)劃,推出云計(jì)算研究測(cè)試床,推進(jìn)云計(jì)算。該計(jì)劃要與合作伙伴創(chuàng)建6個(gè)數(shù)據(jù)中心作為研究試驗(yàn)平臺(tái),每個(gè)數(shù)據(jù)中心配置1400個(gè)至4000個(gè)處理器。 2008年8月3日,戴爾正在申請(qǐng)“云計(jì)算” 商標(biāo)。戴爾在申請(qǐng)文件中稱,云計(jì)算是“在數(shù)據(jù)中心和巨型規(guī)模的計(jì)算環(huán)境中,為他人提供計(jì)算機(jī)硬件定制制造”。,6,1.1 云計(jì)算起源,2010年3月5日,Novell與云安全聯(lián)盟(CSA)共同宣布一項(xiàng)供應(yīng)商中立計(jì)劃,名為“可信任云計(jì)算計(jì)劃”。 2010年7月,美國(guó)國(guó)家航空航天局和包括Rackspace、AMD、Intel、戴爾等支持廠商共同宣布“OpenStack”開放源代碼計(jì)劃。 微軟在2010年10月表示支持OpenStack與Windows Server 2008 R2的集成;而Ubuntu已把OpenStack加至11.04版本中。 2011年2月,思科系統(tǒng)正式加入OpenStack,重點(diǎn)研制OpenStack的網(wǎng)絡(luò)服務(wù)。,7,1.1 云計(jì)算起源(續(xù)),計(jì)算資源的演進(jìn):從集中到分步再到集中,,,,計(jì)算時(shí)代,網(wǎng)絡(luò)時(shí)代,云時(shí)代,8,1.2 云計(jì)算發(fā)展路線,,9,,,,1.2.1 并行計(jì)算,,10,Parallel Computing 是指同時(shí)使用多種計(jì)算資源解決計(jì)算問題的過程,其主要目的是快速解決大型且復(fù)雜的計(jì)算問題 特點(diǎn):把計(jì)算任務(wù)分派給系統(tǒng)內(nèi)的多個(gè)運(yùn)算單元 并行機(jī)的多CPU和多存儲(chǔ)器 并行計(jì)算問題的特征 將工作分離成離散部分,有助于同時(shí)解決 隨時(shí)并及時(shí)地執(zhí)行多個(gè)程序指令(多CPU同時(shí)運(yùn)行) 多計(jì)算資源下解決問題的耗時(shí)要少于單個(gè)計(jì)算資源下的耗時(shí),1.2.2 分布式計(jì)算,,11,Distributed Computing 所謂分布式計(jì)算是一門計(jì)算機(jī)科學(xué),它研究如何把一個(gè)需要非常巨大的計(jì)算能力才能解決的問題分成許多小的部分,然后把這些部分分配給許多計(jì)算機(jī)進(jìn)行處理,最后把這些計(jì)算結(jié)果綜合起來得到最終的結(jié)果。 特點(diǎn):把計(jì)算任務(wù)分派給網(wǎng)絡(luò)中的多臺(tái)獨(dú)立的機(jī)器 優(yōu)點(diǎn): 稀有資源可以共享 通過分布式計(jì)算可以在多臺(tái)計(jì)算機(jī)上平衡計(jì)算負(fù)載 可以把程序放在最適合運(yùn)行它的計(jì)算機(jī)上,1.2.3 云計(jì)算,12,,,,硬件為中心,軟件為中心,服務(wù)為中心,數(shù)據(jù)在云端:不怕丟失,不必備份; 軟件在云端:不必下載自動(dòng)升級(jí); 無所不在的計(jì)算:在任何時(shí)間、任何地點(diǎn)、任何設(shè)備登錄即可進(jìn)行計(jì)算服務(wù); 強(qiáng)大的計(jì)算:空間大,快速度。,1.2.3 云計(jì)算(續(xù)),,13,電:從購買發(fā)電設(shè)備到購買電力服務(wù),信息:從購買軟硬件到購買信息服務(wù),發(fā)電機(jī),現(xiàn)代發(fā)電廠,,,計(jì)算,軟件,存儲(chǔ),,信息服務(wù)提供商,,,有了云計(jì)算,廣大用戶無需自購軟、硬件,甚至無需知道是誰提供的服務(wù),只關(guān)注自己真正需要什么樣的資源或者得到什么樣的服務(wù)。,1.3 云計(jì)算定義,維基百科:是一種基于互聯(lián)網(wǎng)的計(jì)算方式,通過這種方式,共享的軟硬件資源和信息可以按需提供給計(jì)算機(jī)和其他設(shè)備。 Google :將所有的計(jì)算和應(yīng)用放置在“云”中,設(shè)備終端不需要安裝任何東西,通過互聯(lián)網(wǎng)絡(luò)來分享程序和服務(wù)。 微軟:認(rèn)為云計(jì)算的應(yīng)是“云+端”的計(jì)算,將計(jì)算資源分散分布,部分資源放在云上,部分資源放在用戶終端,部分資源放在合作伙伴處,最終由用戶選擇合理的計(jì)算資源分布。 美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)實(shí)驗(yàn)室:云計(jì)算是一個(gè)提供便捷的通過互聯(lián)網(wǎng)訪問一個(gè)可定制的IT 資源共享池能力的按使用量付費(fèi)模式(IT 資源包括網(wǎng)絡(luò),服務(wù)器,存儲(chǔ),應(yīng)用,服務(wù)),這些資源能夠快速部署,并只需要很少的管理工作或很少的與服務(wù)供應(yīng)商的交互;,到目前為止, 云計(jì)算還沒有一個(gè)統(tǒng)一的定義。云計(jì)算領(lǐng)先者如Google、Microsoft 等IT 廠商,依據(jù)各自的利益和各自不同的研究視角都給出了對(duì)云計(jì)算的定義和理解。,14,1.3 云計(jì)算定義(續(xù)),狹義云計(jì)算 狹義云計(jì)算是指IT基礎(chǔ)設(shè)施的交付和使用模式,通過網(wǎng)絡(luò)以按需、易擴(kuò)展的方式獲得所需的資源(硬件、平臺(tái)、軟件)。 廣義云計(jì)算 廣義云計(jì)算是指服務(wù)的交付和使用模式,通過網(wǎng)絡(luò)以按需、易擴(kuò)展的方式獲得所需的服務(wù)。這種服務(wù)可以是IT和軟件、互聯(lián)網(wǎng)相關(guān)的,也可以是任意其它的服務(wù)。,15,1.4 云計(jì)算基本特征,16,1.5 云計(jì)算優(yōu)勢(shì),17,按需服務(wù),快速服務(wù),通用性,高可靠性,極其廉價(jià),超大規(guī)模,虛擬化,高擴(kuò)展性,1.6 云計(jì)算模式,18,軟件即服務(wù)(SaaS) ——Software as a Service 平臺(tái)即服務(wù)(PaaS) —— Platform as a Service 基礎(chǔ)設(shè)施既服務(wù)(IaaS) —— Infrastructure as a Service,1.6 云計(jì)算模式(續(xù)),19,服務(wù)多租賃化,平臺(tái)可伸縮化,資源虛擬化,云計(jì)算的服務(wù)體系,1.6.1 軟件即服務(wù)(SaaS),20,提供給客戶的服務(wù)是服務(wù)商運(yùn)行在云計(jì)算基礎(chǔ)設(shè)施上的應(yīng)用程序,可以在各種客戶端設(shè)備上通過瘦客戶端界面訪問,比如瀏覽器??蛻舨恍枰芾砘蚩刂频牡讓拥脑朴?jì)算基礎(chǔ)設(shè)施,包括網(wǎng)絡(luò)、服務(wù)器、操作系統(tǒng)、存儲(chǔ),甚至單個(gè)應(yīng)用程序的功能. 如:Google APPS、SoftWare+Services;,1.6.2 平臺(tái)即服務(wù)(PaaS),21,提供給客戶的是將客戶用供應(yīng)商提供的開發(fā)語言和工具(例如Java,python,.Net)創(chuàng)建的應(yīng)用程序部署到云計(jì)算基礎(chǔ)設(shè)施上去??蛻舨恍枰芾砘蚩刂频牡讓拥脑苹A(chǔ)設(shè)施,包括網(wǎng)絡(luò)、服務(wù)器、操作系統(tǒng)、存儲(chǔ),但客戶能控制部署的應(yīng)用程序,也可能控制應(yīng)用的托管環(huán)境配置。 如:IBM IT Factory、Google APPEngine、F;,SaaS & PaaS 示例,22,,,,,定制化硬件,集裝箱式數(shù)據(jù)中心,,云計(jì)算IT平臺(tái),Google應(yīng)用,,托管的第三方應(yīng)用,Google 云計(jì)算IT架構(gòu),搜索,廣告,VoIP/IM,地圖服務(wù),照片分享,郵件,視頻分享,辦公套件,日歷,GFS,BigTable,MapReduce,集群管理,-SaaS & PaaS,1.6.3 基礎(chǔ)設(shè)施即服務(wù)(IaaS),23,提供給客戶的是出租處理能力、存儲(chǔ)、網(wǎng)絡(luò)和其它基本的計(jì)算資源,用戶能夠部署和運(yùn)行任意軟件,包括操作系統(tǒng)和應(yīng)用程序??蛻舨还芾砘蚩刂频牡讓拥脑朴?jì)算基礎(chǔ)設(shè)施,但能控制操作系統(tǒng)、儲(chǔ)存、部署的應(yīng)用,也有可能選擇網(wǎng)絡(luò)組件(例如,防火墻,負(fù)載均衡器)。 如: Amazo Ec2、IBM Blue Cloud、Sun Grid;,實(shí)例,24,戰(zhàn)略:利用內(nèi)部IT資源平臺(tái),對(duì)外提供IT公用服務(wù) 作為云計(jì)算的推動(dòng)者,Amazon 歷經(jīng)2年多時(shí)間形成了基本成熟的云計(jì)算服務(wù),商業(yè)模式 計(jì)算,存儲(chǔ),帶寬等IT基礎(chǔ)設(shè)施出租 Web基礎(chǔ)能力,電子商務(wù)基本能力作為服務(wù)出租 按需使用,按需付費(fèi) 網(wǎng)上支付 客戶 互聯(lián)網(wǎng)應(yīng)用開發(fā)者 企業(yè)(納斯達(dá)克,紐約時(shí)報(bào)) 面向全球,目前主要集中在北美和歐洲,09年已經(jīng)啟動(dòng)中國(guó)市場(chǎng)拓展 合作伙伴 IBM、Microsoft、Oracle、Google、Apple,,,,,Amazon Technology Platform(計(jì)算,存儲(chǔ),網(wǎng)絡(luò)),EC2,S3,Simple DB,SQS,DevPay,FPS,MT,Alexa Search,FWS,Other…,計(jì)算,支付,訂單履行,搜索,人工智能,AWS – Amazon Web Services,存儲(chǔ),數(shù)據(jù)庫,消息隊(duì)列,計(jì)費(fèi),,,,,,,,,,其他設(shè)施能力,進(jìn)展 到08年11月為止,已經(jīng)有45萬開發(fā)者基于Amazon AWS開發(fā)Web應(yīng)用 存儲(chǔ)對(duì)象數(shù)從07年4月份50億增長(zhǎng)到08年10月份的290億,在一年半的時(shí)間里增長(zhǎng)6倍 08年云服務(wù)收入約4億美金,,25,1.7 云計(jì)算部署模式,26,部署層次的類型,27,1.7 云計(jì)算部署模式(續(xù)),1.8 云計(jì)算推動(dòng)力量,28,虛擬化技術(shù) 寬帶的普及 互聯(lián)網(wǎng)應(yīng)用增加 服務(wù)器瀏覽器開發(fā)技術(shù)的進(jìn)步 IT基礎(chǔ)設(shè)施利用率低下 數(shù)據(jù)中心能耗問題突出 IT管理與維護(hù)成本提高 ….,云計(jì)算的基本原理是通過使計(jì)算分布在大量的計(jì)算服務(wù)器上,而非本地計(jì)算機(jī)或遠(yuǎn)程服務(wù)器中,企業(yè)數(shù)據(jù)中心的運(yùn)行將更與互聯(lián)網(wǎng)相似。這使得企業(yè)能夠?qū)①Y源切換到需要的應(yīng)用上,根據(jù)需求訪問計(jì)算機(jī)和存儲(chǔ)系統(tǒng)。,2 云計(jì)算體系結(jié)構(gòu),29,2.1云計(jì)算體系邏輯結(jié)構(gòu),30,云用戶端:提供云用戶請(qǐng)求服務(wù)的交互界面,也是用戶使用云的入口,用戶通過Web瀏覽器可以注冊(cè)、登錄及定制服務(wù)、配置和管理用戶。打開應(yīng)用實(shí)例與本地操作桌面系統(tǒng)一樣。 服務(wù)目錄:云用戶在取得相應(yīng)的權(quán)限后可以選擇或定制的服務(wù)列表,也可以對(duì)已有服務(wù)進(jìn)行退訂的操作,在云用戶端界面生產(chǎn)相應(yīng)的圖標(biāo)或列表的形式展示相關(guān)服務(wù)。,2.1 云計(jì)算體系邏輯結(jié)構(gòu)(續(xù)),31,管理系統(tǒng)和部署工具:提供管理和服務(wù),能管理云用戶,能對(duì)用戶授權(quán)、認(rèn)證、登錄進(jìn)行管理,并可以管理可用計(jì)算資源和服務(wù),接收用戶發(fā)送的請(qǐng)求,根據(jù)用戶請(qǐng)求轉(zhuǎn)發(fā)相應(yīng)的程序,調(diào)度資源智能地部署資源和應(yīng)用,動(dòng)態(tài)部署、配置和回收資源。 監(jiān)控:監(jiān)控和計(jì)量云系統(tǒng)資源的使用情況,以便做出迅速反應(yīng),完成借點(diǎn)同步配置、負(fù)載均衡配置和資源監(jiān)控,確保資源能順利分配給合適的用戶。 服務(wù)器集群:虛擬的或物理的服務(wù)器,由管理系統(tǒng)來管理負(fù)載、高并發(fā)量的用戶請(qǐng)求處理、大運(yùn)算量計(jì)算處理、用戶Web應(yīng)用服務(wù),云數(shù)據(jù)存儲(chǔ)時(shí)采用相應(yīng)數(shù)據(jù)切割算法,采用并行方式上傳和下載大容量數(shù)據(jù)。 用戶可以通過云用戶端從列表中選擇所需的服務(wù),其請(qǐng)求通過管理系統(tǒng)調(diào)度相應(yīng)的資源,并通過部署工具分發(fā)請(qǐng)求、配置Web應(yīng)用。,2.2云計(jì)算技術(shù)系統(tǒng)結(jié)構(gòu),32,33,云計(jì)算技術(shù)體系結(jié)構(gòu)分為4層:物理資源層、資源池層、管理中間件層和SOA構(gòu)建層(如上圖); 物理資源層包括計(jì)算機(jī)、存儲(chǔ)器、網(wǎng)絡(luò)設(shè)施、數(shù)據(jù)庫和軟件等; 資源池層是將大量相同類型的資源構(gòu)成同構(gòu)或接近同構(gòu)的資源池,如計(jì)算資源池、數(shù)據(jù)資源池等。構(gòu)建資源池更多是物理資源的集成和管理工作,例如研究在一個(gè)標(biāo)準(zhǔn)集裝箱的空間如何裝下2000個(gè)服務(wù)器、解決散熱和故障節(jié)點(diǎn)替換的問題并降低能耗。,2.2云計(jì)算技術(shù)系統(tǒng)結(jié)構(gòu)(續(xù)),34,管理中間件負(fù)責(zé)對(duì)云計(jì)算的資源進(jìn)行管理,并對(duì)眾多應(yīng)用任務(wù)進(jìn)行調(diào)度,使資源能夠高效、安全地為應(yīng)用提供服務(wù); SOA構(gòu)建層將云計(jì)算能力封裝成標(biāo)準(zhǔn)的Web Services服務(wù),并納入到SOA體系進(jìn)行管理和使用,包括服務(wù)注冊(cè)、查找、訪問和構(gòu)建服務(wù)工作流等。管理中間件和資源池層是云計(jì)算技術(shù)的最關(guān)鍵部分,SOA構(gòu)建層的功能更多依靠外部設(shè)施提供。,2.2云計(jì)算技術(shù)系統(tǒng)結(jié)構(gòu)(續(xù)),35,計(jì)算的管理中間件負(fù)責(zé)資源管理、任務(wù)管理、用戶管理和安全管理等工作。 資源管理負(fù)責(zé)均衡地使用云資源節(jié)點(diǎn),檢測(cè)節(jié)點(diǎn)的故障并試圖恢復(fù)或屏蔽之,并對(duì)資源的使用情況進(jìn)行監(jiān)視統(tǒng)計(jì); 任務(wù)管理負(fù)責(zé)執(zhí)行用戶或應(yīng)用提交的任務(wù),包括完成用戶任務(wù)映象(Image)的部署和管理、任務(wù)調(diào)度、任務(wù)執(zhí)行、任務(wù)生命期管理等等;,2.2云計(jì)算技術(shù)系統(tǒng)結(jié)構(gòu)(續(xù)),36,用戶管理是實(shí)現(xiàn)云計(jì)算商業(yè)模式的一個(gè)必不可少的環(huán)節(jié),包括提供用戶交互接口、管理和識(shí)別用戶身份、創(chuàng)建用戶程序的執(zhí)行環(huán)境、對(duì)用戶的使用進(jìn)行計(jì)費(fèi)等; 安全管理保障云計(jì)算設(shè)施的整體安全,包括身份認(rèn)證、訪問授權(quán)、綜合防護(hù)和安全審計(jì)等。,2.2云計(jì)算技術(shù)系統(tǒng)結(jié)構(gòu)(續(xù)),2.3 云計(jì)算和下一代IT架構(gòu),37,集成&開發(fā),用戶界面 & 接口,,虛擬應(yīng)用,強(qiáng)化: 減少費(fèi)用 & 提高質(zhì)量,虛擬化: 簡(jiǎn)單接入, 提高終端用戶管理 & 使用最大化,自動(dòng)化: 提高速度和預(yù)言性 & 減少勞動(dòng)力,38,商業(yè)流程,集成&開發(fā),,虛擬信息,虛擬存儲(chǔ),虛擬進(jìn)程,底層結(jié)構(gòu)虛擬,,,虛擬應(yīng)用,云計(jì)算應(yīng)用 (“Software-as-a-Service”),用戶界面 & 接口,2.3 云計(jì)算和下一代IT架構(gòu)(續(xù)),39,Integration, Event & Deployment,,協(xié)作消息,,集成&開發(fā),,,,,云平臺(tái) (“Platform-as-a-Service”),商業(yè)流程,用戶界面 & 接口,虛擬應(yīng)用,虛擬信息,底層結(jié)構(gòu)虛擬,虛擬存儲(chǔ),虛擬進(jìn)程,2.3 云計(jì)算和下一代IT架構(gòu)(續(xù)),40,,,協(xié)作/消息,商業(yè)流程,用戶界面 & 接口,,虛擬應(yīng)用,,虛擬信息,集成 & 開發(fā),云協(xié)作,2.3 云計(jì)算和下一代IT架構(gòu)(續(xù)),41,商業(yè)流程,,協(xié)作/消息,服務(wù)/資源管理 & 安全,集成 & 開發(fā),用戶界面 & 接口,,虛擬應(yīng)用,,虛擬信息,,,,虛擬 存儲(chǔ),虛擬 進(jìn)程,底層結(jié)構(gòu)虛擬,2.3 云計(jì)算和下一代IT架構(gòu)(續(xù)),42,服務(wù)/資源管理 & 安全,,,協(xié)作/消息,商業(yè)流程,用戶界面 & 接口,,,虛擬應(yīng)用,,Virtualized Information,,,,,底層結(jié)構(gòu)虛擬,,虛擬 進(jìn)程,,虛擬 存儲(chǔ),集成 & 開發(fā),,,,,虛擬信息,基礎(chǔ)設(shè)施 (“Infrastructure-as-a-Service”) 軟件 (“Software-as-a-Service”),,2.3 云計(jì)算和下一代IT架構(gòu)(續(xù)),43,Service/Resource Mgmt & Security,,,協(xié)作/消息,商業(yè)流程,用戶界面 & 接口,,,虛擬應(yīng)用,Virtualized Information,,,,,底層虛擬結(jié)構(gòu),,虛擬進(jìn)程,,虛擬儲(chǔ)存,集成 & 開發(fā),,,,,虛擬信息,43,2.3 云計(jì)算和下一代IT架構(gòu)(續(xù)),虛擬化技術(shù) 分布式技術(shù) 數(shù)據(jù)中心構(gòu)建技術(shù) 云計(jì)算安全技術(shù) 云計(jì)算編程模型 …….,3. 云計(jì)算關(guān)鍵技術(shù),44,云計(jì)算的目標(biāo)是以低成本的方式提供高可靠、高可用、規(guī)??缮炜s的個(gè)性化服務(wù)。為了達(dá)到這個(gè)目標(biāo),需要數(shù)據(jù)中心管理、虛擬化、海量數(shù)據(jù)處理、資源管理與調(diào)度、QoS 保證、安全與隱私保護(hù)等若干關(guān)鍵技術(shù)加以支持。,云計(jì)算與相關(guān)技術(shù)的聯(lián)系,45,46,云計(jì)算體系架構(gòu),IaaS 層是云計(jì)算的基礎(chǔ)。通過建立大規(guī)模數(shù)據(jù)中心,IaaS 層為上層云計(jì)算服務(wù)提供海量硬件資源。同時(shí),在虛擬化技術(shù)的支持下,IaaS 層可以實(shí)現(xiàn)硬件資源的按需配置,并提供個(gè)性化的基礎(chǔ)設(shè)施服務(wù)。 主要研究問題: 如何建設(shè)低成本、高效能的數(shù)據(jù)中心; 如何拓展虛擬化技術(shù),實(shí)現(xiàn)彈性、可靠的基礎(chǔ)設(shè)施服務(wù)。,3.1 IaaS 層關(guān)鍵技術(shù),47,數(shù)據(jù)中心相關(guān)技術(shù),48,,,,消除異構(gòu)化系統(tǒng)之間障礙 快速動(dòng)態(tài)部署資源和服務(wù),云計(jì)算平臺(tái)對(duì)資源的獨(dú)立,兼容各類應(yīng)用平臺(tái) 計(jì)算,存儲(chǔ),網(wǎng)絡(luò)資源的智能化統(tǒng)一管理 面向業(yè)務(wù)的資源的定制化部署,虛擬化技術(shù)與綠色科技結(jié)合,降低能耗 先進(jìn)、高效、智能的系統(tǒng)散熱方案 智能化的環(huán)境控制和能效管理系統(tǒng),,,,,虛擬化提高資源利用率, 簡(jiǎn)化管理維度,節(jié)省維護(hù)成本 支持異構(gòu)資源兼容,實(shí)現(xiàn)業(yè)務(wù)的平滑升級(jí),,下一代數(shù)據(jù)中心的特征,基于云計(jì)算 的基礎(chǔ)架構(gòu),虛擬化,智能,綠色,低成本,與傳統(tǒng)的企業(yè)數(shù)據(jù)中心不同,云計(jì)算數(shù)據(jù)中心具有以下特點(diǎn) 自治性。 規(guī)模經(jīng)濟(jì)。 規(guī)??蓴U(kuò)展。 研究重點(diǎn): ① 數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計(jì) 以低成本、高帶寬、高可靠的方式連接大規(guī)模計(jì)算節(jié)點(diǎn); ② 數(shù)據(jù)中心節(jié)能技術(shù),數(shù)據(jù)中心相關(guān)技術(shù),49,虛擬化技術(shù),50,虛擬化(Virtualization) 是將計(jì)算機(jī)物理資源如服務(wù)器、網(wǎng)絡(luò)、內(nèi)存及存儲(chǔ)等予以抽象、轉(zhuǎn)換后呈現(xiàn)出來,使用戶可以采用比原本的組態(tài)更好的方式來應(yīng)用這些資源。這些資源的新虛擬部份是不受現(xiàn)有資源的架設(shè)方式,地域或物理組態(tài)所限制。 包括: 軟件虛擬化 硬件輔助虛擬化 操作系統(tǒng)級(jí)虛擬化,虛擬化技術(shù),51,,非虛擬化環(huán)境 難以管理 無靈活性 投資回報(bào)率低 眾多分立的采購,虛擬化技術(shù),52,數(shù)據(jù)中心為云計(jì)算提供了大規(guī)模資源。為了實(shí)現(xiàn)基礎(chǔ)設(shè)施服務(wù)的按需分配,需要研究虛擬化技術(shù)。虛擬化是IaaS 層的重要組成部分,也是云計(jì)算的最重要特點(diǎn)。虛擬化技術(shù)可以提供以下特點(diǎn)。 資源分享 資源定制 細(xì)粒度資源管理 為了進(jìn)一步滿足云計(jì)算彈性服務(wù)和數(shù)據(jù)中心自治性的需求,需要研究虛擬機(jī)快速部署和在線遷移技術(shù)。 虛擬機(jī)快速部署技術(shù) 虛擬機(jī)在線遷移技術(shù),PaaS 層作為3 層核心服務(wù)的中間層,既為上層應(yīng)用提供簡(jiǎn)單、可靠的分布式編程框架,又需要基于底層的資源信息調(diào)度作業(yè)、管理數(shù)據(jù),屏蔽底層系統(tǒng)的復(fù)雜性。隨著數(shù)據(jù)密集型應(yīng)用的普及和數(shù)據(jù)規(guī)模的日益龐大,PaaS 層需要具備存儲(chǔ)與處理海量數(shù)據(jù)的能力。 主要技術(shù)包括: 海量數(shù)據(jù)存儲(chǔ)與處理技術(shù) 資源管理與調(diào)度技術(shù),3.2 PaaS 層關(guān)鍵技術(shù),53,海量數(shù)據(jù)存儲(chǔ)技術(shù) 云計(jì)算環(huán)境中的海量數(shù)據(jù)存儲(chǔ)既要考慮存儲(chǔ)系統(tǒng)的I/O 性能,又要保證文件系統(tǒng)的可靠性與可用性。如為Google 設(shè)計(jì)了GFS(google file system),GFS 對(duì)其應(yīng)用環(huán)境做了6 點(diǎn)假設(shè): ①系統(tǒng)架設(shè)在容易失效的硬件平臺(tái)上; ②需要存儲(chǔ)大量GB 級(jí)甚至TB 級(jí)的大文件; ③文件讀操作以大規(guī)模的流式讀和小規(guī)模的隨機(jī)讀構(gòu)成; ④文件具有一次寫多次讀的特點(diǎn); ⑤系統(tǒng)需要有效處理并發(fā)的追加寫操作; ⑥高持續(xù)I/O 帶寬比低傳輸延遲重要。,海量數(shù)據(jù)存儲(chǔ)與處理技術(shù),54,海量數(shù)據(jù)存儲(chǔ)與處理技術(shù),55,GFS 執(zhí)行流程,數(shù)據(jù)處理技術(shù)與編程模型 PaaS 平臺(tái)不僅要實(shí)現(xiàn)海量數(shù)據(jù)的存儲(chǔ),而且要提供面向海量數(shù)據(jù)的分析處理功能。由于PaaS 平臺(tái)部署于大規(guī)模硬件資源上,所以海量數(shù)據(jù)的分析處理需要抽象處理過程,并要求其編程模型支持規(guī)模擴(kuò)展,屏蔽底層細(xì)節(jié)并且簡(jiǎn)單有效。 如:MapReduce 是Google 提出的并行程序編程模型,海量數(shù)據(jù)存儲(chǔ)與處理技術(shù),56,MapReduce 的執(zhí)行過程,副本管理技術(shù) 任務(wù)調(diào)度算法 任務(wù)容錯(cuò)機(jī)制,資源管理與調(diào)度技術(shù),57,為了使云計(jì)算核心服務(wù)高效、安全地運(yùn)行,需要服務(wù)管理技術(shù)加以支持。服務(wù)管理技術(shù)包括: QoS保證機(jī)制 安全與隱私保護(hù)技術(shù) 資源監(jiān)控技術(shù) 服務(wù)計(jì)費(fèi)模型 ….,3.3 服務(wù)管理層,58,4. 云計(jì)算研究現(xiàn)狀,59,IBM:藍(lán)云計(jì)劃 谷歌:Google App Engine 亞馬遜:彈性計(jì)算云Elastic Compute Cloud (EC2) 微軟:Windows Azure platform 惠普、英特爾、雅虎:Open Cirrus云計(jì)算測(cè)試平臺(tái) Salesforce:軟件服務(wù)提供商 …,4. 云計(jì)算研究現(xiàn)狀,60,4. 云計(jì)算研究現(xiàn)狀,61,Google 101 計(jì)劃:卡耐基梅隆大學(xué),MIT,斯坦福大學(xué),加利福尼亞大學(xué)伯克利分校,馬里蘭大學(xué)和華盛頓大學(xué)。 學(xué)生們學(xué)習(xí)如何調(diào)整自己的程序來適應(yīng)Google計(jì)算機(jī),并雄心勃勃地設(shè)計(jì)開發(fā)網(wǎng)絡(luò)規(guī)模的項(xiàng)目 這些數(shù)據(jù)可能用于開發(fā)新藥品和療法、制造新的清潔能源、甚至預(yù)測(cè)地震 2007年一年就增加了4個(gè)新的數(shù)據(jù)中心,平均每個(gè)成本達(dá)6億美元,4. 云計(jì)算研究現(xiàn)狀,62,Google,4. 云計(jì)算研究現(xiàn)狀,63,Google App Engine,4. 云計(jì)算研究現(xiàn)狀,64,Google App Engine,Google App Engine 提供運(yùn)行和開發(fā)的基礎(chǔ)平臺(tái),允許開發(fā)人員編寫網(wǎng)絡(luò)應(yīng)用,上傳至App Engine部署運(yùn)行 支持Java和Python兩種開發(fā)語言 App Engine 應(yīng)用程序易于構(gòu)建和維護(hù),并可根據(jù)訪問量和數(shù)據(jù)存儲(chǔ)需要,進(jìn)行伸縮。 將應(yīng)用程序隔離在它自己的安全可靠環(huán)境中,該環(huán)境與網(wǎng)絡(luò)服務(wù)器的硬件、操作系統(tǒng)和物理位置無關(guān),4. 云計(jì)算研究現(xiàn)狀,65,云計(jì)算時(shí)代的分布并行編程技術(shù) 分布并行數(shù)據(jù)處理技術(shù) Google MapReduce Hadoop MapReduce 分布式文件系統(tǒng) Google File System Hadoop Distributed File System 分布式數(shù)據(jù)庫 Google BigTable Hadoop HBase,云計(jì)算的分布并行編程技術(shù),4. 云計(jì)算研究現(xiàn)狀,66,分布并行數(shù)據(jù)處理,MapReduce 用于大規(guī)模數(shù)據(jù)并行處理 數(shù)據(jù)量大(超過1TB) 在成百上千個(gè)CPU上并行處理 用戶只需實(shí)現(xiàn)下面接口 map (in_key, in_value) - (out_key, intermediate_value) list reduce (out_key, intermediate_value list) - out_value list,分布并行數(shù)據(jù)處理(續(xù)),67,,MapReduce架構(gòu),4. MapReduce實(shí)現(xiàn)原理,68,,分布式文件系統(tǒng),69,Google File System(GFS) 需求:在廉價(jià)、相對(duì)不可靠的計(jì)算機(jī)上對(duì)巨量數(shù)據(jù)進(jìn)行冗余存儲(chǔ)。 為什么不用現(xiàn)有的文件系統(tǒng)?--Google面對(duì)特殊的挑戰(zhàn) 文件較大,每個(gè)都在100M以上,通常為幾個(gè)GB 文件通常需要頻繁的追加 用流方式讀取 高吞吐量 低延遲 針對(duì)上述問題,GFS在文件系統(tǒng)性能和可伸縮性方面進(jìn)行了優(yōu)化設(shè)計(jì)。,Google文件系統(tǒng)(GFS),70,Google 48%,MSN 19%,Yahoo 33%,,,,,客戶端,,互為備份,管理節(jié)點(diǎn),,,GFS主節(jié)點(diǎn),,GFS主節(jié)點(diǎn),,C0,,C1,,C2,,C5,,數(shù)據(jù)結(jié)點(diǎn)1,,C0,,C2,,C5,,數(shù)據(jù)結(jié)點(diǎn)N,,C1,,,C5,,數(shù)據(jù)結(jié)點(diǎn)2,…,,,,,,,,,,,,,,,,,C1,分布式文件系統(tǒng)(續(xù)),71,GFS的設(shè)計(jì)理念 文件用塊存儲(chǔ) 每個(gè)塊固定為64MB 通過冗余解決可靠性問題 每個(gè)塊同時(shí)拷貝在3個(gè)塊服務(wù)器上 主服務(wù)器負(fù)責(zé)協(xié)調(diào)訪問和保存元數(shù)據(jù) 簡(jiǎn)單化的集中管理 定制化的API 無數(shù)據(jù)緩存 較大文件塊和流式讀取使得緩存效果不佳,分布式數(shù)據(jù)庫系統(tǒng),72,Google BigTable 為了處理Google內(nèi)部大量的格式化以及半格式化數(shù)據(jù)而構(gòu)建的大規(guī)模分布式數(shù)據(jù)庫管理系統(tǒng) 特點(diǎn) 面向大規(guī)模處理、容錯(cuò)性強(qiáng)的自我管理系統(tǒng),擁有TB級(jí)的內(nèi)存和PB級(jí)的存儲(chǔ)能力,每秒可以處理數(shù)百萬的讀寫操作 能夠保存記錄的不同時(shí)段的版本 構(gòu)建于GFS和MapReduce基礎(chǔ)之上,分布式數(shù)據(jù)庫系統(tǒng)(續(xù)),73,BigTable的設(shè)計(jì)理念 面向網(wǎng)頁數(shù)據(jù)的發(fā)布、搜索和瀏覽等特定處理的需要,簡(jiǎn)化數(shù)據(jù)管理系統(tǒng)的設(shè)計(jì),并提高性能 不支持關(guān)聯(lián) 不支持SQL查詢 簡(jiǎn)化數(shù)據(jù)的一致性管理 網(wǎng)頁數(shù)據(jù)的管理對(duì)一致性要求不高 簡(jiǎn)化事務(wù)管理 網(wǎng)頁數(shù)據(jù)的處理(搜索、發(fā)布)對(duì)事務(wù)管理要求不高 面向海量數(shù)據(jù)管理要求 設(shè)計(jì)分割和合并管理機(jī)制(基于元數(shù)據(jù)) 設(shè)計(jì)自動(dòng)伸縮功能(根據(jù)數(shù)據(jù)量調(diào)整資源用量),分布式數(shù)據(jù)庫系統(tǒng)(續(xù)),74,BigTable架構(gòu),國(guó)內(nèi)云計(jì)算企業(yè),75,,5. 云計(jì)算的機(jī)遇與挑戰(zhàn),76,近年來,云計(jì)算技術(shù)得到了快速發(fā)展。 隨著它對(duì)人們?nèi)粘I畹挠绊懺絹碓缴钊?,云?jì)算最終使得計(jì)算和存儲(chǔ)成為一種公共資源,像水、電一樣滲透到人們生活的各個(gè)方面。 與此同時(shí),新的應(yīng)用需求不斷出現(xiàn),比如實(shí)時(shí)搜索,在線推薦系統(tǒng),社交網(wǎng)絡(luò)分析等應(yīng)用,將給云計(jì)算技術(shù)帶來新的挑戰(zhàn)。,5. 云計(jì)算的機(jī)遇與挑戰(zhàn),77,云計(jì)算和移動(dòng)互聯(lián)網(wǎng)的結(jié)合 云計(jì)算與科學(xué)計(jì)算的結(jié)合 端到云的海量數(shù)據(jù)傳輸 大規(guī)模應(yīng)用的部署與調(diào)試 新型的應(yīng)用對(duì)數(shù)據(jù)存儲(chǔ)量的要求更大 應(yīng)用的復(fù)雜度和實(shí)時(shí)性要求越來越高 應(yīng)用對(duì)數(shù)據(jù)隨機(jī)訪問的速度越來越高,6. 云計(jì)算與分布式處理,78,集中式:采用工作站/終端通過網(wǎng)絡(luò)/電纜共享大型計(jì)算機(jī)的計(jì)算與存儲(chǔ)資源; 分布式:在一個(gè)局域網(wǎng)中,每一臺(tái)機(jī)器既是一臺(tái)工作站,又是一臺(tái)服務(wù)器,沒有主—從之分,也就是人們常說的P2P模式。整個(gè)系統(tǒng)在用戶看來就是一臺(tái)存儲(chǔ)容量大、計(jì)算能力強(qiáng)的虛擬機(jī)。 云計(jì)算:在互聯(lián)網(wǎng)中,由多臺(tái)計(jì)算(應(yīng)用)服務(wù)器和數(shù)據(jù)庫(存儲(chǔ))服務(wù)器組成的,6. 云計(jì)算與分布式處理,79,一臺(tái)存儲(chǔ)容量大、技術(shù)能力強(qiáng)的虛擬機(jī),分布式存儲(chǔ)及分布式計(jì)算模型是云計(jì)算體系架構(gòu)中的核心。 云計(jì)算技術(shù)與分布式處理技術(shù)的異同 相同之處:兩者都提供了一臺(tái)存儲(chǔ)容量大、技術(shù)能力強(qiáng)的虛擬機(jī)。 不同之處:分布式處理技術(shù)是P2P模式,在虛擬機(jī)上的用戶程序被分成多個(gè)模塊透明,6. 云計(jì)算與分布式處理,80,地分發(fā)到任意多臺(tái)機(jī)器上,通過它們之間的交互和協(xié)作共同完成用戶的程序。用戶的文件/數(shù)據(jù)存方在任意多臺(tái)機(jī)器上的存儲(chǔ)器中,可供透明地進(jìn)行訪問和修改。所有機(jī)器上的負(fù)載基本保持平衡。 而云計(jì)算技術(shù)是用戶通過虛擬機(jī)調(diào)用存放在存儲(chǔ)器群中的程序,該程序被透明地分發(fā)到任意一臺(tái)計(jì)算服務(wù)器上執(zhí)行,以保持計(jì)算服務(wù)器群的負(fù)載基本平衡。用戶的文,6. 云計(jì)算與分布式處理,81,文件/程序/數(shù)據(jù)存放在任意多臺(tái)存儲(chǔ)器中,可供透明地訪問和修改。 總而言之,分布式處理技術(shù)是云計(jì)算技術(shù)的基礎(chǔ),而在分布式處理技術(shù)基礎(chǔ)上發(fā)展起來的云計(jì)算技術(shù)是一種基于互聯(lián)網(wǎng)的集中分布式處理技術(shù)。,謝謝大家!,計(jì)算機(jī)科學(xué)與計(jì)算學(xué)院,- 1.請(qǐng)仔細(xì)閱讀文檔,確保文檔完整性,對(duì)于不預(yù)覽、不比對(duì)內(nèi)容而直接下載帶來的問題本站不予受理。
- 2.下載的文檔,不會(huì)出現(xiàn)我們的網(wǎng)址水印。
- 3、該文檔所得收入(下載+內(nèi)容+預(yù)覽)歸上傳者、原創(chuàng)作者;如果您是本文檔原作者,請(qǐng)點(diǎn)此認(rèn)領(lǐng)!既往收益都?xì)w您。
下載文檔到電腦,查找使用更方便
14.9 積分
下載 |
- 配套講稿:
如PPT文件的首頁顯示word圖標(biāo),表示該P(yáng)PT已包含配套word講稿。雙擊word圖標(biāo)可打開word文檔。
- 特殊限制:
部分文檔作品中含有的國(guó)旗、國(guó)徽等圖片,僅作為作品整體效果示例展示,禁止商用。設(shè)計(jì)者僅對(duì)作品中獨(dú)創(chuàng)性部分享有著作權(quán)。
- 關(guān) 鍵 詞:
- 計(jì)算 架構(gòu) 比較 關(guān)鍵技術(shù) 講解
鏈接地址:http://www.3dchina-expo.com/p-2336482.html