《面向云計算數(shù)據(jù)中心的綠色軟件挑戰(zhàn)》由會員分享，可在線閱讀，更多相關(guān)《面向云計算數(shù)據(jù)中心的綠色軟件挑戰(zhàn)（30頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、面向云計算數(shù)據(jù)中心的綠色軟件挑戰(zhàn),孫毓忠 中國科學(xué)院計算機(jī)系統(tǒng)結(jié)構(gòu)重點(diǎn)實驗室 Email: Tel:010-6260 0640 Website：, then Click “OS group”,內(nèi)容綱要,綠色軟件是綠色數(shù)據(jù)中心的關(guān)鍵 數(shù)據(jù)中心與HPC計算的統(tǒng)一 黑色軟件的根源 軟件綠色之路,國家戰(zhàn)略需求:基于數(shù)據(jù)中心的云計算,面向數(shù)據(jù)中心的超級計算模式,基礎(chǔ)架構(gòu)基于Internet的大規(guī)模高效能、可信的數(shù)據(jù)、計算超級環(huán)境,Internet,圍繞重大需求的活動,超級計算模式的挑戰(zhàn)： 計算系統(tǒng)日益膨脹導(dǎo)致的高能耗； 軟件系統(tǒng)日益復(fù)雜導(dǎo)致的高阻尼性； 處理器多核化呼吁軟件的高擴(kuò)展性。,挑戰(zhàn)1、超級計算

2、環(huán)境能耗的嚴(yán)迫性,李國杰院士，“改變信息科學(xué)技術(shù)的重點(diǎn)研究方向”， 2008年人民大會堂諾貝爾獎報告,挑戰(zhàn)2、軟件對硬件能力的阻尼性,軟件疊架高耗,應(yīng)用層的Read在Linux內(nèi)核中的單向20次以上的調(diào)用,系統(tǒng)軟件阻尼效應(yīng)的宏觀實例：中間件阻尼開銷,數(shù)據(jù)庫讀寫與文件系統(tǒng)讀寫比較 平臺 CentOS5.1 對比對象 MySQL數(shù)據(jù)庫中的操作：mysqldump --quick 采用SQL級別的備份機(jī)制，將數(shù)據(jù)表導(dǎo)成create table/insert等SQL語句 文件系統(tǒng)中對應(yīng)的操作：cp 簡單的文件復(fù)制，不考慮數(shù)據(jù)表的結(jié)構(gòu) 數(shù)據(jù)表大小 約700M 實驗設(shè)計 每組實驗進(jìn)行兩次，第二次備份的數(shù)據(jù)

3、被cache住 結(jié)論：功能增加以功耗和延遲為代價,Dtable=Bigtable+file system+database, “Modular data storage with Anvil”, Mike Mammarella, Shant Hovsepian, Eddie Kohler ,ACM SOSP09,,系統(tǒng)軟件阻尼效應(yīng)的宏觀實例：數(shù)據(jù)庫讀寫與文件系統(tǒng)讀寫比較(續(xù)),比較結(jié)果（cp比mysqldump）： Latency縮短4倍左右 動態(tài)能耗（負(fù)載對應(yīng)的能耗）降低4倍左右,挑戰(zhàn)3、處理器多核化與軟件 擴(kuò)展性的矛盾,綠色軟件:綠色數(shù)據(jù)中心的關(guān)鍵,處理器多核化降低了超級計算環(huán)境的效能：

4、Gelsingers Law：2x 晶體管數(shù)目 = 1.4x性能; 解決能耗問題高效能的系統(tǒng)軟件： 原則：超級計算環(huán)境高“效”解決其高能耗； 方法：提高超級計算環(huán)境的有效計算比例； 手段：芯片及系統(tǒng)級體系結(jié)構(gòu)、 系統(tǒng)軟件、應(yīng)用。 系統(tǒng)軟件的疊架高耗導(dǎo)致CPU指令流中有 效計算小于6%（ William J. Dally ELM）。,,,大膽推理,曙光5000A： 230T/180.6T 700KW： 節(jié)能94%？,超級計算模式下的綠色軟件挑戰(zhàn)： 降低數(shù)據(jù)中心能耗100倍!,內(nèi)容綱要,綠色軟件是綠色數(shù)據(jù)中心的關(guān)鍵 數(shù)據(jù)中心與HPC計算的統(tǒng)一 黑色軟件的根源 軟件綠色之路,計算機(jī)體系結(jié)構(gòu)的再

5、認(rèn)識,學(xué)科方向計算機(jī)體系結(jié)構(gòu) 計算機(jī)系統(tǒng)（system，從硬件的角度，如計算所的HPP體系結(jié)構(gòu)）； 系統(tǒng)軟件（system software，從軟件的角度，如運(yùn)行于HPP之上的操作系統(tǒng)、文件系統(tǒng)、運(yùn)行環(huán)境）； 計算理論（computing paradigm and model，從理論的角度，如LogP和BSP）。,SEECI:數(shù)據(jù)/計算中心的融合,形成圍繞計算機(jī)體系結(jié)構(gòu)的研究體系 計算機(jī)系統(tǒng)： Google-like和HPC融合通用可重構(gòu)計算體系結(jié)構(gòu)SEECI，同時開發(fā)應(yīng)用并發(fā)性與并行性: Interconnection network：RCR、 GBlockShiftN 、 BSWRN（TP

6、DS，第一著者）； Generalized Cluster== Processors + mem bandwidth + disk bandwidth via CPU + GPGPU, in Xpflops HPC and Google servers== Unlimited virtual Von Newman machine; Multi/many-core CPU + GPGPU==XPU with FPGA reconfigurable functionality at arbitrary scale； Social Energy-Efficient Computing Infrast

7、ructure == Green Reconfigurable networked sys software + Reconfigurable architecture with reconfigurable processors;,內(nèi)容綱要,綠色軟件是綠色數(shù)據(jù)中心的關(guān)鍵 數(shù)據(jù)中心與HPC計算的統(tǒng)一 黑色軟件的根源 軟件綠色之路,認(rèn)識高效能挑戰(zhàn)的多維性,從部件與系統(tǒng)的角度： 以多核為代表的部件能耗挑戰(zhàn)； 以多核為基本部件的超級計算平臺能耗挑戰(zhàn)； 從莫爾定律的角度： 多核芯片莫爾定律利用的效能性； 基于多核部件的超級計算平臺莫爾定律的效能性； 從應(yīng)用效能的角度： 軟件對系統(tǒng)硬件莫爾定律的阻尼性執(zhí)

8、行效能墻； 多核超級計算平臺系統(tǒng)軟件的可靠性與可信性。,觀點(diǎn)：效能的重大挑戰(zhàn)在軟件Wirths law,Software is getting slower more rapidly than hardware becomes faster。 In his 1995 paper “A Plea for Lean Software ”he attributes it to Martin Reiser.,Book“ Algorithms + Data Structures = Programs ”,系統(tǒng)軟件“執(zhí)行效能墻”,系統(tǒng)軟件低效能執(zhí)行效能墻,,,內(nèi)存墻,I/O墻（磁盤墻）,計算墻,編程墻,復(fù)

9、雜性墻,可靠性墻,多個應(yīng)用程序的并發(fā)操作,內(nèi)容綱要,綠色軟件是綠色數(shù)據(jù)中心的關(guān)鍵 數(shù)據(jù)中心與HPC計算的統(tǒng)一 黑色軟件的根源 軟件綠色之路,綠色軟件的科學(xué)問題,科學(xué)問題固化軟件與應(yīng)用算法和硬件多樣性的失配導(dǎo)致軟件對硬件Moore定律產(chǎn)生日益強(qiáng)大的阻尼效益，產(chǎn)生新的軟件挑戰(zhàn)-軟件的執(zhí)行效能墻，阻礙了能量在應(yīng)用算法、軟件與硬件間的高效流動，導(dǎo)致每瓦有效操作的低下。因此，必須考慮重新思考軟件設(shè)計方法學(xué)和軟件本身的機(jī)構(gòu)、機(jī)制，即需要綠色軟件。,綠色軟件的4大挑戰(zhàn),1、編程墻問題的挑戰(zhàn)：程序=算法+數(shù)據(jù)結(jié)構(gòu)，這里異構(gòu)的算法和數(shù)據(jù)結(jié)構(gòu)的設(shè)計必須考慮其下的計算平臺和環(huán)境的異構(gòu)、并發(fā)、擴(kuò)展性、可用性、可移植性

10、等特征，從而導(dǎo)致軟件生產(chǎn)的高效性與分布式計算環(huán)境的異構(gòu)與并發(fā)性間的矛盾，研究目標(biāo)：在千百萬并行計算單元上處理千百萬級并發(fā)操作，研究內(nèi)容： a)算法的并發(fā)性/異構(gòu)性與執(zhí)行的并發(fā)性/異構(gòu)性相融合的編程語言； b)異構(gòu)算法的并發(fā)性與并行性的機(jī)制與原理； c)異構(gòu)并發(fā)算法的并行執(zhí)行的機(jī)制與原理。,綠色軟件的4大挑戰(zhàn)（續(xù)）,2、無限擴(kuò)展性的挑戰(zhàn)：算法在設(shè)計的時候必須考慮其要求解問題的規(guī)模，必須考慮求解問題的計算規(guī)模和復(fù)雜度，必須考慮計算對應(yīng)的數(shù)據(jù)空間的無限性，從而導(dǎo)致軟件自身在可信性、可靠性、擴(kuò)展性、動態(tài)性、演化性、分布性、并發(fā)性、并行性等方面的矛盾，研究目標(biāo)：無限可擴(kuò)展軟件的復(fù)雜度下降1個數(shù)量級，內(nèi)容

11、： a)可無限擴(kuò)展軟件的體系結(jié)構(gòu)、運(yùn)行機(jī)制、原理與設(shè)計方法學(xué)； b)無限數(shù)據(jù)空間與無限計算空間在多尺度下交互的機(jī)制、原理與方法； c)多特征（如可信性、可靠性、擴(kuò)展性、動態(tài)性、演化性、分布性、并發(fā)性、并行性）軟件的運(yùn)行機(jī)制、原理與設(shè)計方法學(xué)。,綠色軟件的4大挑戰(zhàn)（續(xù)）,3、能量有效性的挑戰(zhàn)：物質(zhì)資源、能量資源、信息資源之間具有很強(qiáng)的互相影響力。其中的許多影響需要深入研究。IT的能耗在全球能耗中的比例正在持續(xù)上升。從能耗角度研究IT技術(shù)是一個十分重要的、全球化的技術(shù)、經(jīng)濟(jì)、政治問題。軟件將在其中扮演十分重要的角色。從能量轉(zhuǎn)換計算的內(nèi)涵看： 能量的轉(zhuǎn)化循環(huán)模型：風(fēng)能、水能、太陽能等轉(zhuǎn)換為電能，電能

12、驅(qū)動芯片轉(zhuǎn)換為熱能，加劇地球的溫室效應(yīng)，形成能量的循環(huán)； 硬件（處理器、硬盤、網(wǎng)卡等）是能量的直接而被動的使用者，硬件僅提供了能量消耗的理論最小下界，遵循硬件摩爾定律推動下的發(fā)展； 軟件（操作系統(tǒng)、中間件、應(yīng)用等）是硬件行為的規(guī)范與指導(dǎo)者，是能量的真正消費(fèi)者，軟件決定了能量消耗的最大上界。目前而言，阻礙了硬件摩爾定律效能的發(fā)揮，研究目標(biāo)：圍繞軟件能夠降低數(shù)據(jù)中心能耗100倍嗎？,綠色軟件的4大挑戰(zhàn)（續(xù)）,研究內(nèi)容： a）復(fù)雜計算問題的高效計算模型、算法設(shè)計與編程方法； b)綠色計算模型。計算系統(tǒng)異構(gòu)化、顆?；⑺缮⒒尘跋?，探討社會化綠色計算的有效模式，例如云計算模式、P2P模式等在其中可能的

13、角色；信息化自身的綠色問題；能耗復(fù)雜度模型和度量；能量在計算中的消耗與轉(zhuǎn)換的模式與途徑等； c)綠色計算基礎(chǔ)軟件架構(gòu)。網(wǎng)絡(luò)化綠色系統(tǒng)軟件的編程模型、開放與自演化模型、可信模型、計算模型；新型的軟件設(shè)計理論與方法；海量資源的高效復(fù)用和海量計算/操作的高效并發(fā)的深層次矛盾等；軟件能耗效率度量；綠色計算軟件的設(shè)計方法學(xué)和理論。,綠色軟件的4大挑戰(zhàn)（續(xù)）,4、軟體系結(jié)構(gòu)的挑戰(zhàn)：軟體系結(jié)構(gòu)（如當(dāng)前的云計算）具有無限的可擴(kuò)展性、無限的靈活性、任意的可重構(gòu)性、無限的計算能力、無限的可達(dá)性、無限的抽象性（如不同層次的編程與計算模型、語言等）等，所以，未來的計算機(jī)體系結(jié)構(gòu)將呈現(xiàn)出“軟體系結(jié)構(gòu)”的特征，這一點(diǎn)在p

14、2p計算中有很好的表現(xiàn)：任何人可自由構(gòu)建有任意拓?fù)浣Y(jié)構(gòu)的虛網(wǎng)絡(luò)計算環(huán)境。軟件的形態(tài)、體系結(jié)構(gòu)、功能、性能、設(shè)計方法等都將發(fā)生重大的歷史變化，研究目標(biāo)是構(gòu)建全球化軟計算能力中心，研究內(nèi)容： a)軟體系結(jié)構(gòu)（如云計算）的計算模式、動力學(xué)方程、計算模型； b)軟體系結(jié)構(gòu)的形態(tài)、運(yùn)行機(jī)制、原理與設(shè)計方法學(xué)； c)軟體系結(jié)構(gòu)與無限可擴(kuò)展并行的異構(gòu)計算能力的并發(fā)性交互行為的機(jī)制與規(guī)律。,已有的工作進(jìn)展,系統(tǒng)軟件：基于虛擬化技術(shù)的綠色系統(tǒng)軟件 軟件對硬件Moore定律的阻尼效應(yīng)、軟件執(zhí)行效能墻、綠色系統(tǒng)軟件架構(gòu) （IEEE Cluster、ccGrid、HPDC、IPDPS、ICPP、HiPC等發(fā)表23篇論

15、文）； 計算理論： 能力服務(wù)計算解決資源綠色高效流動與系統(tǒng)能量高效使用（起源李國杰院士“能力服務(wù)器”，成熟）； LogPCM模型抽象Google-like計算數(shù)據(jù)中心系統(tǒng)（對應(yīng)MPP的LogP模型，在寫論文）； Event-flowing 計算模型（啟發(fā)于data flowing model、高光榮、Douglas C. Burger、IEEE Cluster09，） ；,已有的工作進(jìn)展（續(xù)）,原創(chuàng)技術(shù)10項： 可信多維空間流式模型、應(yīng)用能力需求模型、資源整合效用分析模型、層次化能力調(diào)度模型和策略、網(wǎng)絡(luò)化可信系統(tǒng)軟件架構(gòu)、DVMM、服務(wù)化IO模型與架構(gòu)、綠色軟件能效度量與監(jiān)測、基于VM和Pip

16、eline的新型Web服務(wù)器、LogPCM； 申請了6項專利，其它專利準(zhǔn)備中，部分: 張躍東、楊毅、孫毓忠，“基于網(wǎng)格計算機(jī)體系的計算機(jī)外設(shè)部件連接系統(tǒng)及方法”，申請?zhí)?00510126493.4。 李忠、孫毓忠，“一種遠(yuǎn)程桌面系統(tǒng)中的窗口緩存方法”，申請?zhí)?00810116325.0。 王若倪、李亞瓊、張玉放、孫毓忠，“基于分布式虛擬機(jī)管理器的分布式cache系統(tǒng)及其工作方法”，申請?zhí)?00910080186.5。 張玉放、王若倪、孫毓忠，“一種流水線Web服務(wù)器的系統(tǒng)及其工作方法”，申請?zhí)?00810247388.X。 楊亞軍、熊星、孫毓忠，“一種在虛擬化環(huán)境中I/O設(shè)備重構(gòu)的方法及系統(tǒng)”，申請?zhí)?00810239739.2。,,能力服務(wù)計算的關(guān)鍵技術(shù),能力服務(wù) 流動機(jī)制,資源虛擬化及其供給機(jī)制,應(yīng)用的能力（CPU、內(nèi)存等）需求模型,層次化能力流動模型和流動策略,能力流動與應(yīng)用能力需求的實時匹配模型和技術(shù),虛擬化數(shù)據(jù)中心服務(wù)與資源整合的效用分析模型,,,分布式虛擬機(jī)機(jī)制（IO、網(wǎng)絡(luò)、內(nèi)存）,新型高效能網(wǎng)絡(luò)化系統(tǒng)軟件架構(gòu),網(wǎng)絡(luò)化的可信系統(tǒng)軟件架構(gòu),,,,,,,,系統(tǒng)原型：學(xué)術(shù)發(fā)展源頭與歸宿,綠色無限操作系統(tǒng)項目Rainbow,歡迎批評與指正！,