《政務大數(shù)據(jù)交換共享平臺建設方案.doc》由會員分享，可在線閱讀，更多相關《政務大數(shù)據(jù)交換共享平臺建設方案.doc（145頁珍藏版）》請在裝配圖網(wǎng)上搜索。

**政務大數(shù)據(jù)交換共享平臺建設方案 目 錄 第一章 需求分析和項目建設的必要性 ...........................................4 1.1 項目建設目標、內(nèi)容..........................................................................4 1.1.1 項目建設目標.........................................................................4 1.1.2 項目建設內(nèi)容.........................................................................4 1.2 編制依據(jù) ...........................................................................................5 1.3 與政務職能相關的社會問題和政務目標分析......................................6 1.3.1 社會問題分析.........................................................................6 1.3.2 政務目標分析.........................................................................8 1.4 業(yè)務功能、業(yè)務流程和業(yè)務量分析 ..................................................11 1.4.1 用戶角色分析.......................................................................11 1.4.2 業(yè)務功能分析.......................................................................12 1.4.3 業(yè)務流程 ..............................................................................14 1.4.4 業(yè)務量分析...........................................................................14 1.5 信息量分析和預測 ...........................................................................15 1.5.1 存儲量分析...........................................................................15 1.5.2 處理量分析...........................................................................19 1.5.3 網(wǎng)絡流量分析.......................................................................20 1.6 系統(tǒng)功能和性能需求分析 ................................................................20 1.6.1 系統(tǒng)功能指標.......................................................................20 1.6.2 系統(tǒng)性能指標.......................................................................22 1.7 信息系統(tǒng)裝備和應用現(xiàn)狀與差距......................................................22 1.7.1 現(xiàn)狀 .....................................................................................22 1.7.2 差距 .....................................................................................23 1.8 項目建設的必要性 ...........................................................................23 第二章 總體建設方案 .................................................................. 26 2.1 建設原則 .........................................................................................26 2.1.1 統(tǒng)一性原則...........................................................................26 2.1.2 可靠性原則...........................................................................26 2.1.3 可伸縮和可擴展性原則.........................................................26 2.1.4 開放性原則...........................................................................27 2.1.5 安全性原則...........................................................................27 2.1.6 高效性原則...........................................................................27 2.1.7 友好性原則...........................................................................27 2.1.8 可管理易維護性 ...................................................................28 -I-  **政務大數(shù)據(jù)交換共享平臺建設方案 2.2 總體目標與分期目標........................................................................28 2.3 總體建設任務與分期建設內(nèi)容 .........................................................29 2.4 總體設計方案 ..................................................................................30 2.4.1 基礎設施層...........................................................................32 2.4.2 信息資源層...........................................................................33 2.4.3 應用支撐層...........................................................................34 2.4.4 應用層..................................................................................34 2.4.5 服務層..................................................................................34 2.4.6 安全保障體系.......................................................................34 2.4.7 標準規(guī)范體系.......................................................................35 第三章 項目建設方案 .................................................................. 36 3.1 標準規(guī)范建設 ..................................................................................36 3.1.1 管理制度建設.......................................................................36 3.1.2 標準規(guī)范建設.......................................................................40 3.1.3 數(shù)據(jù)標準建設.......................................................................43 3.1.4 標準規(guī)范索引.......................................................................46 3.2 信息資源規(guī)劃和數(shù)據(jù)庫設計.............................................................47 3.2.1 信息資源規(guī)劃.......................................................................47 3.2.2 數(shù)據(jù)中心建設.......................................................................53 3.3 門戶系統(tǒng)建設 ..................................................................................69 3.3.1 信息資源政務門戶................................................................69 3.3.2 信息資源開放門戶................................................................73 3.4 應用系統(tǒng)建設 ..................................................................................74 3.4.1 數(shù)據(jù)匯聚平臺.......................................................................74 3.4.2 數(shù)據(jù)治理平臺.......................................................................89 3.4.3 數(shù)據(jù)運營平臺.....................................................................102 3.4.4 數(shù)據(jù)應用平臺.....................................................................104 3.5 四大基礎數(shù)據(jù)庫管理平臺 ..............................................................108 3.5.1 人口庫................................................................................108 3.5.2 法人庫................................................................................ 111 3.5.3 經(jīng)濟庫................................................................................ 114 3.5.4 地理庫................................................................................ 115 3.6 應用支撐系統(tǒng)設計 ......................................................................... 116 3.6.1 統(tǒng)一用戶管理..................................................................... 116 3.6.2 統(tǒng)一應用管理.....................................................................120 3.6.3 統(tǒng)一服務管理.....................................................................121 3.6.4 統(tǒng)一消息服務.....................................................................123 3.6.5 統(tǒng)一日志服務.....................................................................124 -II-  **政務大數(shù)據(jù)交換共享平臺建設方案 3.7 安全保障體系建設 .........................................................................124 3.7.1 建設目標 ............................................................................124 3.7.2 安全體系架構.....................................................................125 3.7.3 安全防護體系建設..............................................................125 3.7.4 安全管理體系建設..............................................................133 3.8 主要軟硬件選型原則和詳細軟硬件配置清單..................................136 3.8.1 主要軟硬件選型原則 ..........................................................136 3.8.2 詳細軟硬件配置清單 ..........................................................137 第四章 效益分析 ....................................................................... 138 4.1 經(jīng)濟效益 .......................................................................................138 4.2 社會效益 .......................................................................................140 第五章 項目風險與風險管理 ..................................................... 142 5.1 風險識別和分析.............................................................................142 5.1.1 組織風險 ............................................................................142 5.1.2 管理風險 ............................................................................142 5.1.3 業(yè)務風險 ............................................................................142 5.1.4 技術風險 ............................................................................142 5.2 風險對策和管理.............................................................................143 5.2.1 組織風險防范對策..............................................................143 5.2.2 管理風險防范對策..............................................................143 5.2.3 業(yè)務風險防范對策..............................................................144 5.2.4 技術風險防范對策..............................................................144 -III-  **政務大數(shù)據(jù)交換共享平臺建設方案 第一章 需求分析和項目建設的必要性 1.1 項目建設目標、內(nèi)容 1.1.1 項目建設目標 電子政務公共數(shù)據(jù)開放共享平臺項目建設目標是，依托統(tǒng)一的 “云”數(shù)據(jù)中心建設統(tǒng)一的公共數(shù)據(jù)開放共享平臺。集中機關各部 門業(yè)務應用進行，制定相關的數(shù)據(jù)規(guī)范和信息交換標準，使機關各 部門業(yè)務系統(tǒng)依托統(tǒng)一的開放平臺進行開發(fā)建設。確保部門之間系 統(tǒng)之間的互聯(lián)互通、數(shù)據(jù)共享，為大數(shù)據(jù)分析提供數(shù)據(jù)依據(jù)。 1.1.2 項目建設內(nèi)容 電子政務公共數(shù)據(jù)開放共享平臺項目建設內(nèi)容包含：一套標準 規(guī)范、兩個數(shù)據(jù)門戶、四大應用平臺、四大基礎數(shù)據(jù)庫和一個應用 支撐平臺。 具體建設內(nèi)容包括： 1、一個應用支撐平臺 為了對需要調(diào)用電子政務公共數(shù)據(jù)開放共享平臺信息資源的政 府部門應用系統(tǒng)進行有效管理，面向各類電子政務應用，規(guī)劃建設 統(tǒng)一的應用支撐平臺，統(tǒng)一標準規(guī)范，通過用戶管理、應用管理、 服務管理等核心組件，可以對接入系統(tǒng)有效管理、實現(xiàn)統(tǒng)一認證及 單點登錄、統(tǒng)一消息服務。 -4-  **政務大數(shù)據(jù)交換共享平臺建設方案 2、兩個數(shù)據(jù)門戶 針對政府部門用戶建設信息資源政務門戶，針對企業(yè)、公眾用 戶建設信息資源開放門戶。 3、四大應用系統(tǒng) 建設承載電子政務公共數(shù)據(jù)匯聚平臺、數(shù)據(jù)治理平臺、數(shù)據(jù)運 營平臺和數(shù)據(jù)應用平臺。 4、四大基礎數(shù)據(jù)庫 通過電子政務信息資源梳理，制定四大基礎數(shù)據(jù)庫的建庫、入 庫和管理規(guī)則，建立四大基礎數(shù)據(jù)庫管理平臺，提供基礎庫內(nèi)容管 理、數(shù)據(jù)處理、共享和應用功能。 四大基礎數(shù)據(jù)庫包括人口庫、法人庫、經(jīng)濟庫和地理庫。 5、一套標準規(guī)范 形成標準規(guī)范體系，包括管理制度、標準規(guī)范、數(shù)據(jù)標準等。 1.2 編制依據(jù) 1、中辦、國辦《2006-2020年國家信息化發(fā)展戰(zhàn)略》； 2、國辦《關于促進電子政務協(xié)調(diào)發(fā)展的指導意見》； 3、國務院《促進大數(shù)據(jù)發(fā)展行動綱要》； 4、《國家電子政務總體框架》； 5、《國家電子政務“十二五”規(guī)劃》(工信部規(guī)〔2011〕567號)； 6、《關于印發(fā)“十二五”國家政務信息化工程建設規(guī)劃的通知》 (發(fā)改高技〔2012〕1202號)； -5-  **政務大數(shù)據(jù)交換共享平臺建設方案 7、《GB/T 21063-2007 政務信息資源目錄體系》 8、《GB/T 21062-2007 政務信息資源交換體系》 9、《國家電子政務工程建設項目管理暫行辦法》 10、《政府信息公開條例》 1.3 社會問題和政務目標分析 1.3.1 社會問題分析 作為世界人口大國，理論上我國數(shù)據(jù)資源儲量極為豐富，但大 部分政府數(shù)據(jù)（例如：交通、社保、稅收等），屬于結構化數(shù)據(jù)，距 離海量(volume)、速度(velocity)和多樣性(variety)的 3V屬性還 有一定距離，但從戰(zhàn)略角度而言差距并不大。 從數(shù)據(jù)規(guī)模來說，政府擁有國內(nèi)最為龐大的數(shù)據(jù)儲量。政府數(shù) 據(jù)廣泛存儲于各地、各級政府機關院所等不同單位、不同部門、不 同系統(tǒng)甚至不同網(wǎng)絡環(huán)境中，海量超脫于地理空間的政府數(shù)據(jù)亟待 存儲與處理。 從數(shù)據(jù)來源來說，由于各行業(yè)、各地采用的法律法規(guī)和標準并 不統(tǒng)一。傳統(tǒng)的電子政務信息系統(tǒng)，僅為滿足特定功能而生，數(shù)據(jù) 結構差異性大，大量數(shù)據(jù)存放于歷史遺留應用中，委辦局間碎片化、 零散化、低效率的數(shù)據(jù)交互和分析普遍存在，導致政府數(shù)據(jù)來源極 為復雜。 從數(shù)據(jù)質(zhì)量和價值來說，企業(yè)的數(shù)據(jù)種類單一化程度較高，而 政府數(shù)據(jù)涉及工商、稅務、交通、醫(yī)療、教育等領域，數(shù)據(jù)種類繁 -6-  **政務大數(shù)據(jù)交換共享平臺建設方案 多，事關百姓生活的方方面面，數(shù)據(jù)質(zhì)量較高，數(shù)據(jù)的潛在價值十 分可觀。 如上所述，政府數(shù)據(jù)的特點可以概括為：數(shù)據(jù)規(guī)模大、數(shù)據(jù)來 源和結構復雜、數(shù)據(jù)價值高但利用率低。 政府收集了大量有價值的數(shù)據(jù)，通過這些數(shù)據(jù)，可以更好地了 解國家資源使用情況，政府開支情況，土地交易和管理情況，這些 將不僅強化政府責任，提升治理能力，還能提高資金支出效率，為 人民提供更多更好的服務選擇。 1、政府數(shù)據(jù)體量越來越大 截至 2014 年，中國共有 664 個城市，2852 個行政縣，40446 個行政鄉(xiāng)。當前，中國中央和省級政務部門主要業(yè)務電子政務覆蓋 率已經(jīng)達到 70%。據(jù)粗略估算，全國政府大數(shù)據(jù)加起來相當于數(shù)百 個阿里巴巴的體量。而隨著硬件技術的進步，對于數(shù)據(jù)采集精度、 采集頻率、數(shù)據(jù)存儲等能力在增強，使得數(shù)據(jù)規(guī)模仍有提升空間， 近幾年數(shù)據(jù)中心的新建和擴容呈現(xiàn)井噴式的發(fā)展，這是以硬件基礎 設施帶動的變革，促使軟件技術也得到了快速發(fā)展。 隨著數(shù)據(jù)體量的增長，大數(shù)據(jù)處理、大數(shù)據(jù)應用分析的門檻將 會逐漸提高。 2、多部門協(xié)作成為常態(tài)化 復雜的城市治理問題，對跨部門的協(xié)作提出了更高的要求，過 去個別部門間存在的職責交叉分散、協(xié)調(diào)運行不暢等問題。隨著“大 部制”完善，建立健全了部門間協(xié)同運行機制，逐步實現(xiàn)“多個部 -7-  **政務大數(shù)據(jù)交換共享平臺建設方案 門、一個政府”目標。隨著部門與部門的邊界越來越模糊，政府數(shù) 據(jù)跨部門共享共用已不再是亮點和創(chuàng)新，建立常態(tài)化共享機制成為 政府大數(shù)據(jù)建設的入門。 3、國家治理不能僅僅依靠政府 由于時間和技術的局限性，以往國家治理基本是政府下達指令、 向下逐層執(zhí)行的“開環(huán)過程”。如今隨著互聯(lián)網(wǎng)發(fā)展，人民對于政 府的期望越來越高，國家不僅要在政策出臺前廣泛征求、準確把握 民意；出臺后還需要獲得執(zhí)行反饋，并適時調(diào)整，政府治理變?yōu)橄? 達指令—執(zhí)行—反饋的“閉環(huán)過程”，需要借助社會各方面力量參 與到國家治理過程之中。無論是社會自治還是合作共建，政府數(shù)據(jù) 共享開放都是大前提。 4、社會普遍開始重視數(shù)據(jù)安全和隱私 數(shù)據(jù)如同一把雙刃劍，在帶來便利的同時也帶來了很多安全隱 患，隨著全球各地用戶信息安全事件頻出，讓人們開始感受到“數(shù) 據(jù)”與生活接觸如此緊密，數(shù)據(jù)泄露可以對個人的生活質(zhì)量造成極 大的威脅。數(shù)據(jù)安全和隱私保護不僅是公民個人的責任，對采集數(shù) 據(jù)和共享數(shù)據(jù)的政府單位，也有義務保障數(shù)據(jù)的安全和隱私，此過 程中，政策、技術、意識缺一不可。需嚴格依照相關規(guī)范文件，將 安全運營意識滲透到政府數(shù)據(jù)開放中。 1.3.2 政務目標分析 1、實現(xiàn)政務公開，打造透明政府 -8-  **政務大數(shù)據(jù)交換共享平臺建設方案 電子政務公共數(shù)據(jù)開放共享促進政府和公眾互動，讓政務透明， 幫助政府進行社會管理和解決社會難題，大數(shù)據(jù)時代下，政府是整 合開放的平臺，是一個大數(shù)據(jù)共享平臺， 它建立了公眾與政府間的 溝通渠道，越來越多的國家和組織利用其開展民意調(diào)查，通過在線 交互讓民眾成為政務流程的節(jié)點，透明政務，讓公眾參與到政策制 定與執(zhí) 行、效果評估和監(jiān)督之中，使民眾參政議政成為可能。大數(shù) 據(jù)推進政府信息資源進一步開放，政府信息開發(fā)利用效率倍增，促 進經(jīng)濟社會快速發(fā)展。 2、實現(xiàn)數(shù)據(jù)融合，打造智慧政府 電子政務公共數(shù)據(jù)開放共享真正跨越了政府內(nèi)部協(xié)同的鴻溝， 大大提高工作效率，降低政府運行成本。其一，政府內(nèi)部協(xié)同除思 想理念上的障礙外，技術上也存在一定障礙，隨著大數(shù)據(jù)技術發(fā)展， 跨越系統(tǒng)、跨越平臺、跨越數(shù)據(jù)結構的政府將在技術上使政府內(nèi)部 縱向、橫向部門得以流暢協(xié)同。其二，由于利用大數(shù)據(jù)技術，數(shù)據(jù) 獲取、處理及分析響應時間大幅減少，工作效率明顯提高，同時降 低了政府開支。例如，政府利用大數(shù)據(jù)對社會人群進行細分，對不 同人群進行針對性服務和政策施行。 3、實現(xiàn)科學決策，打造責任政府 電子政務公共數(shù)據(jù)開放共享提高政府決策的科學性和精準性， 提高政府預測預警能力以及應急響應能力，越來越多的政府擯棄經(jīng) 驗和直覺，依賴電子政務的數(shù)據(jù)和分析進行決策?，F(xiàn)在大數(shù)據(jù)又超 越了傳統(tǒng)的數(shù)據(jù)分析方法，不但是對大數(shù)據(jù)分析挖掘，對言論、圖 -9-  **政務大數(shù)據(jù)交換共享平臺建設方案 表等都可以進行深度挖掘、人工智能。大數(shù)據(jù)的深入及廣泛應用會 給政府帶來科學和精準的決策支持。 4、為**電子政務提供一個安全可靠的信息資源存儲中心 對各部門的共享交換的數(shù)據(jù)資源進行統(tǒng)一的規(guī)劃管理和應用， 建設集約化的數(shù)據(jù)資源存儲中心，從而避免了各部門重復建設工作； 同時提高數(shù)據(jù)安全方面的建設，從硬件設備、網(wǎng)絡、信息資源、應 用系統(tǒng)、管理平臺、數(shù)據(jù)庫等方面的全面保證數(shù)據(jù)的安全性，并根 據(jù)用戶的不同訪問需求、防止惡意入侵、病毒防護、分區(qū)域的安全 設計，并在應用服務上提供安全檢測服務。 5、為**電子政務提供一個高效的應用服務平臺 **電子政務公共數(shù)據(jù)開放共享平臺的建設，為政府應用系統(tǒng)和 信息資源的高效管理和服務提供手段，通過對相關的基礎信息、業(yè) 務信息、服務信息進行管理，實現(xiàn)**電子政務公共數(shù)據(jù)開放共享平 臺的信息管理和服務功能。城市級交換共享平臺則對各部門的信息 資源提供交換共享支撐，以提高信息資源的綜合利用水平。通過整 合各部門數(shù)據(jù)信息，建設基礎信息庫，并提供對外服務，實現(xiàn)**電 子政務公共數(shù)據(jù)開放共享平臺的服務功能。 6、為**電子政務提供一個長效和可維護的信息服務體系 **電子政務公共數(shù)據(jù)開放共享平臺的建設要對**電子政務體系 提供長久的服務，因此在管理和運維上必需配備相應的支撐。這一 方面取決于管理制度的完善、管理手段的完備和對管理本身的技術 支撐，另一方面，也取決于人員的配備和運維體系的建立。 -10-  **政務大數(shù)據(jù)交換共享平臺建設方案 1.4 業(yè)務功能、業(yè)務流程和業(yè)務量分析 1.4.1 用戶角色分析 **電子政務公共數(shù)據(jù)開放共享平臺的用戶分為：領導、各部門、 企業(yè)單位及社會公眾。 1.4.1.1 政府領導 **電子政務公共數(shù)據(jù)開放共享平臺有價值的數(shù)據(jù)、行政地圖、 決策方法和應急進行融合，采用大數(shù)據(jù)分析技術，有利于各級領導、 管理決策人員方便、直觀、形象地進行各種分析，從而使統(tǒng)計決策 的科學化、人性化、智能化管理走上一個新臺階。 1.4.1.2 政府部門 可以向**電子政務公共數(shù)據(jù)開放共享平臺提供數(shù)據(jù)或使用平臺 提供的數(shù)據(jù)；業(yè)務部門之間可以通過系統(tǒng)平臺交換共享數(shù)據(jù)；遵循 標準規(guī)范進行業(yè)務系統(tǒng)的建造和改進，可實現(xiàn)業(yè)務系統(tǒng)和數(shù)據(jù)開放 共享平臺的對接。 1.4.1.3 社會公眾 可以依托**電子政務公共數(shù)據(jù)開放共享平臺提供的應用服務對 公眾需求做出快速反應，公眾可以更直接廣泛的獲得政府提供的服 務，如證照協(xié)同、社保電子傳遞等。 1.4.1.4 企業(yè)單位 通過**電子政務公共數(shù)據(jù)開放共享平臺提供的應用服務可以方 -11-  **政務大數(shù)據(jù)交換共享平臺建設方案 便企業(yè)進行業(yè)務級信息查詢，并可通過業(yè)務協(xié)同對企業(yè)提供事項審 批、信息推送服務。 1.4.2 業(yè)務功能分析 1.4.2.1 數(shù)據(jù)共享 在政府部門內(nèi)部強調(diào)的是共享共用。先把政府部門內(nèi)部及部門 之間數(shù)據(jù)共享的工作做起來。各級政府都以數(shù)據(jù)應用為導向，需要 什么數(shù)據(jù)就共享什么數(shù)據(jù)。 部門間的信息共享，綜合考慮管理難度和技術難度建議分為三 個階段：“條線內(nèi)部門共享”、“平級跨部門共享”、“跨層級和跨區(qū)域 的共享”，通過統(tǒng)一規(guī)劃，逐步推進的策略，打造部門間信息資源共 享共用的新格局。 1.4.2.2 數(shù)據(jù)開放 對社會的數(shù)據(jù)開放，先從方便百姓生活又不是很敏感的數(shù)據(jù)開 始。特別是涉及公共安全、公共利益的數(shù)據(jù)，提供公共服務的機構 或企業(yè)有義務在一定前提條件下開放，這樣一些可以預警、預防的 群體性事件就能夠避免。 按照社會關注程度、數(shù)據(jù)量大小和具體實施難度，數(shù)據(jù)開放建 議分為三個階段：“業(yè)務統(tǒng)計數(shù)據(jù)”、“少量高頻數(shù)據(jù)”、“重點業(yè)務數(shù) 據(jù)”。通過以安全為前提，重點關注優(yōu)先試點，逐步擴大范圍為原則， 穩(wěn)步推行數(shù)據(jù)服務開放。 -12-  **政務大數(shù)據(jù)交換共享平臺建設方案 1.4.2.3 數(shù)據(jù)融合 政務大數(shù)據(jù)歸根結底，還是要面向行業(yè)應用的，需要基于不同 的業(yè)務部門開展，并和現(xiàn)有平臺建立聯(lián)系。 融合應用可以分為“數(shù)據(jù)融合”、“業(yè)務融合”、“產(chǎn)業(yè)融合”三個層 次：其中，數(shù)據(jù)融合是把本單位數(shù)據(jù)、從其他單位共享的數(shù)據(jù)，以 及互聯(lián)網(wǎng)等社會相關的數(shù)據(jù)，相互融合，相互比對，建立融合數(shù)據(jù) 資源中心，統(tǒng)一數(shù)據(jù)標準和口徑。 業(yè)務融合主要圍繞各行業(yè)的特定業(yè)務場景，比如交通出行、醫(yī) 療保障、民生服務等領域，建設智慧應用，形成行業(yè)業(yè)務的決策分 析體系，支撐城市運行和城市治理的方方面面。 產(chǎn)業(yè)融合，隨著一大批大數(shù)據(jù)處理、大數(shù)據(jù)分析、大數(shù)據(jù)運營 企業(yè)的興起，政府數(shù)據(jù)將不單單是自建自用，通過建設數(shù)據(jù)運營平 臺，數(shù)據(jù)交易平臺等形式，引入社會資本共同參與城市建設和社會 治理，實現(xiàn)向集約型、服務型、智慧型政府的轉(zhuǎn)變。 -13-  **政務大數(shù)據(jù)交換共享平臺建設方案 1.4.3 業(yè)務流程 開 始 從 緩 沖 區(qū) 增 量 數(shù) 據(jù) 表 中 獲 取 人 口 增 量 數(shù) 據(jù) 根 據(jù) 證 件 類 型 判 斷 證 件 號 是 否 符 合 規(guī) 范 否 通 過 證 件 號 判 斷 該 人 是 否 存 在 于 人 口 主 表 中 將 該 條 增 量 數(shù) 據(jù) 插 入 異 常 表 中 否 是 將 人 口 庫 【 人 口 增 量 數(shù) 據(jù) 表 】 中 該 人 口 記 錄 刪 除 通 過 【 部 門 業(yè) 務 系 統(tǒng) 提 供 字 段 配 置 表 】 得 到 該 業(yè) 務 系 統(tǒng) 需 采 集 的 字 段 且 循 環(huán) 這 些 字 段 判 斷 人 口 庫 該 字 段 值 的 來 源 是 否 是 該 業(yè) 務 系 統(tǒng) 將 該 人 口 記 錄 插 入 到 【 人 口 基 礎 信 息 表 】 及 【 專 題 表 】 是 是 否 根 據(jù) 證 件 號 碼 和 類 型 更 新 【 人 口 基 礎 信 息 表 】 及 【 專 題 表 】 的 字 段 否 判 斷 新 采 集 的 字 段 值 是 否 為 空 否 將 該 人 口 記 錄 字 段 來 源 插 入 到 【 字 段 來 源 表 】 判 斷 人 口 庫 庫 該 字 段 值 是 否 為 空 否 否 判 斷 該 業(yè) 務 系 統(tǒng) 的 數(shù) 據(jù) 是 是 否 是 業(yè) 務 上 的 新 增 ? 否 是 根 據(jù) 證 件 號 碼 和 類 型 更 新 【 人 口 基 礎 信 息 表 】 及 【 專 題 表 】 的 字 段 值 是 判 斷 該 業(yè) 務 系 統(tǒng) 是 否 為 該 字 段 的 權 威 來 源 更 新 【 字 段 來 源 表 】 中 該 字 段 的 來 源 循 環(huán) 人 口 庫 需 采 集 該 業(yè) 務 系 統(tǒng) 的 字 段 是 否 結 束 將 人 口 庫 【 人 口 增 量 數(shù) 據(jù) 表 】 中 該 人 口 記 錄 刪 除 結 束 1.4.4 業(yè)務量分析 業(yè)務量分析可以從平臺交互量、每天總用戶數(shù)（個）、每天每個 用戶平均執(zhí)行操作數(shù)、高峰時段交互量占全天交互量的百分比、高 峰時段持續(xù)時間（小時）、高峰時段在線用戶數(shù)（個）等方面指標進 行綜合估算。**互聯(lián)網(wǎng)大數(shù)據(jù)分析平臺的業(yè)務量估算如下表所示： 表 3-1 業(yè)務量估算 序號 數(shù)據(jù)名稱 平臺交互量 數(shù)據(jù)量 200（日均） 100 1 2 3 每天總用戶數(shù)（個） 每天每個用戶平均執(zhí)行操作數(shù) 高峰時段交互量占全天交互量的 百分比 1000 4 60% -14-  **政務大數(shù)據(jù)交換共享平臺建設方案 序號 數(shù)據(jù)名稱 數(shù)據(jù)量 4（9：00-11：00，15：00-17：00） 60（日均） 5 6 高峰時段持續(xù)時間（小時） 高峰時段在線用戶數(shù)（個） 1.5 信息量分析和預測 1.5.1 存儲量分析 本項目中存儲的數(shù)據(jù)主要包括兩大部分：系統(tǒng)網(wǎng)站群的在線行 為數(shù)據(jù)和國內(nèi)外互聯(lián)網(wǎng)重點渠道、信息源以及政府網(wǎng)站群的在線內(nèi) 容數(shù)據(jù)。在線用戶行為數(shù)據(jù)以符合 W3C格式標準的日志形式進行存 儲。網(wǎng)站內(nèi)容更新數(shù)據(jù)直接存到關系型數(shù)據(jù)庫或其他非關系型數(shù)據(jù) 庫中。 1、在線行為數(shù)據(jù)存儲量 網(wǎng)站群的在線行為數(shù)據(jù)存儲主要分為三部分： （1）接收數(shù)據(jù)，是系統(tǒng)儲存的原始數(shù)據(jù)。 （2）結構化數(shù)據(jù)，將原始數(shù)據(jù)進行數(shù)據(jù)清洗和去重后進行結構 化后存儲。 （3）分析數(shù)據(jù)庫，將結構化的數(shù)據(jù)進行分析預計算后存儲。 按照本項目需要涵蓋**系統(tǒng)網(wǎng)站群的 500個網(wǎng)站，每個網(wǎng)站的 日平均訪問按照 10000個 PV計算，預計每日需要處理的總的 PV數(shù) 為 500萬。 n 接收數(shù)據(jù)的測算依據(jù)及結論 其中接收數(shù)據(jù)庫的主要條目占用空間，如下表所示： 單個 PV所要儲存的信息 空間大?。ㄗ止?jié)） 訪問路徑信息 1600 -15-  **政務大數(shù)據(jù)交換共享平臺建設方案 來源路徑信息 1120 其他信息（會話標識、Cookie標識、時間信息等） 256 匯總 2976 單個 Session所要儲存的信息(1個 Session大約產(chǎn)生 4PV） 訪問路徑信息 512 1120 128 來源路徑信息 客戶端信息（IP、瀏覽器等） 其他信息（會話標識、Cookie標識、時間信息等） 256 匯總 2016 單個 Cookie所要儲存的信息(1個 Cookie大約產(chǎn)生 1.25Session) 訪問路徑信息 512 256 768 其他信息（Cookie標識、時間信息等） 匯總 例如： 按照其他同類項目的數(shù)據(jù)估算，PV和 Session數(shù)量比為 4：1， Session和 Cookie的數(shù)量比為 1.25：1。則 500萬的 PV會產(chǎn)生 125 萬 的 Session 以 及 產(chǎn) 生 100 萬 的 Cookie， 總 占 據(jù) 空 間 為 5000000*2976+1250000*2016+1000000*768=18G，包括索引以及其他 表占用的空間之后，約為 20G。原始日志存儲到 SQL Server中會采 用壓縮技術，大小將降為 5G。 結論：對于接收數(shù)據(jù)庫，采用了壓縮和優(yōu)化技術后，每 500 萬 PV 至少需要 25G 的儲存空間。 n 結構化數(shù)據(jù)的測算依據(jù)及結論 **系統(tǒng)政府網(wǎng)站群監(jiān)測分析調(diào)度系統(tǒng)的結構化數(shù)據(jù)庫和原始數(shù) 據(jù)庫存儲的數(shù)據(jù)一致，但是經(jīng)過對原始數(shù)據(jù)庫的數(shù)據(jù)去冗余以及結 構化，用外鍵壓縮了原來直接存儲在各表里的信息，大小會變?yōu)樵? 始數(shù)據(jù)的一半，也就是 2.5G。 -16-  **政務大數(shù)據(jù)交換共享平臺建設方案 結論：對于結構化數(shù)據(jù)庫，采用了壓縮和優(yōu)化技術后，每 500 萬 PV至少需要 2.5GB的儲存空間。 n 分析數(shù)據(jù)的測算依據(jù)及結論 **系統(tǒng)政府網(wǎng)站群監(jiān)測分析調(diào)度系統(tǒng)的分析數(shù)據(jù)庫內(nèi)容基本是 結構化數(shù)據(jù)庫的拷貝，大小與結構化數(shù)據(jù)庫基本一致，也為 2.5G。 結論：對于“決策支持系統(tǒng)”的分析數(shù)據(jù)庫，采用了壓縮和優(yōu) 化技術后，每 500萬 PV至少需要 2.5GB的儲存空間。 綜上所述，在不做任何備份的情況下，每 500萬的 PV，需要文 件存儲空間為：25GB + 2.5GB + 2.5GB=30G。 到 2015年底的存儲量為 10.5T，到 2019年底的存儲量為 52.5T， 具體測算如下表所示： 接收日志 明細 匯總數(shù)據(jù) 合計 875G 單月數(shù)據(jù)量(G) 保留周期(月) 25*30=750 2.5*30=62.5 2.5*30=62.5 60 60 60 60 一年內(nèi)需要存儲 五年內(nèi)需要存儲 9000 45000 750 750 10.5T 52.5T 3750 3750 2、在線內(nèi)容數(shù)據(jù)存儲量 n 國內(nèi)外互聯(lián)網(wǎng)重點渠道和信息源 按照本項目需要面向國內(nèi)外互聯(lián)網(wǎng)重點渠道和信息源進行在線 內(nèi)容采集爬取，按照覆蓋包括主流媒體在內(nèi)的 200個信息源，每個 信息源爬取 3級計算，平均每天可以爬取更新的總的頁面數(shù)約為 30 萬 個 ， 每 個 頁 面 按 照 100KB 計 算 ， 共 需 要 占 用 的 空 間 為 30W*1000KB=30G。 -17-  **政務大數(shù)據(jù)交換共享平臺建設方案 到 2015年底的存儲量為 10.8T，到 2019年底的存儲量為 54T， 具體測算如下表所示： 國內(nèi)外互聯(lián)網(wǎng)重點渠道和信息源 單月數(shù)據(jù)量(G) 一年內(nèi)需要存儲 五年內(nèi)需要存儲 30萬*30=900G 10.8T 54T n **級以上政府網(wǎng)站群 **級以上政府網(wǎng)站群網(wǎng)站內(nèi)容更新數(shù)據(jù)主要包括以下三部分： 網(wǎng)站更新頁面、網(wǎng)站更新的入口，網(wǎng)站更新的白名單。 按照本項目需要涵蓋**系統(tǒng)網(wǎng)站群及**各級政府網(wǎng)站群的 6500個網(wǎng)站，平均每個網(wǎng)站每天更新 10個頁面，就是 6.5萬個。 如果每天爬取 10次，就是 106500=6.5 萬個入口，每個網(wǎng)站 算 10個白名單，那就是 10650010=65 萬個白名單。 總共是 6.5萬+6.5萬+65萬=78萬，共需要占用的空間為 78萬 頁*100KB/頁=78G。 到 2015 年底的存儲量為 28.08T，到 2019 年底的存儲量為 140.4T，具體測算如下表所示： 更新頁面數(shù)據(jù) 6.5*30=195 2.34T 網(wǎng)站入口數(shù)據(jù) 白名單數(shù)據(jù) 合計 單月數(shù)據(jù)量(G) 一年內(nèi)需要存儲 五年內(nèi)需要存儲 6.5*30=195 65*30=1950 2340G 2.34T 11.7T 23.4T 117T 28.08T 140.4T 11.7T 綜上所述，系統(tǒng)的數(shù)據(jù)存儲總量如下表所示： 表 3-2 數(shù)據(jù)量估算表 序號 數(shù)據(jù)名稱 初始量 10.5T 5年內(nèi)的增量 1 2 在線行為數(shù)據(jù) 52.5T 54T 互聯(lián)網(wǎng)重點渠道和信息源 **團以上政府網(wǎng)站群 10.8T 3 28.08T 49.38T 140.4T 246.9T 合計 -18-  **政務大數(shù)據(jù)交換共享平臺建設方案 1.5.2 處理量分析 （1）網(wǎng)站群用戶訪問行為數(shù)據(jù)處理量分析 以每天 725萬個客戶端訪問（包括 500萬 PV、100萬 Session、 125萬 Cookie）并發(fā)計算，結合在線行為數(shù)據(jù)的接收主要集中在工 作時間，7250000/8小時/60分鐘/60秒=251個/秒，日志接收服務 器接受每秒鐘接收日志請求 251個，遠遠低于系統(tǒng)的每秒接收到的 正常數(shù)（該值通常為 7000-9000）。 根據(jù)日志接收每秒鐘的并發(fā)量為 251，因此系統(tǒng)的數(shù)據(jù)接收只 需要再用兩臺服務器做負載均衡即可。但是為了防止數(shù)據(jù)接收網(wǎng)站 的域名出現(xiàn)單點故障，因此系統(tǒng)的數(shù)據(jù)接收采用雙域名備份，即每 個域名對應兩臺數(shù)據(jù)接收服務器，一共四臺。 根據(jù)系統(tǒng)需要滿足**政府網(wǎng)站智能分析系統(tǒng)診斷的需要，目前 系統(tǒng)的單臺服務器的數(shù)據(jù)處理能力為 400家左右，因此需要 4臺數(shù) 據(jù)庫服務器，另外需要兩臺相同配置的數(shù)據(jù)庫服務器作為備份。 （2）其他在線內(nèi)容數(shù)據(jù)處理量分析 一是系統(tǒng)需要支持對不少于 108萬個數(shù)據(jù)采集點每天至少一次 輪詢抓取，同時對抓取回的數(shù)據(jù)進行數(shù)據(jù)預處理和清洗入庫工作， 二是需要實現(xiàn)對存量數(shù)據(jù)和增量數(shù)據(jù)的指標自動抽取和更新工作， 三是需要支持前臺交互系統(tǒng)的交互分析挖掘需求。 結合以上幾部分需求，預計所需的內(nèi)容數(shù)據(jù)處理服務器約 50 臺。其中較高性能處理服務器（單機 20 核服務器 CPU:2660*2 MEM:144G DISK:SSD 480G*2+SAS 4T*6，萬兆網(wǎng)卡，遠程管理，雙電 -19-  **政務大數(shù)據(jù)交換共享平臺建設方案 源）10 臺，中等性能處理服務器（單機 12 核服務器,CPU:2620*2 MEM:32G DISK:4T*10，萬兆網(wǎng)卡，遠程管理，雙電源）10臺。較低 性能服務器（單機 12 核服務器,CPU:2620*2 MEM:72G DISK:SSD 480G*2+SAS 600G*4，萬兆網(wǎng)卡，遠程管理，雙電源）30臺。 1.5.3 網(wǎng)絡流量分析 按每天處理 725萬在線行為數(shù)據(jù)，每條數(shù)據(jù)為 10KB大小，108 萬條在線內(nèi)容數(shù)據(jù)，每條 100KB計算，需要的平均帶寬為 17Mbps， 高峰時期按 3倍帶寬需求計算為：51Mbps，GE鏈路接入可以滿足需 求，出于冗余考慮，建議使用雙 GE鏈路（主備）進行接入。 1.6 系統(tǒng)功能和性能需求分析 1.6.1 系統(tǒng)功能指標 1.6.1.1 數(shù)據(jù)存儲功能 政府數(shù)據(jù)量很大，海量數(shù)據(jù)的處理與傳統(tǒng)架構完全不同，原有 小型機加商業(yè)數(shù)據(jù)庫的方式已不能完全勝任，部分領域數(shù)據(jù)需要引 入新架構。大數(shù)據(jù)存儲于處理架構包括分布式存儲、分布式資源管 理及分布式文件架構。 1.6.1.2 數(shù)據(jù)匯聚功能 數(shù)據(jù)匯聚功能要求實現(xiàn)將各部門相關的信息資源統(tǒng)一采集交換 到數(shù)據(jù)中心前置庫中，滿足多種采集方式，能夠滿足不同的網(wǎng)絡環(huán) 境、不同的數(shù)據(jù)類型等情況下進行數(shù)據(jù)的采集，并對采集的數(shù)據(jù)進 -20-  **政務大數(shù)據(jù)交換共享平臺建設方案 行處理，進入中心庫保存。**電子政務公共數(shù)據(jù)開放共享平臺的數(shù) 據(jù)匯聚功能包含數(shù)據(jù)采集、數(shù)據(jù)交換、數(shù)據(jù)處理等功能。 1.6.1.3 數(shù)據(jù)治理功能 政府數(shù)據(jù)在共享共用、開放運營及行業(yè)應用過程中，數(shù)據(jù)來源 于各個業(yè)務系統(tǒng)，只有建立對數(shù)據(jù)質(zhì)量的信任，才能放心地進行使 用。所以數(shù)據(jù)治理和質(zhì)量保障在政府數(shù)據(jù)開放共享平臺建設中顯得 由為重要，數(shù)據(jù)開放共享平臺數(shù)據(jù)治理功能主要包括信息資源目錄 管理、元數(shù)據(jù)管理和數(shù)據(jù)質(zhì)量管里等內(nèi)容。 1.6.1.4 數(shù)據(jù)運營功能 數(shù)據(jù)運營功能聚焦對數(shù)據(jù)共享、開放、融合的提供，對提供服 務授權、認證、過程進行統(tǒng)一管理，并提供數(shù)據(jù)開放共享平臺運行 過程的全程監(jiān)控。數(shù)據(jù)開放共享平臺數(shù)據(jù)運營功能主要包含服務管 理、基于服務管理的數(shù)據(jù)開放、以及運行監(jiān)控等內(nèi)容。 1.6.1.5 數(shù)據(jù)應用功能 數(shù)據(jù)共享、開放的最終目標都是為了要創(chuàng)造價值，數(shù)據(jù)的價值 主要通過應用進行體現(xiàn)。數(shù)據(jù)開放共享平臺數(shù)據(jù)應用主要是政務數(shù) 據(jù)分析功能，主要包括數(shù)據(jù)采集、數(shù)據(jù)分析、結果發(fā)布三個組成部 分，能夠?qū)崿F(xiàn)實時、批處理、交互分析，最終通過報表、儀表盤、 API等形式展示結果。 -21-  **政務大數(shù)據(jù)交換共享平臺建設方案 1.6.2 系統(tǒng)性能指標 基本性能：（1）在 100M 局域網(wǎng)環(huán)境下進行增、刪、改業(yè)務（不 含大對象數(shù)據(jù)類型）響應時間在 3 秒以內(nèi)。（2）在 100M 局域網(wǎng)環(huán) 境下查詢操作的響應時間要求在 3 秒以內(nèi)。 （3）系統(tǒng)支持同時在 線數(shù)大于 200，并發(fā)用戶數(shù)大于 50。 數(shù)據(jù)交換：（1）批量數(shù)據(jù)交換中，平均單條記錄數(shù)據(jù)交換的時 間不大于 20 毫秒。 （2）非并發(fā)大批量數(shù)據(jù)交換（百萬條）的時 間不大于 5,000 秒。（3）批量數(shù)據(jù)交換中，平均單條記錄入庫的響 應時間不大于 20ms。 數(shù)據(jù)查詢：（1）查詢基礎數(shù)據(jù)（精確匹配）的響應時間不大于 3 秒。 （2）查詢單個數(shù)據(jù)主題（百萬級）的響應時間不大于 3 秒。 （3）目錄檢索的響應時間不大于 2 秒。（4）查詢統(tǒng)計報表（非實 時統(tǒng)計）的響應時間不大于 3 秒。 1.7 信息系統(tǒng)裝備和應用現(xiàn)狀與差距 1.7.1 現(xiàn)狀 政府數(shù)據(jù)碎片化嚴重。我國電子政務取得了較快發(fā)