《分布式存儲對象存儲概述》由會員分享，可在線閱讀，更多相關《分布式存儲對象存儲概述（32頁珍藏版）》請在裝配圖網上搜索。

1、分 布 式 存 儲 對 象 存 儲-CEPH概 述 分 布 式 存 儲對 象 存 儲CEPH 2 分 布 式 存 儲 系 統(tǒng) 3 1.1:分 布 式 存 儲 歷 程 .DAS 4 用 于 操 作 系 統(tǒng) 和 應 用 程序 的 本 地 存 儲 。缺 點 ： 1對 1， 單 點 數 據 無 法 再 服 務 器 之 間共 享 。 5 1.2:分 布 式 存 儲 歷 程 .SAN 多 對 1。 數 據 大 集 中 在 SAN存 儲 。缺 點 ： 性 能 好 橫 向 擴 展 性 受 限 。 不 能 共 享 。 成 本 高 6 1.3:分 布 式 存 儲 歷 程 .NAS 實 現 不 同 服 務 器 之

2、間 傳統(tǒng) 文 件 系 統(tǒng) 數 據 共 享 。 多 對 1。 數 據 集 中 。缺 點 ： 多 臺 服 務 器 不 能 同 時 訪問 修 改 ， 性 能 有 限 橫 向 擴 展 性 受 限 。 成 本 高 1.4: NAS.SAN網 絡 存 儲 方 式 7 目 前 主 流 的 存 儲 方 式 8 1.5:分 布 式 存 儲 歷 程 .分 布 式 存 儲 性 能 優(yōu) 越 。 擴 展 性 很 好 。 成 本 低 廉 。缺 點 ： 平 臺 穩(wěn) 定 性 需 要 考慮 。 技 術 支 持 的 問 題 。 9 個 人 理 解 分 布 式 存 儲 就 是 多 臺 橫 向 連 接 的 計 算 機 同 時運 行

3、， 共 同 處 理 完 成 同 一 件 client的 應 用 工 作 請 求 任 務 ?？?靈 活 的 增 加 ， 或 減 少 節(jié) 點 ， 性 能 優(yōu) 越 。 擴 展 性 很 好 。 成 本 低 廉 。1.6:分 布 式 存 儲 優(yōu) 勢 10 對 象 存 儲Object-Based Storage 2.1 對 象 存 儲 技 術 11 對 象 存 儲 是 綜 合 了 NAS和SAN的 優(yōu) 點 ， 同 時 具 備 了SAN直 接 高 速 訪 問 和 NAS的 數 據 共 享 等 優(yōu) 勢 。 提 供 了 具 有 高 性 能 ， 高可 用 性 ， 跨 平 臺 ， 以 及安 全 的 數 據 共 享

4、的 存 儲體 系 結 構 。 2.2 對 象 存 儲 解 釋 優(yōu) 勢 12 對 象 存 儲 就 是 分 布 式 系 統(tǒng) ， 也 可 理 解 為 依 托 于 分 布 式 存 儲 架構 的 一 個 特 性 ， 高 級 功 能1） 傳 統(tǒng) 的 塊 存 儲 讀 寫 快 而 不 利 于 共 享 ，2 ） 文 件 存 儲 讀 寫 慢 但 利 于 共 享對 象 存 儲 則 集 成 二 者 優(yōu) 點 ， 是 一 個 利 于 共 享 、 讀 寫 快 的 “ 云存 儲 ” 技 術 。 作 為 一 種 分 布 式 存 儲 ， 最 重 要 的 一 點 是 能 解 決對 非 結 構 化 數 據 快 速 增 長 帶 來 的

5、 問 題 。 13 2.3 對 象 存 儲 結 構 14 15 2.4 對 象 存 儲 組 件 對 象 (Object)包 含 了 文 件 數 據 以 及 相 關 的 屬 性 信 息 ， 可 以 進 行 自 我 管 理 OSD（ Object-based Storage Device)一 個 智 能 設 備 ， OSD 為 存 儲 對 象 數 據 的 設 備 ， 它 是 一 個 智 能 設 備 ， 包括 處 理 器 、 RAM 內 存 、 網 絡 接 口 、 存 儲 介 質 等 以 及 運 行 在 其 中 的 控 制 軟 件 MDS 元 數 據 服 務 器 (Metadata Server)系

6、 統(tǒng) 提 供 元 數 據 、 Cache一 致 性 等 服 務 16 2.5： 傳 統(tǒng) 存 儲 數 據 存 儲 過 程 傳 統(tǒng) 文 件 儲 存 過 程 。 17 2.6： 對 象 存 儲 數 據 儲 存 過 程 對 象 文 件 儲 存 過 程 。 18 2.7： Inodes vs Objects 2.8： 對 象 存 儲 模 式 用 于 海 量 數 據 存 儲 的 優(yōu) 勢 ： 19 高 性 能 數 據 存 儲 ： 訪 問 節(jié) 點 有 獨 立 的 數 據 通 路 和 元 數 據訪 問 通 路 ， 可 以 對 多 個 OSD 進 行 并 行 訪 問 跨 平 臺 數 據 共 享 ： 由 于 在 對

7、 象 存 儲 系 統(tǒng) 上 部 署 基 于 對 象的 分 布 式 文 件 系 統(tǒng) 比 較 容 易 ， 所 有 能 夠 實 現 不 同 平 臺 下的 設 備 和 數 據 的 共 享 。 可 伸 縮 性 ： 對 象 存 儲 模 式 具 有 分 布 式 結 構 的 特 性 。 由 于OSD 是 獨 立 的 智 能 設 備 ， 可 以 通 過 增 加 OSD 數 量 ， 使 存儲 系 統(tǒng) 的 聚 合 I/O 帶 寬 、 存 儲 容 量 和 處 理 能 力 得 到 提 高 ，這 種 平 衡 擴 展 模 式 使 得 存 儲 系 統(tǒng) 能 夠 具 有 良 好 的 可 伸 縮性 。 2.9： 與 傳 統(tǒng) 存 儲

8、的 對 比 ： 20 存儲接口存儲系統(tǒng)優(yōu)點缺點塊級存儲塊 塊 存 儲 設 備 S如 :AN , 提 供 高 性能 的 隨 機 I/O和 數 據吞 吐 率 可 擴 展 性 和 可 管 理 性 較差 、 價 格 較 高 、 不 能 滿足 成 千 上 萬 CPU 規(guī) 模 的系 統(tǒng)文件儲存文 件 塊 存 儲 設 備 文 件 系 統(tǒng) 如 :NAS, 擴 展 性 好 、易 于 管 理 、 價 格 便 宜 開 銷 高 、 帶 寬 低 、 延 遲大 ,不 利 于 高 性 能 集 群 中應 用對象存儲對 象 塊 存 儲 設 備 文 件 系 統(tǒng) 定 位 邏 輯 應 用 程 序 支 持 高 并 行 性 、 可 伸縮

9、 的 數 據 訪 問 , 管 理性 好 、 安 全 性 高 、 適合 高 性 能 集 群 使 用 處 于 發(fā) 展 階 段 ,相 應 的 硬件 、 軟 件 支 持 有 待 進 一步 完 善 21 CEPH概 述 3 .1 ： ceph簡 介企 業(yè) 級 存 儲 產 品 的 需 求 3 .2 : Ceph可 提 供 ： 3 .3 : Ceph架 構 圖 24 底 層 Rados - Ceph實 現分 布 式 存 儲 的 根本 ， 所 有 存 儲 接口 都 是 基 于Rados實 現 的 - Rados本 身就 是 一 個 對 象 存儲 接 口 ， 維 護 了一 個 集 群 狀 態(tài) 和實 現 了 數

10、據 分 發(fā)的 要 求 l (2)基 礎 庫 librados - 對 RADOS進 行 抽 象 和 封裝 ， 并 向 上 層 提 供 API， 以 便直 接 基 于 RADOS（ 而 不 是 整個 Ceph） 進 行 應 用 開 發(fā)l (3)高 層 應 用 接 口 - 這 一 層 包 括 了 三 個 部 分 ： RADOS GW（RADOS Gateway） 、 RBD（ Reliable Block Device） 和 Ceph FS（ Ceph File System） ，其 作 用 是 在 librados庫 的 基 礎 上 提 供 抽 象 層 次 更 高 的 上 層 接 口 ， 分 別

11、 對 應 對 象 存 儲 、 塊 存儲 和 文 件 存 儲 。 l（ 4） 應 用 層這 一 層 就 是 不 同 場 景 下 對于 Ceph各 個 應 用 接 口 的各 種 應 用 方 式 ， 例 如 基 于librados直 接 開 發(fā) 的 對 象存 儲 應 用 ， 基 于 RADOS GW開 發(fā) 的 對 象 存 儲 應 用， 基 于 RBD實 現 的 云 硬 盤等 等 。 3 .4 : 傳 統(tǒng) VS ceph傳 統(tǒng) ： Ceph: - Monitor: 維 護 集 群 的成 員 和 狀 態(tài) (cluster map) ， 提 供 強 一 致 性 的決 策 - MDS metdata數 據

12、服 務器 - OSD: 每 一 個 disk、 SSD或 者 RAID group或 者 其他 一 個 物 理 存 儲 設 備 都成 為 一 個 OSD， 主 要 負責 存 儲 和 查 找 對 象 ， 并且 負 責 向 該 對 象 的 復 制節(jié) 點 分 發(fā) 和 恢 復 。3 .5 : Rados組 件 3 .6 ： Ceph 使 用 場 景 舉 例 -Rados GWlRadosGW位 于 Librados之 上 ， 它 主 要 提 供RESTful接 口 并 且 兼 容 S3、 Swfit的 接 口 。 3 .7 ： S3 使 用 案 例 29 3.8： 性 能 檢 測rootcephcli

13、ent # rados bench -p cephfs_data 1 0 write -no-cleanupMaintaining 1 6 concurrent writes of 4 1 9 4 3 0 4 bytes to objects of size 4 1 9 4 3 0 4 for up to 1 0 seconds or 0 objectsObject prefix: benchmark_data_cephclient_8 3 2 2 sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s) 8 1

14、 6 2 4 7 2 3 1 1 1 5 .4 6 4 1 0 8 0 .3 5 7 9 5 8 0 .5 3 7 4 2 9 1 6 2 7 4 2 5 8 1 1 4 .6 3 3 1 0 8 0 .4 4 9 1 6 3 0 .5 3 9 0 5 7 1 0 1 6 3 0 1 2 8 5 1 1 3 .9 6 8 1 0 8 0 .5 5 1 5 7 2 0 .5 4 3 6 2 9Total time run: 1 0 .5 9 5 6 3 0Total writes made: 3 0 2Write size: 4 1 9 4 3 0 4Object size: 4 1 9 4 3

15、 0 4 Bandwidth (MB/sec): 1 1 4 .0 0 9Stddev Bandwidth: 4 1 .2 7 9 5Max bandwidth (MB/sec): 2 2 8 30 3.9： ceph 優(yōu) 勢 ： Ceph是 一 種 為 優(yōu) 秀 的 性 能 、 可 靠 性 和 可 擴 展 性 而設 計 的 統(tǒng) 一 的 、 分 布 式 的 存 儲 系 統(tǒng) 。 “ 統(tǒng) 一 的 ” 意 味 著 Ceph可 以 同 時 提 供 對 象 存 儲 、塊 存 儲 和 文 件 系 統(tǒng) 存 儲 三 種 功 能 ， 以 便 在 滿 足 不同 應 用 需 求 的 前 提 下 簡 化 部 署 和 運 維 。 “ 分 布 式 的 ” 在 Ceph系 統(tǒng) 中 則 意 味 著 真 正 的 無 中心 結 構 和 沒 有 理 論 上 限 的 系 統(tǒng) 規(guī) 模 可 擴 展 性 。 在實 踐 當 中 ， Ceph可 以 被 部 署 于 上 千 臺 服 務 器 上 。 32 歡 迎 您 和 我 一 起 討 論 ！