分布式存儲系統是一個為海量數據共享而設計的集群。分布式存儲系統是一個為海量數據共享而設計的集群。存儲系統由工業標準的通用硬件和軟件構成,為前端的應用服務器提供一 個標準的共享文件系統,所有應用服務器可以同時看到一份數據,即統一海量的虛擬存儲池,并可以進行相應操作。

 

分類

分布式文件系統(Distributed File System):指文件系統管理的物理存儲資源不一定直接連接在本地節點上,而是通過計算機網絡與節點相連。分布式文件系統的設計基于客戶機/服務器模式。

 

分布式對象存儲(Object-based Storage Device,OSD):總體上來講,對象存儲同兼具SAN高速直接訪問磁盤特點及NAS的分布式共享特點。核心是將數據通路(數據讀或寫)和控制通路(元數據)分離,并且基于對象存儲設備構建存儲系統,每個對象存儲設備具有一定的智能,能夠自動管理其上的數據分布。

 

分布式塊存儲(Distributed block storage):塊存儲主要是將裸磁盤空間整個映射給主機使用的,就是說把磁盤陣列里面的硬盤通過劃邏輯盤、做Raid、或者LVM(邏輯卷)等種種方式邏輯劃分出N個邏輯的硬盤。此種方式下,操作系統還需要對掛載的裸硬盤進行分區、格式化后,才能使用,與平常主機內置硬盤的方式完全無異。

 

架構

優點:

  • 采用本地I/O路徑,路徑更短,延遲更低;
  • 數據分散在不同服務器上形成冗余級數據保護,避免計算和存儲資源孤島;
  • 解決了單點故障(SPOF);
  • 業務負載分布式存儲,消除資源瓶頸;
  • 按需建設、橫向擴展;
  • 隨著業務和數據增長仍保持高效的性能;
  • 架構簡單、擴展性極強,易于管理,自動化程度高;
  • 標準X86服務器和磁盤組成,低成本,采購周期短。

 

缺點:

  • 需要高速低延遲網絡環境;
  • 需要至少2個存儲節點組成;
  • 要有一定的運維能力和自動化程度的環境。

分布式存儲架構設計核心原則:分布式、無共享架構;全冗余可靠性設計;塊存儲優化;自動化管理運維。

 

應用領域

 

行業 應用
  廣電   非線性編輯 、播出系統、 OTT新媒體業務、 媒資管理系統 、IPTV 、CDN
  金融   證券 、保險、銀行的開戶 、保單、事后監督系統
  運營商   移動、電信、聯通的中間業務系統
  安防   平安城市、智慧城市、交警卡口 、執法儀數據集中存儲
  渲染   動漫渲染系統、渲染農場、影視后期制作
  醫療   PACS系統、電子病歷、手術影像
  大數據分析   車牌識別、人臉識別
  教育   校園云

 

安防業務:視頻監控、交警卡口、執法記錄儀等安防應用是存儲消耗大戶,PB級的需求隨處可見。安防業務對于性能、功能、業務連續性和成本都有較高的要求。分布式存儲的圖像存儲加速算法、全平臺(Windows、Linux)客戶端加速引擎、無副本環境下的業務連續性等技術,不僅可以滿足高帶寬讀寫的需要,還能在控制成本的前提下比競爭對手提供更高的數據保障。尤其是無副本環境下的業務連續性等技術,在不采用節點冗余技術的情況下,可以保障視頻數據在節點故障之后能夠持續寫入,提供了迄今為止安防行業性價比最高的分布式存儲解決方案。

 

醫療PACS業務:隨著醫療技術的飛速發展,PACS系統已經成為每個醫院的標配。分布式存儲能為PACS系統提供更快的訪問速度,減少醫生讀片的等待時間。它還能讓影像數據可靠保存數年之久,為醫學科研、病例分析等業務提供更為完善的數據保障服務。

 

廣電類業務:憑借對于視頻文件存儲的充分優化、優異的并發讀寫性能(尤其是讀性能)以及系統的高可靠性,分布式存儲廣泛適用于傳統廣電類和新型互聯網視頻類業務,包括電視臺和影視制作公司的非線性編輯、節目管理,以及廣電網絡和互聯網視頻提供商的VOD點播、媒資管理、直播和時移回看等業務場景。

 

渲染業務:大規模渲染(比如渲染農場)對于共享存儲的并發讀寫有著非常高的要求,渲染時間過長的罪魁禍首往往是存儲系統所導致。分布式存儲在讀寫方面做了大量的針對性優化,無論是大文件還是小文件,都能通過這些優化算法獲得更快的訪問速度。這些技術極大地提升整體渲染速度,保障按時按質完成相關任務。此外,分布式存儲的高可用性,可以確保大規模長時間的渲染任務不中斷運行。

 

相關機型

 
型號 XP-22302ST XP-24201ST XP-42303ST
  硬件規格 - 2U12盤位
- 采用新一代Intel® Xeon®Scalable系列處理器
- 1200W冗余高效電源
- 2U24盤位
- 采用新一代Intel® Xeon®Scalable系列處理器
- 1600W冗余高效電源
- 4U45盤位
- 采用新一代Intel® Xeon®Scalable系列處理器
- 1600W冗余高效電源
  性能 - 穩定性高,擴展方便
- EB級單一命名空間
- 在線橫向擴展,容量和性能近線性提升
- 非結構化數據讀寫優化,高并發帶寬
- 多重數據保護機制,支持多副本/糾刪碼/- 千億級文件管理能力
- 圖形化監控管理
- NAS無限層文件權限
- LDAP/Windows AD支持
- 部署簡單,操作簡便,低維護成本- Windows客戶端加速引擎
- RDMA網絡超高帶寬讀寫
- 高安全
- 節點內RAID

 

典型案例

  • 網絡方案設計充分考慮到了計算節點、存儲節點、網絡交換機的性能參數,在保證了系統穩定的前提下,使每臺設備都能得到最大限度的利用。
  • 系統配置高性能、可擴展的并行存儲系統,并提供大容量存儲,能夠實現全局文件的統一訪問和并發讀寫。
  • 主要產品都采用了冗余設計(電源、風扇等),存儲系統采用冗余設計,系統的可靠性有較高保證。