萬用遙控器!解決大數據挑戰 – 同時控制、管理、儲存基建/數據
互聯網已成為很多人日常生活的一部份,互聯網的出現令人與人之間的交流更頻繁,拉近人與人之間的距離。不過互聯網普及後,為企業帶來的不只是數據管理上的挑戰,更由於海量數據(大數據)愈來愈多,如何有效儲存、提升儲存方案的性能、管理數據等,都是每一位 IT 人必須面對的事情。
隨著服務供應商與企業數據中心累積數十甚至數百萬兆(Petabytes,PB)的數據,管理這些數據所涉及的成本與複雜程度均令人難以負荷。但無奈地,企業的成功與否,必須依賴過往的客戶資料及業務數據,因此企業必須由基建開始到儲存系統等進行優化/更換,才可應付日趨嚴峻的海量數據危機。
過往要有效提升管理效率、儲存效率,最簡單的方法可能是分別尋找管理方案/添置 SSD 等高速儲存媒介,但在部署過程之中十分麻煩,而且每每更換上 SSD 又或者是近期興起的 Flash Storage 等都是十分奢侈的玩法,絕非每家大型企業願意這樣做的。
今天在 EMC World 2013 大會上,EMC 發佈了一個名為 EMC ViPR 軟件定義儲存平台(Software-Defined Storage),透過 EMC ViPR 可同時管理儲存基建以及儲存在基建中的數據,這樣企業便可同時在自動化方面推動突破性的改進,還能為日後的應用部署奠定現代化的儲存架構基建,最終令服務供應商與 IT 部門無須聘用數千位的技術專家建構自訂環境,就能向網絡級數據中心的營運模式邁進。
透過 EMC ViPR,IT 人員便可同時管理儲存基建(稱為控制平面 Control Plane)以及儲存在基建中的數據(稱為數據平面 Data Plane);而大家可能會問,如何突破 Control Plane 與 Data Plane 間的阻隔問題?其實 EMC ViPR 本身已考慮到有關問題,因此方案本身已可允許用戶同時使用兩者,或讓用戶透過策略控制的自動化功能,只使用 Control Plane 來管理儲存陣列的相關情報。
這種方式和過去嘗試進行儲存虛擬化的方式全然不同,同時方案亦具有能夠像檢視檔案一樣觀看物件內容,並提供檔案存取從而免卻物件儲存遲緩的效能,減少管理員些少「頭痛」程度;一直以來,很多廠商所推出的方案只可支援本身相同品牌的方案,但今次推出的 EMC ViPR 卻能夠完全應用在軟件上,並能與 EMC、非 EMC、或市場上的商品硬件配搭使用,這樣企業便無需重新添置硬件,令投資成本大減。
EMC ViPR Controller -控制平面(The Control Plane)
EMC ViPR Controller (Control Plane,用以管理儲存基建)能有效改善自動化效率,主要是因為它能將底層的儲存基建虛擬化。常見的儲存管理功能,把資源分配或轉移抽離,使不同的儲存陣列可以完全相同的方式管理,就像管理單一資源庫一樣。ViPR 現在提供單點方式以管理這些高度複雜的功能。這就像在客廳用一個萬用遙控器便能操控電視、DVD光碟機、串流影音裝置以及數碼錄影機等設備。用戶不必再面對操作眾多在複雜的儲存陣列的管理介面等複雜而費時的工作。
這些儲存庫在建立後會立即被各個應用程式劃分使用。對於這項任務,ViPR 提供自助式介面,讓應用程式擁有者能瀏覽儲存服務目錄,以及配置適合自己需求的服務資源。這將再進一步減少 IT 部門的「頭痛程度」,事關方案提供了暢順的體驗,亦是應用團隊理想中及習以為常的公共雲環境。
而針對本身存在的傳統儲存基建,EMC ViPR 亦可提供單純的 Control Plane 功能,大家可別少看這個功能!它能找出儲存資源、建立虛擬儲存庫、將這些儲存庫提供給應用程式後便不再操作,這過程不在數據通道進行,而是交給陣列本身來執行。透過相同的方式,作業系統能聰明地偵測到如圖像協同處理器的存在(並分擔處理作業);透過 EMC ViPR Controller,IT 管理人員便能輕鬆透過方案找出底層儲存基礎架構的資源,從而在適當時候分擔底層陣列的處理工作及當有情報的時候加以利用。
EMC ViPR Data Services -數據平面(The Data Plane)
早前 EMC 便估計,於運用檔案與數據包的傳統工作負載將會在 2016 年增長 70%,加上許多新的工作負載將會持續浮現,一般會在海量數據上運作,並服務數以萬計或數百萬的用戶。預計這些負載在 2016 年將增長約 700%,增長幅度遠超傳統數據。針對嚴峻的檔案與數據包傳統工作負載,方案亦可讓底層陣列自主地執行 Data Plane 或儲存資料。
當中除可自主地執行 Data Plane 之外,當中的獨特之處在於其可如檢視檔案般檢視物件;此外,ViPR HDFS Data Service 亦可讓企業在整個複雜的儲存環境中執行現場分析,從而免卻了管理異質化儲存環境時的耗費資源作業,讓 IT 部門可專心支援企業優先的工作以及從事創新。
由於這些應用程式的特性,因此必須以全新的方式來規劃。大規模的數據必須以更簡便的方式來管理儲存基建,即是Object Storage。存取方法亦從 NFS 與 iSCSI 等傳統協定轉移至 HDFS 等新協定,HDFS 最廣為人知的是以作為 Hadoop 數據庫的基礎。
當然,既然提到有關功能,今次介紹的 EMC ViPR 自然亦提供了 Object Data Services。ViPR Object Data Services 將提供 Amazon S3 與 OpenStack Swift 相容的 REST API 以及 HDFS 存取方法,以這些 API 撰寫的現有應用軟件可無縫地配合運作。ViPR Object Data Services 支援現有的 EMC Atmos、EMC VNX、以及 EMC Isilon 陣列,而企業可根據應用負載特性決定適合的效能、服務品質、以及成本特性。
軟件定義數據中心的整合部分
與 VMware 一樣,EMC 今次推出的方案能將基建抽象化、池化及自動化。EMC ViPR 產生的儲存庫將利用 VMware API,因此可更輕易地成為 VMware vSphere 內的一個陣列。此外,ViPR Controller 亦將進一步整合 VMware SDDC 管理工具、協調工具 vCloud Automation Center,以及 vCenter Operations Manager。這樣 ViPR 就可完全獨立地管理儲存數據 (並可在 Microsoft 及 OpenStack 虛擬環境下運作),或作為 VMware 軟件定義數據中心的整合部分。
雲端作為設計重點
EMC ViPR 是針對雲端環境而設計,尤其是服務供應商,但同時亦適合正著手轉型的企業 IT 部門,為他們提供 IT 即服務(IT-as-a-service),以及建立內部網絡級雲端環境。根據這一點,ViPR 擁有一個分佈全球的結構,能讓 IT 部門避免在網絡上移動大量數據所帶來的數據損壞、遺失風險。ViPR 平台能配合裝置及數據增長進行橫向擴充,並提供一個完全自主管理和供應的環境。