Hadoop 將進一步平民化、五年後 PB 級資料已非 Big Data?
Allied Market Research 機構預測,到了 2020 年,Hadoop 的市場價值會超過 500 億。Hadoop 技術發展至今,已經是第九年,隨著 Big Data 的趨勢,以低廉的存儲和快速的處理能力,迅速在中小企業蔓延開去。而據研究預測,五年後,Hadoop 的部署會更廣泛,不止局限於中小企業。
幾年前,有評論人士稱,Hadoop 只能應用於企業 10% 的資料。但現在一份名為《2014 年資料庫技術現狀調查》的資料顯示,13% 的受訪者已經將Hadoop 應用於產品生產和測試。Hadoop 有望在未來於企業各個角落得到廣泛的應用。而在性能和用途上有顯著增長的同時,Hadoop 的部署成本仍然保持低廉的水平。
數據平民化
隨著 Big Data 的快速發展,未來五年內,資料量和資料類型都會快速增長,那時,PB 級的資料量已經不能被稱為 Big Data。隨著資料不斷增長,企業對資料分析和存儲能力的需求必然大幅上升。相對於傳統資料庫和資料倉儲(Data Warehousing)技術,Hadoop 的優勢在於資料分析和存儲平民化。不懂技術的業務人員存取和分析資料將成為趨勢。
按照目前的創新速度和較低的要求來看,未來五年會有更多的中小型企擁有自己的 Hadoop 架構。同時,Hadoop 的發展會令很多剛剛成立的企業加入到企業級 IT 領域,雖然短時間內擁有新技術的新企業還不足以影響市場格局,但從收購和價值評估中我們可以看到,新興技術企業的市場價值已經越來越大。
安全性和即時性
物聯網作為 IT 發展的下一個技術趨勢,它會成為改變 IT 的新力量。傳統的資料庫技術很難應對大量的感應器資料,而 Hadoop 與傳統的技術不同,擁有更強大的存儲和分析功能。
未來五年裡,Hadoop 會逐漸成為企業日常營運不可或缺的系統。要實現這情況,即時分析的能力和安全性都不可缺少。現在,我們已經看到Kerberos 和一些 MapReduce 元件用於保障 Hadoop 的安全性,Spark 和 Storm 等工具更正在為 Hadoop 加速。未來 Hadoop 的發展也需要擁有如這兩方面的能力及成熟。