金山云混合云存儲，構(gòu)建數(shù)據(jù)驅(qū)動型組織的核心競爭力

原創(chuàng)
作者： 趙立京 2023-01-31 17:33:53

云計算 作為中國云服務市場的領導者之一，金山云在混合云存儲產(chǎn)品與解決方案已得到金融、運營商、泛互企業(yè)、公共服務等用戶端的正式商用和服務認可，將持續(xù)幫助用戶解決在業(yè)務轉(zhuǎn)型過程中面臨的各種數(shù)據(jù)存儲挑戰(zhàn)，充分釋放數(shù)據(jù)價值，驅(qū)動業(yè)務的高速增長。

云計算驅(qū)動的數(shù)字化浪潮席卷了所有行業(yè)。計算、網(wǎng)絡、存儲被稱為云基礎設施的三大件，存儲又是其中變化最快的一項，這是因為隨著數(shù)據(jù)驅(qū)動型組織戰(zhàn)略的普及，云計算、移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等新技術(shù)在各個領域深化應用，全球數(shù)據(jù)量呈爆炸式增長態(tài)勢。IDC的研究報告顯示，全球數(shù)據(jù)圈(以數(shù)據(jù)圈代表每年被創(chuàng)建、采集或是復制的數(shù)據(jù)集合)將從2018年的32ZB增至2025年的175ZB。全球數(shù)據(jù)量爆炸增長，為數(shù)據(jù)存儲市場帶來巨大增量。在這樣的背景下，現(xiàn)有的數(shù)據(jù)存儲模式已經(jīng)難以滿足數(shù)據(jù)存儲要求，數(shù)據(jù)已經(jīng)由原來存儲在專有的集中式存儲設備上而向云存儲（公有云、私有云、混合云）上轉(zhuǎn)型，以降低固定資產(chǎn)支出和運維管理費用，以激活數(shù)據(jù)來驅(qū)動組織的業(yè)務創(chuàng)新，注入持續(xù)發(fā)展的源動力。

其中，混合云存儲是一種將公有云存儲服務和私有云存儲資源互聯(lián)互通的技術(shù)實現(xiàn)，促進云上和云下的數(shù)據(jù)雙向互通。混合云存儲越來越受歡迎，充分發(fā)揮公有云的超大規(guī)模、彈性擴展、隨需而用和低成本優(yōu)勢，以及私有云的資源物理隔離和安全合規(guī)的特點，業(yè)已成為數(shù)據(jù)高效存儲的發(fā)展方向。

技術(shù)立業(yè)的金山云存儲產(chǎn)品線

早在2007年，金山就開始籌建金山實驗室，進行云存儲技術(shù)領域的研究。2012年，金山將云存儲業(yè)務進行拆分，成立金山云公司。同年，金山云正式在國內(nèi)推出在線云存儲服務KS3，為用戶提供優(yōu)質(zhì)的互聯(lián)網(wǎng)對象存儲服務。此后，金山云存儲產(chǎn)品的不斷迭代演進、推陳出新，陸續(xù)推出功能豐富的各種存儲產(chǎn)品及服務。金山云主要云存儲產(chǎn)品包括：對象存儲（KS3）、彈性塊存儲（EBS）、文件存儲（KFS）、歸檔存儲（KArchive）及混合云存儲產(chǎn)品系列（KingStorage）。

金山云的對象存儲KS3，已經(jīng)在線穩(wěn)定運行超過十年，云上規(guī)模超EB級，且每年都保持著高速增長，是業(yè)內(nèi)技術(shù)先進的超大規(guī)模公有云分布式存儲服務。在私有化部署的場景下金山云提供KingStorage混合云存儲產(chǎn)品，繼承了公有云存儲的架構(gòu)與功能優(yōu)勢，并充分考慮并實現(xiàn)私有化場景下客戶業(yè)務對存儲的個性化需求。依托于金山云混合云存儲優(yōu)秀的架構(gòu)設計，保障了業(yè)務能力的穩(wěn)定輸出，具備大規(guī)模的數(shù)據(jù)存儲與處理能力，聚焦于云原生應用、大數(shù)據(jù)存算分離、自動駕駛、機器學習、視頻云等業(yè)務場景。在IDC發(fā)布的《中國軟件定義存儲（SDS）2022年第一季度》報告顯示，金山云KingStorage OBS產(chǎn)品在SDS對象存儲市場細分領域，市場占有率位列前三，已躋身于國內(nèi)行業(yè)頭部。

以云為基的云原生存儲

金山云KingStorage混合云存儲產(chǎn)品是基于云原生的設計理念，定位于混合云、專有云、云化的企業(yè)數(shù)據(jù)中心和邊緣計算節(jié)點等場景，旨在為客戶提供彈性伸縮、軟硬解耦、資源隔離、隨需而用、敏捷高效、自動化運維的池化存儲資源。其主要特點有如下：

應云而生 — 源自云：產(chǎn)品研發(fā)源于云用戶對數(shù)據(jù)存儲的多樣化需求，解決數(shù)據(jù)存儲在公有云和私有云中流轉(zhuǎn)的問題。

以云為基 — 興于云：產(chǎn)品基于公有云相同的存儲技術(shù)棧，并實現(xiàn)代碼共享，基于應用場景差異提升企業(yè)級存儲的功能特性。

融云致遠 — 贏未來：面向云原生應用對海量、高性能存儲的需求，強化與各類云原生平臺的平滑對接，助力云原生生態(tài)的繁榮。

KingStorage云原生的特質(zhì)有利于平滑對接多云平臺和滿足云原生類應用的存儲需求，實現(xiàn)數(shù)據(jù)在多樣化應用場景之間按需流轉(zhuǎn)，確保云上云下一致的存儲服務體驗，加速業(yè)務創(chuàng)新和數(shù)字化轉(zhuǎn)型。

聚焦新興業(yè)務領域下的存儲痛點

在當今新業(yè)務形態(tài)下，客戶對于存儲的核心需求主要有三點：第一是新業(yè)務場景對存儲的高性能需求，比如在自動駕駛、機器學習、大數(shù)據(jù)分析等場景，高算力下的海量數(shù)據(jù)存儲性能日益成為制約業(yè)務發(fā)展的瓶頸。第二是業(yè)務數(shù)據(jù)的超大規(guī)模已是常態(tài)，而現(xiàn)有的存儲模式顯然難以滿足，比如基于開源存儲軟件的方案，會遇到節(jié)點規(guī)模擴展后性能低遠于預期、擴展后難以符合設計預期、版本更新快且難于在線升級、運維復雜等各類意想不到的問題。最后是要實現(xiàn)項目總體上的降本增效，業(yè)務數(shù)據(jù)要能夠做到線上線下按需流動，充分享受云上計算和存儲資源的廉價。以自動駕駛業(yè)務的需求為例，典型的以數(shù)據(jù)驅(qū)動業(yè)務量變的新產(chǎn)業(yè)，L4級自動駕駛需要大約300PB~500PB的路采數(shù)據(jù)，但是更多的場景數(shù)據(jù)能提升模型的精準度。此外，業(yè)務所需的高精地圖和測繪數(shù)據(jù)是涉密的，按照保密要求必須保持在合規(guī)的私有化環(huán)境中。而機器學習可按需按時采用公有云上大量的GPU服務器資源，同時需要云上和云下的數(shù)據(jù)互通來驅(qū)動訓練任務的開展。

大數(shù)據(jù)存算分離應用場景實踐

隨著大數(shù)據(jù)應用被越來越廣泛的應用到互聯(lián)網(wǎng)企業(yè)、金融、運營商等行業(yè)，并逐步成為業(yè)務發(fā)展的主要推動力。這就帶來用戶數(shù)據(jù)量的指數(shù)級增長，數(shù)據(jù)的規(guī)模已經(jīng)突破之前的預期，這不僅帶來高額的成本，同時原有的數(shù)據(jù)存儲技術(shù)架構(gòu)也不能有效地支撐大數(shù)據(jù)業(yè)務，進而影響到業(yè)務的創(chuàng)新。為了解決新業(yè)務形態(tài)下存儲模式面臨的挑戰(zhàn)，越來越多的客戶選擇了存算分離的方式。

存算分離需要解決用戶面臨的三大難題：業(yè)務運行慢、系統(tǒng)維護難、存儲方案貴。首先，當前采用的HDFS存儲的設計存在內(nèi)存占用高、使用粗粒度的全局鎖、以及對小文件的處理效率低、數(shù)據(jù)處理的過程出現(xiàn)延時高的問題。其次，HDFS存儲僅能支持數(shù)億級別的文件數(shù)，超過之后一方面需要做深度優(yōu)化提升，另一方面是采用新的版本來提升對文件數(shù)的支持，而新版本的穩(wěn)定性通常比較差，帶來系統(tǒng)級的運維難題。最后是HDFS的存算一體和三副本機制，使得存儲空間的利用率低于33%，且擴容時必須計算節(jié)點和存儲節(jié)點放在一起，導致數(shù)據(jù)規(guī)模越大存儲方案需要的資金投入就越高。

金山云混合云存算分離解決方案，提供三種靈活的大數(shù)據(jù)對接模式：一是基于具備緩存加速能力的大數(shù)據(jù)存儲網(wǎng)關組件，二是采用定制優(yōu)化的Hadoop sdk對象存儲插件，三是使用標準的s3a協(xié)議，滿足不同應用場景下大數(shù)據(jù)生態(tài)軟件對接存儲的性能和功能需求。其中大數(shù)據(jù)存儲網(wǎng)關組件，不僅兼容HDFS協(xié)議，還支持全局緩存和統(tǒng)一命名空間，提供彈性伸縮的數(shù)據(jù)存儲能力。對于計算類應用，可以提供很好的數(shù)據(jù)本地化或加速數(shù)據(jù)I/0性能；對于后端的持久化存儲系統(tǒng)，可通過統(tǒng)一命名空間功能融合多套異構(gòu)的存儲系統(tǒng)，且對前端計算框架的使用做到透明。

通過在頭部商業(yè)銀行的交付實踐表明，金山云混合云存儲分離解決方案在性能、兼容性、成本、以及規(guī)?；瘮U展能力等方面得到認可，并在行內(nèi)廣泛推廣，促進大數(shù)據(jù)類業(yè)務的創(chuàng)新和引領行業(yè)的技術(shù)發(fā)展趨勢。

機器學習應用場景實踐

通過深入分析機器學習場景下各流程環(huán)節(jié)對存儲的需求點可以發(fā)現(xiàn)，用戶對存儲的需求有如下四點。首先是性能，即是否能以最快速度和最優(yōu)成本滿足自動駕駛不同流程環(huán)節(jié)的數(shù)據(jù)高速讀寫的要求。第二是擴展性，系統(tǒng)整體擴展能力和擴展的便捷性，決定了系統(tǒng)是否支撐未來2~3年的業(yè)務增長對存儲系統(tǒng)的容量需求。第三是云原生的需求，機器學習的場景下，一定會基于云原生平臺來構(gòu)建業(yè)務運行體系，這就需要存儲系統(tǒng)提供CSI容器存儲接口(CSI：Container Storage Interface)插件，并且具備CSI存儲插件的高可用和故障自愈等能力，在確保數(shù)據(jù)安全性的同時，全面提升存儲服務的可用性。第四是成本因素，希望降低長期存儲運營成本，實現(xiàn)冷熱數(shù)據(jù)的分離，冷數(shù)據(jù)的存儲成本能進一步降低，優(yōu)化數(shù)據(jù)生命周期過程的每TB成本。

結(jié)合用戶的需求以及對存儲系統(tǒng)的長期實踐，金山云針對機器學習場景下推出三種混合云存儲解決方案，涵蓋文件存儲、對象存儲以及相應的高性能存儲網(wǎng)關產(chǎn)品。一是為中小型客戶提供一體化文件存儲系統(tǒng)，完全具備支撐機器學習的功能特性和性能，并具備良好的性價比。二是針對性能有極高性能要求的用戶，金山云提供基于全閃存的文件存儲解決方案，性能上支持數(shù)百GB的大吞吐量和亞毫秒級的低延時。三是面向泛互和公共服務領域的用戶，則推薦高性能存儲網(wǎng)關+大容量對象存儲的解決方案，構(gòu)建起存儲資源池，實現(xiàn)機器學習、大數(shù)據(jù)分析、云原生應用數(shù)據(jù)的統(tǒng)一化存儲。

在金山云的項目實踐中，機器學習的數(shù)據(jù)量已超過百PB以上，主要是超大規(guī)模的視頻圖片類數(shù)據(jù)，并且每年保持著高速的增長。同時，該用戶內(nèi)部有很多關聯(lián)業(yè)務系統(tǒng)，對于在線日志保存、大數(shù)據(jù)分析、數(shù)據(jù)歸檔等都有存儲需求，更重要的是機器學習已成為驅(qū)動主營業(yè)務的關鍵要素。金山云憑借本地對象存儲資源池加上高性能的存儲網(wǎng)關，提供了機器學習的整套存儲解決方案，解決存儲的性能瓶頸，降低運營成本，幫助用戶實現(xiàn)了新業(yè)務的快速上線，并驅(qū)動核心業(yè)務的不斷創(chuàng)新。

讓混合云存儲的特質(zhì)驅(qū)動業(yè)務創(chuàng)新

為構(gòu)建數(shù)據(jù)驅(qū)動型組織的核心競爭力，各行各業(yè)創(chuàng)新性地對業(yè)務進行優(yōu)化和改造，提升業(yè)務敏捷性和服務化能力，同時選擇適合自身業(yè)務的數(shù)據(jù)存儲方式，來釋放海量數(shù)據(jù)的潛在價值，提升數(shù)據(jù)在業(yè)務間的流轉(zhuǎn)能力，并實現(xiàn)降本增效的目標。作為中國云服務市場的領導者之一，金山云在混合云存儲產(chǎn)品與解決方案已得到金融、運營商、泛互企業(yè)、公共服務等用戶端的正式商用和服務認可，將持續(xù)幫助用戶解決在業(yè)務轉(zhuǎn)型過程中面臨的各種數(shù)據(jù)存儲挑戰(zhàn)，充分釋放數(shù)據(jù)價值，驅(qū)動業(yè)務的高速增長。

金山云云存儲產(chǎn)品負責人????表示：混合云存儲作為金山云存儲業(yè)務重點的發(fā)展方向，聚焦在云原生應用、大數(shù)據(jù)分析、自動駕駛、機器視覺等新型應用場景。依托于公司的云存儲技術(shù)棧和云上存儲服務的業(yè)務實踐，結(jié)合企業(yè)級用戶在業(yè)務對接、安全合規(guī)、極簡運維等方面的需求，金山云將不斷完善混合云存儲產(chǎn)品線，豐富功能特性，促進云與端之間數(shù)據(jù)的互相流轉(zhuǎn)，讓混合云存儲的特質(zhì)惠及云上云下的用戶。

展望未來，金山云混合云存儲一方面將持續(xù)不斷地構(gòu)建高性能、高彈性、易運維的產(chǎn)品核心競爭力，另一方面將與頭部用戶及行業(yè)ISV攜手共創(chuàng)，率先在業(yè)內(nèi)推出創(chuàng)新性的云原生存儲解決方案，攜手生態(tài)合作伙伴共同推進混合云存儲市場規(guī)模的高速發(fā)展。

當前標題：金山云混合云存儲，構(gòu)建數(shù)據(jù)驅(qū)動型組織的核心競爭力
文章分享：http://m.fisionsoft.com.cn/article/dhgejej.html