Spark項(xiàng)目為何會(huì)在云環(huán)境中大放光芒？

譯文
作者：核子可樂(lè)譯 2015-07-31 11:26:26

云計(jì)算

Spark 就在上個(gè)月，多家在云及商業(yè)計(jì)算領(lǐng)域聲名顯赫的巨頭公開(kāi)表達(dá)（并決定投資）了對(duì)Apache Spark數(shù)據(jù)分析項(xiàng)目的興趣。是什么讓這些老牌勁旅對(duì)這款年輕的技術(shù)方案青眼有加？

站在用戶的角度思考問(wèn)題，與客戶深入溝通，找到汕頭網(wǎng)站設(shè)計(jì)與汕頭網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗(yàn)，讓設(shè)計(jì)與互聯(lián)網(wǎng)技術(shù)結(jié)合，創(chuàng)造個(gè)性化、用戶體驗(yàn)好的作品，建站類型包括：成都網(wǎng)站建設(shè)、網(wǎng)站設(shè)計(jì)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣、國(guó)際域名空間、網(wǎng)站空間、企業(yè)郵箱。業(yè)務(wù)覆蓋汕頭地區(qū)。

 最近幾個(gè)月以來(lái)，業(yè)界對(duì)于Apache Spark項(xiàng)目的興趣與投入迎來(lái)了顯著提升，而這皆要?dú)w功于云客戶規(guī)模的不斷拓展。

就在上個(gè)月，多家在云及商業(yè)計(jì)算領(lǐng)域聲名顯赫的巨頭公開(kāi)表達(dá)（并決定投資）了對(duì)Apache Spark數(shù)據(jù)分析項(xiàng)目的興趣。是什么讓這些老牌勁旅對(duì)這款年輕的技術(shù)方案青眼有加？

這種興奮當(dāng)然不會(huì)毫無(wú)來(lái)由，事實(shí)上這項(xiàng)***發(fā)展前景的技術(shù)已經(jīng)得到了廣泛應(yīng)用。不過(guò)要想讓該項(xiàng)目真正在云環(huán)境下變成吸金利器，我們還面臨著兩個(gè)重大課題——一是便捷性，二是規(guī)?；?。

Spark的吸引力

最近幾個(gè)月來(lái)，對(duì)Spark項(xiàng)目表現(xiàn)出深厚興趣的廠商包括：

? IBM。除了將Spark支持能力加入自家Bluemix PaaS之外，IBM方面還將SystemML機(jī)器學(xué)習(xí)算法構(gòu)建技術(shù)貢獻(xiàn)給Spark。

? 微軟。將Spark支持能力納入自家Azure HDInsight（微軟的云托管Hadoop版本）。

? Amazon。其Elastic MapReduce服務(wù)將能夠運(yùn)行以Scala、Python以及Java語(yǔ)言開(kāi)發(fā)的Spark應(yīng)用程序。

? 華為。這家中國(guó)網(wǎng)絡(luò)巨頭最近公布了一個(gè)名為Astro的項(xiàng)目，其將Spark、Spark SQL以及HBase打包于一款產(chǎn)品當(dāng)中。Spark目前也被華為公司用于其基于Hadoop的FusionInsight產(chǎn)品，并作為服務(wù)由華為開(kāi)發(fā)的新興云平臺(tái)交付。

Spark之所以擁有出眾的吸引力，是因?yàn)樗軌蛟贖adoop當(dāng)中提供強(qiáng)大的內(nèi)存內(nèi)數(shù)據(jù)處理組件，專門應(yīng)對(duì)實(shí)時(shí)及批量事件。在雅虎公司，也就是Hadoop項(xiàng)目的發(fā)源地，Spark已經(jīng)成為分析運(yùn)營(yíng)流程當(dāng)中的核心與基石。

對(duì)于以上廠商而言，Spark項(xiàng)目能夠?yàn)槠湓茦I(yè)務(wù)提供***技術(shù)支持——無(wú)論是否配合Hadoop（雖然一般情況下會(huì)配合Hadoop）。隨著市場(chǎng)價(jià)格競(jìng)爭(zhēng)趨于白熱化甚至開(kāi)始探底，云供應(yīng)商之間的競(jìng)爭(zhēng)目前仍然主要受限于原本的內(nèi)部數(shù)據(jù)中心層面，而往往無(wú)法真正發(fā)揮云體系的規(guī)模化等獨(dú)特優(yōu)勢(shì)。（事實(shí)上，在我們目前所處的階段中，越來(lái)越多的業(yè)務(wù)數(shù)據(jù)開(kāi)始在云中生成，而不再像過(guò)去那樣單純將數(shù)據(jù)遷移至云端。）

點(diǎn)燃下一場(chǎng)燎原烈火

Spark在這一過(guò)程中的作用同樣非常關(guān)鍵，因?yàn)槲磥?lái)的主要發(fā)展方向以及項(xiàng)目的潛在影響都取決于Spark將如何以云資源的方式實(shí)現(xiàn)部署。

IBM公司正默默為Spark項(xiàng)目作出貢獻(xiàn)。而Spark開(kāi)發(fā)廠商Databricks則有著自己的計(jì)劃，希望能夠起到更為徹底的效果。其Tungsten項(xiàng)目為Spark的內(nèi)存利用及分配方式作出了重大改造，旨在借此提高性能水平。這不僅有利于吸引更多開(kāi)發(fā)商的加入，同時(shí)也有助于Spark以“即服務(wù)”的方式實(shí)現(xiàn)交付。

頗具諷刺意味的是，Spark在云環(huán)境下的人氣明顯更高，其甚至直接威脅到了Databricks公司自身的商業(yè)模式。Andy Oliver曾對(duì)Daatabricks公司的Spark產(chǎn)品進(jìn)行過(guò)一番審查，并發(fā)現(xiàn)該公司“絕不成為數(shù)據(jù)科學(xué)領(lǐng)域的Tableau”的口號(hào)完全沒(méi)能成為現(xiàn)實(shí)。另外，以上列出的各大競(jìng)爭(zhēng)參與者雖然不一定會(huì)與自家Spark產(chǎn)品產(chǎn)生這種交集關(guān)系，但此類產(chǎn)品的出現(xiàn)實(shí)際上更為直接地對(duì)Spark工作負(fù)載作出了補(bǔ)充。

Spark在其它多個(gè)方面還有待完善及成熟——包括說(shuō)明文檔、商業(yè)支持、中間件集成以及為用戶提供更多預(yù)置Spark應(yīng)用程序等等。除了***一項(xiàng)，其它任務(wù)非常適合由Spark項(xiàng)目的企業(yè)貢獻(xiàn)者及贊助商們來(lái)完成——當(dāng)然，除非這幫家伙提供貢獻(xiàn)的目的完全是為了確保Spark能夠在其云平臺(tái)上運(yùn)作良好，并為其客戶提供服務(wù)。

新聞名稱：Spark項(xiàng)目為何會(huì)在云環(huán)境中大放光芒？
文章出自：http://m.fisionsoft.com.cn/article/cccgdhh.html