阿里大數(shù)據(jù)云原生化實踐，EMR Spark on ACK 產(chǎn)品介紹

作者：佚名 2021-06-08 09:45:46

云計算

云原生

Spark

成都地區(qū)優(yōu)秀IDC服務(wù)器托管提供商(成都創(chuàng)新互聯(lián)公司).為客戶提供專業(yè)的服務(wù)器托管,四川各地服務(wù)器托管,服務(wù)器托管、多線服務(wù)器托管.托管咨詢專線：13518219792

 一、云原生化挑戰(zhàn)及阿里實踐

大數(shù)據(jù)技術(shù)發(fā)展趨勢

云原生化面臨挑戰(zhàn)

計算與存儲分離

如何構(gòu)建以對象存儲為底座的 HCFS 文件系統(tǒng)

完全兼容現(xiàn)有的 HDFS
性能對標(biāo) HDFS，成本降低

shuffle 存算分離

如何解決 ACK 混合異構(gòu)機(jī)型

異構(gòu)機(jī)型沒有本地盤
社區(qū) [Spark-25299] 討論，支持 Spark 動態(tài)資源，成為業(yè)界共識

緩存方案

如何有效支持跨機(jī)房、跨專線混合云

需要在容器內(nèi)支持緩存系統(tǒng)

ACK 調(diào)度

如何解決調(diào)度性能瓶頸

性能對標(biāo) Yarn
多級隊列管理

其他

錯峰調(diào)度
Yarnon ACK 節(jié)點資源相互感知

阿里實踐 - EMR on ACK

整體方案介紹

通過數(shù)據(jù)開發(fā)集群/調(diào)度平臺提交到不同的執(zhí)行平臺
錯峰調(diào)度，根據(jù)業(yè)務(wù)高峰低峰策略調(diào)整
云原生數(shù)據(jù)湖架構(gòu)，ACK 彈性擴(kuò)縮容能力強(qiáng)
通過專線，云上云下混合調(diào)度
ACK 管理異構(gòu)機(jī)型集群，靈活性好

二、Spark 容器化方案

方案介紹

RSS Q&A

1、為什么需要 Remote Shuffle Service？

RSS 使得 Spark 作業(yè)不需要 Executor Pod 掛載云盤。掛載云盤非常不利于擴(kuò)展性和大規(guī)模的生產(chǎn)實踐。
云盤的大小無法事前確定，大了浪費空間，小了 Shuffle 會失敗。RSS 專門為存儲計算分離場景設(shè)計。
Executor 將 shuffle 數(shù)據(jù)寫入了 RSS 系統(tǒng)，RSS 系統(tǒng)來負(fù)責(zé)管理 shuffle 數(shù)據(jù)，Executor 空閑后即可以回收。[SPARK-25299]
可以完美支持動態(tài)資源，避免數(shù)據(jù)傾斜的長尾任務(wù)拖住 Executor 資源不能釋放。
2、RSS 性能如何，成本如何，擴(kuò)展性如何？

RSS 對于 shuffle 有很深的優(yōu)化，專門為存儲與計算分離場景、K8s 彈性場景而設(shè)計。
針對 Shufflefetch 階段，可以將 reduce 階段的隨機(jī)讀變?yōu)轫樞蜃x，大大提升了作業(yè)的穩(wěn)定性和性能。
可以直接利用原有 K8s 集群中的磁盤進(jìn)行部署，不需要加多余的云盤來進(jìn)行 shuffle。性價比非常高，部署方式靈活。

Spark Shuffle

產(chǎn)生 numMapper * numReducer 個 block
順序?qū)?、隨機(jī)讀
寫時 Spill
單副本，丟數(shù)據(jù)需 stage 重算

EMR Remote Shuffle Service

追加寫、順序讀
無寫時 Spill
兩副本；副本復(fù)制到內(nèi)存后即完成
副本之間通過內(nèi)網(wǎng)備份，無需公網(wǎng)帶寬

RSS TeraSort Benchmark

備注說明：以10T Terasort 為例，shuffle 量壓縮后大約 5.6T?？梢钥闯鲈摿考壍淖鳂I(yè)在 RSS 場景下，由于 shuffle read 變?yōu)轫樞蜃x，性能會有大幅提升。

Spark on ECI 效果

Summary

 

本文標(biāo)題：阿里大數(shù)據(jù)云原生化實踐，EMRSparkonACK產(chǎn)品介紹
鏈接分享：http://m.fisionsoft.com.cn/article/djgjgoh.html