建站
咨詢
售后
建站咨詢
新聞中心
隨著YARN的成熟和穩(wěn)定（2013年8月25日已經(jīng)發(fā)布beta版），必將形成一個以YARN為核心的生態(tài)系統(tǒng)，在該生態(tài)系統(tǒng)中，所有計(jì)算相關(guān)的框架可 運(yùn)行在一個YARN集群中（由于YARN本身設(shè)計(jì)上的一些問題，目前還難以運(yùn)行通用的服務(wù)，比如Web Server、HBase等，未來趨勢肯定是各類系統(tǒng)或者服務(wù)可運(yùn)行在一個集群中，進(jìn)行統(tǒng)一資源管理和調(diào)度）。為了關(guān)注該方向的技術(shù)動態(tài)和發(fā)展趨勢，本博 客開辟一個“運(yùn)行在YARN上的框架”（framework-on-yarn）專欄，歡迎各位關(guān)注。作為這個專欄***篇文章，將介紹一下這種模式的好處以 及當(dāng)前運(yùn)行在YARN上相對而言較為成熟的計(jì)算框架。
專注于為中小企業(yè)提供成都網(wǎng)站設(shè)計(jì)、做網(wǎng)站服務(wù),電腦端+手機(jī)端+微信端的三站合一,更高效的管理,為中小企業(yè)礦區(qū)免費(fèi)做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動了近1000家企業(yè)的穩(wěn)健成長，幫助中小企業(yè)通過網(wǎng)站建設(shè)實(shí)現(xiàn)規(guī)模擴(kuò)充和轉(zhuǎn)變。
1. 將框架運(yùn)行在YARN上帶來的好處
隨著YARN的的成熟和穩(wěn)定，各類應(yīng)用程序可以運(yùn)行在一個YARN集群中進(jìn)行統(tǒng)一資源管理和調(diào)度，這樣帶來的變化如下：
（1）應(yīng)用程序部署變得更加簡單
管理員只需部署YARN服務(wù)即可，各類應(yīng)用程序框架不再自帶服務(wù)，無需實(shí)現(xiàn)部署，它們已經(jīng)變成了客戶端編程庫（library），由YARN提供的分布式緩存機(jī)制分發(fā)到各個節(jié)點(diǎn)上；
（2）服務(wù)部署變得簡單
用戶可以通過運(yùn)行一個應(yīng)用程序的方式部署一套服務(wù)，比如Storm服務(wù)，至于jar包拷貝等工作，完全由YARN自動完成，部署完成后，用戶像使用普通的Storm集群那樣使用Storm-On-YARN
（3）多版本共享集群資源（簡單的隔離）
由于YARN只負(fù)責(zé)資源管理和調(diào)度，至于其上運(yùn)行什么應(yīng)用或者服務(wù)，完全由用戶自己決定，這使得用戶可在YARN上運(yùn)行多個同類服務(wù)實(shí)例，比如運(yùn)行 多個Storm實(shí)例供不同類型的應(yīng)用，YARN本身可以為這些實(shí)例提供隔離機(jī)制（Cgroups）。有了YARN之后，用戶開發(fā)新的框架或者應(yīng)用程序時， 可不必在考慮資源隔離問題。
（4）資源彈性管理
由于多類應(yīng)用運(yùn)行在一個YARN集群中，比如離線計(jì)算、實(shí)時計(jì)算、DAG計(jì)算等，YARN可根據(jù)不同類型的應(yīng)用程序壓力情況，調(diào)整對應(yīng)的資源使用量，實(shí)現(xiàn)資源彈性管理。
2. 目前可運(yùn)行在YARN上的計(jì)算框架
運(yùn)行在YARN上的框架，包括MapReduce-On-YARN, Spark-On-YARN, Storm-On-YARN和Tez-On-YARN。
（1）MapReduce-On-YARN：YARN上的離線計(jì)算，YARN發(fā)行版中自帶該實(shí)現(xiàn)，隨著YARN的穩(wěn)定，MRv1運(yùn)行方式會被淘汰；
（2）Spark-On-YARN：YARN上的內(nèi)存計(jì)算；
（3）Storm-On-YARN：YARN上的實(shí)時/流式計(jì)算；
（4）Tez-On-YARN：YARN上的DAG計(jì)算
3. 其他相關(guān)文章閱讀
我之前寫過一些類似的文章，有興趣的讀者可閱讀以下幾篇：
（1）Storm On YARN：http://dongxicheng.org/mapreduce-nextgen/storm-on-yarn/
（2）Tez On YARN：http://dongxicheng.org/mapreduce-nextgen/apache-tez-newest-progress/
（3）利用下一代Hadoop YARN構(gòu)建彈性計(jì)算平臺：http://dongxicheng.org/mapreduce-nextgen/use-hadoop-yarn-to-build-a-cloud-system/
（4）從問題域觸發(fā)理解Hadoop生態(tài)系統(tǒng)：http://dongxicheng.org/mapreduce-nextgen/rethinking-hadoop-from-problems-solved/
（5）解析Google資源管理系統(tǒng)Omega：http://dongxicheng.org/mapreduce-nextgen/google-omega/
（6）淺談Omega/Torca/Mesos/YARN一類系統(tǒng)：http://dongxicheng.org/mapreduce-nextgen/borg-yarn-mesos-torca-corona/
（7）多集群下資源共享方案介紹：http://dongxicheng.org/mapreduce-nextgen/multi-clusters-sharing-resources/
原文鏈接：http://dongxicheng.org/framework-on-yarn/distributed-computing-framework-on-yarn/
當(dāng)前名稱：運(yùn)行在YARN上的計(jì)算框架
本文路徑：http://m.fisionsoft.com.cn/article/cdsogdc.html
