建站
咨詢
售后
建站咨詢
新聞中心
這里有您想知道的互聯(lián)網(wǎng)營銷解決方案
創(chuàng)新互聯(lián)Hadoop教程：HadoopApplicationMaster
單個作業(yè)的資源管理和任務(wù)監(jiān)控
具體功能描述：
- 計算應(yīng)用的資源需求，資源可以是靜態(tài)或動態(tài)計算的，靜態(tài)的一般是Client申請時就指定了，動態(tài)則需要ApplicationMaster根據(jù)應(yīng)用的運行狀態(tài)來決定
- 根據(jù)數(shù)據(jù)來申請對應(yīng)位置的資源（Data Locality）
- 向ResourceManager申請資源，與NodeManager交互進(jìn)行程序的運行和監(jiān)控，監(jiān)控申請的資源的使用情況，監(jiān)控作業(yè)進(jìn)度
- 跟蹤任務(wù)狀態(tài)和進(jìn)度，定時向ResourceManager發(fā)送心跳消息，報告資源的使用情況和應(yīng)用的進(jìn)度信息
- 負(fù)責(zé)本作業(yè)內(nèi)的任務(wù)的容錯
ApplicationMaster可以是用任何語言編寫的程序，它和ResourceManager和NodeManager之間是通過ProtocolBuf交互，以前是一個全局的JobTracker負(fù)責(zé)的，現(xiàn)在每個作業(yè)都一個，可伸縮性更強(qiáng)，至少不會因為作業(yè)太多，造成JobTracker瓶頸。同時將作業(yè)的邏輯放到一個獨立的ApplicationMaster中，使得靈活性更加高，每個作業(yè)都可以有自己的處理方式，不用綁定到MapReduce的處理模式上
如何計算資源需求
一般的MapReduce是根據(jù)block數(shù)量來定Map和Reduce的計算數(shù)量，然后一般的Map或Reduce就占用一個Container
如何發(fā)現(xiàn)數(shù)據(jù)的本地化
數(shù)據(jù)本地化是通過HDFS的block分片信息獲取的
當(dāng)前題目：創(chuàng)新互聯(lián)Hadoop教程：HadoopApplicationMaster
文章起源：http://m.fisionsoft.com.cn/article/ccooddo.html
