建站
咨詢(xún)
售后
建站咨詢(xún)
新聞中心
注意，配置這些參數(shù)前，應(yīng)充分理解這幾個(gè)參數(shù)的含義，以防止誤配給集群帶來(lái)的隱患。另外，這些參數(shù)均需要在yarn-site.xml中配置。
為邵陽(yáng)等地區(qū)用戶(hù)提供了全套網(wǎng)頁(yè)設(shè)計(jì)制作服務(wù)，及邵陽(yáng)網(wǎng)站建設(shè)行業(yè)解決方案。主營(yíng)業(yè)務(wù)為成都網(wǎng)站建設(shè)、做網(wǎng)站、邵陽(yáng)網(wǎng)站設(shè)計(jì)，以傳統(tǒng)方式定制建設(shè)網(wǎng)站，并提供域名空間備案等一條龍服務(wù)，秉承以專(zhuān)業(yè)、用心的態(tài)度為用戶(hù)提供真誠(chéng)的服務(wù)。我們深信只要達(dá)到每一位用戶(hù)的要求，就會(huì)得到認(rèn)可，從而選擇與我們長(zhǎng)期合作。這樣，我們也可以走得更遠(yuǎn)！
1. ResourceManager相關(guān)配置參數(shù)
（1） yarn.resourcemanager.address
參數(shù)解釋?zhuān)篟esourceManager 對(duì)客戶(hù)端暴露的地址。客戶(hù)端通過(guò)該地址向RM提交應(yīng)用程序，殺死應(yīng)用程序等。
默認(rèn)值：${yarn.resourcemanager.hostname}:8032
（2） yarn.resourcemanager.scheduler.address
參數(shù)解釋?zhuān)篟esourceManager 對(duì)ApplicationMaster暴露的訪問(wèn)地址。ApplicationMaster通過(guò)該地址向RM申請(qǐng)資源、釋放資源等。
默認(rèn)值：${yarn.resourcemanager.hostname}:8030
（3） yarn.resourcemanager.resource-tracker.address
參數(shù)解釋?zhuān)篟esourceManager 對(duì)NodeManager暴露的地址.。NodeManager通過(guò)該地址向RM匯報(bào)心跳，領(lǐng)取任務(wù)等。
默認(rèn)值：${yarn.resourcemanager.hostname}:8031
（4） yarn.resourcemanager.admin.address
參數(shù)解釋?zhuān)篟esourceManager 對(duì)管理員暴露的訪問(wèn)地址。管理員通過(guò)該地址向RM發(fā)送管理命令等。
默認(rèn)值：${yarn.resourcemanager.hostname}:8033
（5） yarn.resourcemanager.webapp.address
參數(shù)解釋?zhuān)篟esourceManager對(duì)外web ui地址。用戶(hù)可通過(guò)該地址在瀏覽器中查看集群各類(lèi)信息。
默認(rèn)值：${yarn.resourcemanager.hostname}:8088
（6） yarn.resourcemanager.scheduler.class
參數(shù)解釋?zhuān)簡(jiǎn)⒂玫馁Y源調(diào)度器主類(lèi)。目前可用的有FIFO、Capacity Scheduler和Fair Scheduler。
默認(rèn)值：
org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler
（7） yarn.resourcemanager.resource-tracker.client.thread-count
參數(shù)解釋?zhuān)禾幚韥?lái)自NodeManager的RPC請(qǐng)求的Handler數(shù)目。
默認(rèn)值：50
（8） yarn.resourcemanager.scheduler.client.thread-count
參數(shù)解釋?zhuān)禾幚韥?lái)自ApplicationMaster的RPC請(qǐng)求的Handler數(shù)目。
默認(rèn)值：50
（9） yarn.scheduler.minimum-allocation-mb/ yarn.scheduler.maximum-allocation-mb
參數(shù)解釋?zhuān)簡(jiǎn)蝹€(gè)可申請(qǐng)的最小/***內(nèi)存資源量。比如設(shè)置為1024和3072，則運(yùn)行MapRedce作業(yè)時(shí)，每個(gè)Task最少可申請(qǐng)1024MB內(nèi)存，最多可申請(qǐng)3072MB內(nèi)存。
默認(rèn)值：1024/8192
（10） yarn.scheduler.minimum-allocation-vcores / yarn.scheduler.maximum-allocation-vcores
參數(shù)解釋?zhuān)簡(jiǎn)蝹€(gè)可申請(qǐng)的最小/***虛擬CPU個(gè)數(shù)。比如設(shè)置為1和4，則運(yùn)行MapRedce作業(yè)時(shí)，每個(gè)Task最少可申請(qǐng)1個(gè)虛擬CPU，最多可申請(qǐng)4個(gè)虛擬CPU。什么是虛擬CPU，可閱讀我的這篇文章：“YARN 資源調(diào)度器剖析”。
默認(rèn)值：1/32
（11） yarn.resourcemanager.nodes.include-path /yarn.resourcemanager.nodes.exclude-path
參數(shù)解釋?zhuān)篘odeManager黑白名單。如果發(fā)現(xiàn)若干個(gè)NodeManager存在問(wèn)題，比如故障率很高，任務(wù)運(yùn)行失敗率高，則可以將之加入黑名單中。注意，這兩個(gè)配置參數(shù)可以動(dòng)態(tài)生效。（調(diào)用一個(gè)refresh命令即可）
默認(rèn)值：“”
（12） yarn.resourcemanager.nodemanagers.heartbeat-interval-ms
參數(shù)解釋?zhuān)篘odeManager心跳間隔
默認(rèn)值：1000（毫秒）
2. NodeManager相關(guān)配置參數(shù)
（1） yarn.nodemanager.resource.memory-mb
參數(shù)解釋?zhuān)篘odeManager總的可用物理內(nèi)存。注意，該參數(shù)是不可修改的，一旦設(shè)置，整個(gè)運(yùn)行過(guò)程中不 可動(dòng)態(tài)修改。另外，該參數(shù)的默認(rèn)值是8192MB，即使你的機(jī)器內(nèi)存不夠8192MB，YARN也會(huì)按照這些內(nèi)存來(lái)使用（傻不傻？），因此，這個(gè)值通過(guò)一 定要配置。不過(guò)，Apache已經(jīng)正在嘗試將該參數(shù)做成可動(dòng)態(tài)修改的。
默認(rèn)值：8192
（2） yarn.nodemanager.vmem-pmem-ratio
參數(shù)解釋?zhuān)好渴褂?MB物理內(nèi)存，最多可用的虛擬內(nèi)存數(shù)。
默認(rèn)值：2.1
（3） yarn.nodemanager.resource.cpu-vcores
參數(shù)解釋?zhuān)篘odeManager總的可用虛擬CPU個(gè)數(shù)。
默認(rèn)值：8
（4） yarn.nodemanager.local-dirs
參數(shù)解釋?zhuān)褐虚g結(jié)果存放位置，類(lèi)似于1.0中的mapred.local.dir。注意，這個(gè)參數(shù)通常會(huì)配置多個(gè)目錄，已分?jǐn)偞疟P(pán)IO負(fù)載。
默認(rèn)值：${hadoop.tmp.dir}/nm-local-dir
（5） yarn.nodemanager.log-dirs
參數(shù)解釋?zhuān)喝罩敬娣诺刂罚膳渲枚鄠€(gè)目錄）。
默認(rèn)值：${yarn.log.dir}/userlogs
（6） yarn.nodemanager.log.retain-seconds
參數(shù)解釋?zhuān)篘odeManager上日志最多存放時(shí)間（不啟用日志聚集功能時(shí)有效）。
默認(rèn)值：10800（3小時(shí)）
（7） yarn.nodemanager.aux-services
參數(shù)解釋?zhuān)篘odeManager上運(yùn)行的附屬服務(wù)。需配置成mapreduce_shuffle，才可運(yùn)行MapReduce程序
默認(rèn)值：“”
網(wǎng)頁(yè)標(biāo)題：HadoopYARN配置參數(shù)剖析(1)—RM與NM相關(guān)參數(shù)
標(biāo)題鏈接：http://m.fisionsoft.com.cn/article/djpshhd.html
