建站
咨詢
售后
建站咨詢
新聞中心
本節(jié)向大家介紹一下Hadoop0.20更新的內(nèi)容，在學(xué)習(xí)Hadoop的過程中你可能會遇到這方面的問題，在這里和大家分享一下，相信通過本節(jié)的介紹大家對Hadoop0.20更新有一定的認(rèn)識。下面是詳細(xì)介紹。
讓客戶滿意是我們工作的目標(biāo)，不斷超越客戶的期望值來自于我們對這個行業(yè)的熱愛。我們立志把好的技術(shù)通過有效、簡單的方式提供給客戶，將通過不懈努力成為客戶在信息化領(lǐng)域值得信任、有價值的長期合作伙伴，公司提供的服務(wù)項目有：域名注冊、雅安服務(wù)器托管、營銷軟件、網(wǎng)站建設(shè)、龍口網(wǎng)站維護、網(wǎng)站推廣。
Hadoop0.20更新筆記
最近學(xué)習(xí)hadoop0.20.1，網(wǎng)上找到一篇文章《What’sNewinHadoopCore0.20》，非完整的給翻譯了一下，為以后檢索方便，發(fā)上來保存一份。如果能讀懂英文的，千萬不要看下面的中文。
HadoopCore0.20.0在2009年4月22日發(fā)布。這一發(fā)布相對0.19發(fā)布，有很多用戶使用層面上的改變。
Core
Hadoop中兩個主要的組件是分布式文件系統(tǒng)（HDFS）和MapReduce，那兩個組件分別挪入各自的子項目中，因此他們能擁有自己的發(fā)布周期，并且更容易對開發(fā)進行管理。但是在0.20發(fā)布中，這兩個組件還是在一起發(fā)布。在這次發(fā)布中，hadoop-size.xml被拆分成三個配置文件：core-site.xml、hdfs-site.xml和mapred-site.xml（HADOOP-4631）。你也可以繼續(xù)使用單一的hadoop-site.xml，hadoop僅僅會提出一個警告而已。默認(rèn)配置文件已經(jīng)移出conf文件夾，轉(zhuǎn)而放到.jar文件中，其內(nèi)容可以看docs文件夾中的html文件。不贊成start-all.sh、stop-all.sh的使用，建議使用start-dfs.sh、start-mapred.sh、stop-dfs.sh、stop-mapred.sh來代替。
上面說的是一些主要的變化，而允許slaves文件中加注注釋（HADOOP-4454）對實際操作更為有用。
Hadoop配置文件支持Xinclude元素，用于引入其他的配置文件(HADOOP-4944(url:https://issues.apache.org/jira/browse/HADOOP-4944))。這一機制能讓配置文件更加模塊化、更易于重用。
圍繞安全問題，hadoop作出了一系列動作。其中0.20.0增加了service-levelauthorization(HADOOP-4348)。開發(fā)人員能夠限制客戶端與hadoopdaemons的通信。
LZOcompressionlibraries因為許可的原因移出了hadoopcore，如果你的代碼使用GPL許可證，你還是能從hadoop-gpl-compression項目中得到LZO。
HDFS
HSFSappend從0.19.1開始默認(rèn)disable。
hadoop增加了一個新的管理命令：hadoopdfsadmin-saveNamespace。在安全模式下，這個命令能讓namenode轉(zhuǎn)存namespace到磁盤。
MapReduce
在Hadoop0.20更新中，***的變化是加入了一個叫“ContextObjects”的新JavaAPI。把Mapper和Reduce通過引入ContextObject變成抽象類（不是接口），是為了讓API將來更易于演進。
1.JobConf不再存在，Job配置信息由Configuration持有；
2.現(xiàn)在在map()或reduce()方法中，更容易得到j(luò)ob配置信息。僅需要調(diào)用context.getConfiguration()。
3.新的API支持pull形式的迭代。在此之前，如果你想在mapper中遍歷一下記錄，你不得不把他們保存到Mapper類的實例變量中。在新的API中，只需要調(diào)用nextKeyValue()即可。
4.你還能覆蓋run()方法，來控制mapper如何運行。
5.新API中不再有IdentityMapper和IdentityReducer兩個類，因為默認(rèn)Mapper和Reducer執(zhí)行了標(biāo)識函數(shù)。
新的API并非向后兼容，所以你必須重寫你的應(yīng)用。注意，新的API在org.apache.hadoop.mapreduce包及其子包中，而舊的API在org.apache.hadoop.mapred。
Multipletaskassignment，這一優(yōu)化讓JobTracker在一次心跳周期內(nèi)能分配給tasktracker多個任務(wù)，提高了利用率。同時引入mapred.reduce.slowstart.completed.maps新的配置參數(shù)（默認(rèn)0.05）。
Inputformats增加了一些有意思的改進。FileInputFormat在選擇那個主機有更多的需要分割的文件上做的更好。在另一方面0.20引入了CombineFileInputFormat類，他能把許多小文件變成一個split。
Gridmix2是第二代MapReduce工作量基準(zhǔn)模型套件。
Contrib
兩個新捐獻(xiàn)的模塊在0.20分支中出現(xiàn)：
HDFSProxy，他能暴露HDFS一個只讀的HSFTP接口，用于提供安全的、只讀的訪問。
Vaidya，這是一個工具，用于在MapReducejob運行后通過檢查作業(yè)歷史和配置信息來診斷錯誤。針對常見的問題能提供一些改進意見，使得你的代碼能避免出錯。本節(jié)關(guān)于Hadoop0.20更新介紹到這里。
【編輯推薦】
- Hadoop-0.20.0源代碼中關(guān)鍵的類
- Hadoop0.20.2集群配置入門指導(dǎo)手冊
- Hadoop文件系統(tǒng)如何快速安裝？
- Hadoop集群搭建過程中相關(guān)環(huán)境配置詳解
- Hadoop完全分布模式安裝實現(xiàn)詳解
分享標(biāo)題：Hadoop0.20更新筆記
瀏覽路徑：http://m.fisionsoft.com.cn/article/dpicecj.html
