建站
咨詢
售后
建站咨詢
新聞中心
本節(jié)向大家介紹一下利用Cloudera 實現(xiàn)Hadoop 的方法，這里主要介紹一下Hadoop的概念和利用Cloudera 實現(xiàn) Hadoop 的規(guī)劃，希望通過本節(jié)的介紹大家對利用Cloudera 實現(xiàn)Hadoop 有一定的認識。
在永順等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強發(fā)展的系統(tǒng)性、市場前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務理念，為客戶提供成都做網(wǎng)站、成都網(wǎng)站設計 網(wǎng)站設計制作按需開發(fā)網(wǎng)站,公司網(wǎng)站建設,企業(yè)網(wǎng)站建設,品牌網(wǎng)站建設,全網(wǎng)整合營銷推廣,成都外貿(mào)網(wǎng)站制作,永順網(wǎng)站建設費用合理。
利用 Cloudera 實現(xiàn)Hadoop
前言
Hadoop 是一個實現(xiàn)了 MapReduce 計算模型的開源分布式并行編程框架。MapReduce的概念來源于Google實驗室，它是一個簡化并行計算的編程模型，適用于大規(guī)模集群上的海量數(shù)據(jù)處理，目前最成功的應用是分布式搜索引擎。隨著2007年底該模式Java開源實現(xiàn)項目Apache Hadoop的出現(xiàn)，使得程序員可以輕松地編寫分布式并行程序，并將其運行于計算機集群上，完成海量數(shù)據(jù)的計算。近兩年尤其是今年國內(nèi)外采用 MapReduce模型的應用也逐漸豐富起來，如像NTT KDDI和中國移動這類的電信公司采用該模型分析用戶信息，優(yōu)化網(wǎng)絡配置；美國供電局采用該模型來分析電網(wǎng)現(xiàn)狀；包括VISA和JP摩根在內(nèi)的金融公司采用該模型來分析股票數(shù)據(jù)；包括Amazon和ebay在內(nèi)的零售商和電子商務公司也開始采用該模型；甚至部分生物公司也采用該模型來進行DNA測序和分析。然而Hadoop安裝、部署、管理的難度非常大，這使用很多用戶對Hadoop望而卻步，好在這種情況不久就得到了改善，Cloudera提供了非常簡單的Hadoop的發(fā)布版本，能夠十分方便地對Hadoop進行安裝、部署和管理，這導致目前大約有75％的Hadoop新用戶使用Cloudera。下面是利用Cloudera 實現(xiàn)Hadoop 的具體規(guī)劃。
規(guī)劃
運行模式
Hadoop有三種運行模式：單機（非分布）運行模式、偽分布運行模式和分布式運行模式。其中前兩種運行模式體現(xiàn)不了 Hadoop 分布式計算的優(yōu)勢，并沒有什么實際意義（當然它們對程序的測試及調(diào)試還是很有幫助的），因此在這里還是采用實際環(huán)境中使用的分布式運行模式來部署。
主機規(guī)劃
在這里擬采用三臺主機搭建Hadoop環(huán)境，由于后期還需要測試增刪主機及跨網(wǎng)段主機對Hadoop環(huán)境的影響，特將Hadoop主機規(guī)劃如下：Hadoop-01 10.137.253.201Hadoop-02 10.137.253.202Hadoop-03 10.137.253.203 準備后期加入的測試主機Hadoop-04 10.137.253.204Firehare-303 10.10.3.30 準備后期加入的跨網(wǎng)段測試主機
Hadoop環(huán)境規(guī)劃
對于Hadoop來說，最主要的是兩個內(nèi)容，一是分布式文件系統(tǒng)HDFS，一是MapReduce計算模型。在分布式文件系統(tǒng)HDFS看來，節(jié)點分為NameNode 和DataNode，其中NameNode只有一個，DataNode可以是很多；在MapReduce計算模型看來，節(jié)點又可分為JobTracker 和 TaskTracker，其中JobTracker只有一個，TaskTracker可以是很多。因此在實際的Hadoop環(huán)境中通常有兩臺主節(jié)點,一臺作為NameNode（I/O節(jié)點？？）,一臺作為JobTracker（管理節(jié)點？？）,剩下的都是從節(jié)點，同時當做DataNode和 TaskTracker使用。當然也可以將NameNode和JobTracker安裝在一臺主節(jié)點上。由于測試機數(shù)量有限，所以在這里是讓 Hadoop-01做為Namenode和Jobtracker，其它主機則作為DataNode和TaskTracker（如果Hadoop環(huán)境中主機數(shù)量很多的話，還是建議將Namenode和JobTracker部署到不同的主機，以提高計算的性能）。本節(jié)關于利用Cloudera 實現(xiàn)Hadoop 的規(guī)劃介紹完畢，請關注下節(jié)Hadoop安裝。
【編輯推薦】
- Windows下輕松實現(xiàn)Hadoop開發(fā)環(huán)境安全配置
- 輕松實現(xiàn)Hadoop Hdfs配置
- 專家講解 Hadoop:HBASE松散數(shù)據(jù)存儲設計
- 兩種模式運行Hadoop分布式并行程序
- Hadoop應用之Hadoop安裝篇
本文標題：Cloudera下實現(xiàn)Hadoop方案規(guī)劃
轉(zhuǎn)載源于：http://m.fisionsoft.com.cn/article/djhdcdg.html
