建站
咨詢
售后
建站咨詢
新聞中心
本節(jié)和大家一起學(xué)習(xí)一下Hadoop Hdfs配置方法，希望通過本節(jié)的介紹大家能夠掌握如何配置Hadoop Hdfs，以便在以后的學(xué)習(xí)過程中碰到此類問題是能快速解決。下面是具體介紹。
十載建站經(jīng)驗(yàn)， 做網(wǎng)站、成都網(wǎng)站設(shè)計(jì)客戶的見證與正確選擇。創(chuàng)新互聯(lián)提供完善的營銷型網(wǎng)頁建站明細(xì)報(bào)價(jià)表。后期開發(fā)更加便捷高效，我們致力于追求更美、更快、更規(guī)范。
Hadoop Hdfs配置
環(huán)境:
Jdk1.6
Hadoop-2.20.1
Fuse-2.8.1
--------------------------------------------------------------------------------
Jdk1.6下載地址
http://cds.sun.com/is-bin/INTERSHOP.enfinity/WFS/CDS-CDS_Developer-Site/en_US/-/USD/VerifyItem-Start/jdk-6u14-linux-i586.bin?BundledLineItemUUID=.1JIBe.mR4oAAAEh1jkH4cNK&OrderID=SHBIBe.mbIYAAAEhwDkH4cNK&ProductID=4ZhIBe.o8c4AAAEhkh0zLjfT&FileName=/jdk-6u14-linux-i586.bin
hadoop-2.20.1下載地址http://www.apache.org/dyn/closer.cgi/hadoop/core/
Fuse-2.8.1下載地址http://sourceforge.net/projects/fuse/files/fuse-2.X/
NameNode192.168.1.11Centos5.3hostnamemaster-dfs
JobTracker192.168.1.11(這個(gè)也可單獨(dú)配置一臺(tái))
DataNode192.168.1.12Centos5.3hostname:data-dfs
Client192.168.1.13Centos5.3hostname:client-dfs
Hadoop Hdfs配置先決條件
配置ssh自動(dòng)登陸，詳細(xì)見http://hadoop.apache.org/common/docs/r0.20.0/quickstart.html
安裝
1、JDK安裝,解壓到/usr/local/jdk1.6,并配置/etc/profile環(huán)境
exportJAVA_HOME=/usr/local/jdk1.6
exportPATH=$JAVA_HOME/bin:$JAVA_HOME/jre:$PATH
exportCLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar
2、下載Hadoop解壓到每臺(tái)服務(wù)器的/data/soft目錄下，***目錄都相同。
tarzxvfhadoop-2.20.1.tar.gz
配置
配置說明
Hadoop Hdfs配置過程中Hadoop的具體配置選項(xiàng)說明詳見http://www.hadoop.org.cn/document/cn/r0.18.2/cluster_setup.html
1、修改conf/hadoop-env.sh，添加jdk支持，exportJAVA_HOME=/usr/local/jdk1.6
2、cd/data/soft/hadoop-2.20.1修改hadoop目錄下的conf/core-site.xml文件，增加以下內(nèi)容：
fs.default.name hdfs://ws:54310 //你的namenode的配置，機(jī)器名加端口dfs.name.dir /data/hdfs/hdfs1 //NameNode持久存儲(chǔ)名字空間及事務(wù)日志的本地文件系統(tǒng)路徑。dfs.data.dir //DataNode存放塊數(shù)據(jù)的本地文件系統(tǒng)路徑，逗號(hào)分割的列表。/data/hdfs/hdfsdata1 hadoop.tmp.dir >//Hadoop的默認(rèn)臨時(shí)路徑，這個(gè)***配置，然后在新增節(jié)點(diǎn)或者其他情況下莫名其妙的DataNode啟動(dòng)不了，就刪除此文件中的tmp目錄即可。- 不過如果刪除了NameNode機(jī)器的此目錄，那么就需要重新執(zhí)行NameNode格式化的命令了。
/data/hdfs/hdfstmp Abaseforothertemporarydirectories. dfs.replication //數(shù)據(jù)需要備份的數(shù)量，默認(rèn)是三1
3、修改conf/mapred-site.xml增加如下內(nèi)容：
mapred.job.tracker //JobTracker的主機(jī)（或者IP）和端口。ws:54311
4、配置/masters,修改conf//masters
master-dfs
修改hosts文件vi/etc/hosts
192.168.1.11master-dfs
192.168.1.12data-dfs
192.168.1.13client-dfs，請(qǐng)期待下節(jié)有關(guān)Hadoop Hdfs配置介紹。
網(wǎng)站標(biāo)題：輕松實(shí)現(xiàn)HadoopHdfs配置
新聞來源：http://m.fisionsoft.com.cn/article/cdgccgj.html
