建站
咨詢(xún)
售后
建站咨詢(xún)
新聞中心
本節(jié)接著上節(jié)介紹Cloudera 實(shí)現(xiàn)Hadoop 的方法，本節(jié)主要介紹一下對(duì)Hadoop的相關(guān)設(shè)置，相信通過(guò)本節(jié)的介紹大家對(duì)Cloudera 實(shí)現(xiàn)Hadoop 方法有一定的了解。
成都創(chuàng)新互聯(lián)公司網(wǎng)站建設(shè)提供從項(xiàng)目策劃、軟件開(kāi)發(fā)，軟件安全維護(hù)、網(wǎng)站優(yōu)化(SEO)、網(wǎng)站分析、效果評(píng)估等整套的建站服務(wù)，主營(yíng)業(yè)務(wù)為成都做網(wǎng)站、網(wǎng)站制作，成都App制作以傳統(tǒng)方式定制建設(shè)網(wǎng)站，并提供域名空間備案等一條龍服務(wù)，秉承以專(zhuān)業(yè)、用心的態(tài)度為用戶(hù)提供真誠(chéng)的服務(wù)。成都創(chuàng)新互聯(lián)公司深信只要達(dá)到每一位用戶(hù)的要求，就會(huì)得到認(rèn)可，從而選擇與我們長(zhǎng)期合作。這樣，我們也可以走得更遠(yuǎn)！
設(shè)置主節(jié)點(diǎn)的Hadoop
設(shè)置JAVA_HOME
Hadoop的JAVA_HOME是在文件/etc/conf/hadoop-env.sh中設(shè)置，具體設(shè)置如下：
sudo vi /etc/conf/hadoop-env.shexport JAVA_HOME="/usr/lib/jvm/java-6-sun"
Hadoop的核心配置
Hadoop的核心配置文件是/etc/hadoop/conf/core-site.xml，具體配置如下：
設(shè)置Hadoop的分布式存儲(chǔ)環(huán)境
Cloudera 實(shí)現(xiàn)Hadoop 過(guò)程中Hadoop的分布式環(huán)境設(shè)置主要是通過(guò)文件/etc/hadoop/conf/hdfs-site.xml來(lái)實(shí)現(xiàn)的，具體配置如下：
設(shè)置Hapoop的分布式計(jì)算環(huán)境
Cloudera 實(shí)現(xiàn)Hadoop 過(guò)程中Hadoop的分布式計(jì)算是采用了Map/Reduce算法，該算法環(huán)境的設(shè)置主要是通過(guò)文件/etc/hadoop/conf/mapred-site.xml來(lái)實(shí)現(xiàn)的，具體配置如下：
設(shè)置Hadoop的主從節(jié)點(diǎn)
首先設(shè)置主節(jié)點(diǎn)，編輯/etc/hadoop/conf/masters文件，如下所示：
hadoop-01然后是設(shè)置從節(jié)點(diǎn)，編輯/etc/hadoop/conf/slaves文件，如下所示：
hadoop-02hadoop-03hadoop-04firehare-303
設(shè)置從節(jié)點(diǎn)上的Hadoop
從節(jié)點(diǎn)上的Hadoop設(shè)置很簡(jiǎn)單，只需要將主節(jié)點(diǎn)上的Hadoop設(shè)置，復(fù)制一份到從節(jié)點(diǎn)上即可。
scp -r /etc/hadoop/conf hadoop-02:/etc/hadoopscp -r /etc/hadoop/conf hadoop-03:/etc/hadoopscp -r /etc/hadoop/conf hadoop-04:/etc/hadoopscp -r /etc/hadoop/conf firehare-303:/etc/hadoop。Cloudera 實(shí)現(xiàn)Hadoop過(guò)程中對(duì)Hadoop配置完以后需要啟動(dòng)Hadoop服務(wù)。
啟動(dòng)Hadoop
格式化分布式文件系統(tǒng)
在啟動(dòng)Hadoop之前還要做***一個(gè)準(zhǔn)備工作，那就是格式化分布式文件系統(tǒng)，這個(gè)只需要在主節(jié)點(diǎn)做就行了，具體如下：
/usr/lib/hadoop-0.20/bin/hadoop namenode -format
啟動(dòng)Hadoop服務(wù)
啟動(dòng)Hadoop可以通過(guò)以下命令來(lái)實(shí)現(xiàn)：
/usr/lib/hadoop-0.20/bin/start-all.sh注意：該命令是沒(méi)有加sudo的，如果加了sudo就會(huì)提示出錯(cuò)信息的，因?yàn)閞oot用戶(hù)并沒(méi)有做無(wú)驗(yàn)證ssh設(shè)置。以下是輸出信息，注意hadoop-03是故意沒(méi)接的，所以出現(xiàn)No route to host信息。 這樣Hadoop就正常啟動(dòng)了！
測(cè)試Hadoop
Hadoop架設(shè)好了，接下來(lái)就是要對(duì)其進(jìn)行測(cè)試，看看它是否能正常工作，如果測(cè)試已經(jīng)成功，這說(shuō)明Hadoop部署成功，能夠在上面進(jìn)行Map/Reduce分布性計(jì)算了。 本節(jié)關(guān)于Cloudera 實(shí)現(xiàn)Hadoop的相關(guān)內(nèi)容到這里就結(jié)束了，謝謝關(guān)注。
網(wǎng)站名稱(chēng)：Cloudera實(shí)現(xiàn)Hadoop過(guò)程中Hadoop設(shè)置揭秘
轉(zhuǎn)載源于：http://m.5511xx.com/article/djcoicc.html
