建站
咨詢
售后
建站咨詢
新聞中心
在學習Hadoop的過程中，你可能會遇到Hadoop集群搭建的問題，本節(jié)就和大家一起學習Hadoop集群搭建的方法，希望大家能夠掌握。
成都創(chuàng)新互聯(lián)2013年至今，先為左貢等服務(wù)建站，左貢等地企業(yè)，進行企業(yè)商務(wù)咨詢服務(wù)。為左貢企業(yè)網(wǎng)站制作PC+手機+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問題。
Hadoop集群搭建
目的
本文描述了如何安裝、配置和管理有實際意義的Hadoop集群，其規(guī)?？蓮膸讉€節(jié)點的小集群到幾千個節(jié)點的超大集群。
如果你希望在單機上安裝Hadoop玩玩，從這里能找到相關(guān)細節(jié)。
先決條件
確保在你集群中的每個節(jié)點上都安裝了所有必需軟件。
獲取Hadoop軟件包。
安裝
安裝Hadoop集群通常要將安裝軟件解壓到集群內(nèi)的所有機器上。
通常，集群里的一臺機器被指定為NameNode，另一臺不同的機器被指定為JobTracker。這些機器是masters。余下的機器即作為DataNode也作為TaskTracker。這些機器是slaves。
我們用HADOOP_HOME指代安裝的根路徑。通常，集群里的所有機器的HADOOP_HOME路徑相同。
配置
接下來的幾節(jié)描述了Hadoop集群搭建過程中如何配置Hadoop集群。
配置文件
對Hadoop的配置通過conf/目錄下的兩個重要配置文件完成：
hadoop-default.xml-只讀的默認配置。
hadoop-site.xml-集群特有的配置。
要了解更多關(guān)于這些配置文件如何影響Hadoop框架的細節(jié)，請看這里。
此外，通過設(shè)置conf/hadoop-env.sh中的變量為集群特有的值，你可以對bin/目錄下的Hadoop腳本進行控制。
Hadoop集群配置
Hadoop集群搭建過程中要配置Hadoop集群，你需要設(shè)置Hadoop守護進程的運行環(huán)境和Hadoop守護進程的運行參數(shù)。
Hadoop守護進程指NameNode/DataNode和JobTracker/TaskTracker。
配置Hadoop守護進程的運行環(huán)境
管理員可在conf/hadoop-env.sh腳本內(nèi)對Hadoop守護進程的運行環(huán)境做特別指定。
至少，你得設(shè)定JAVA_HOME使之在每一遠端節(jié)點上都被正確設(shè)置。
管理員可以通過配置選項HADOOP_*_OPTS來分別配置各個守護進程。下表是可以配置的選項。
例如，配置Namenode時,為了使其能夠并行回收垃圾（parallelGC），要把下面的代碼加入到hadoop-env.sh:
exportHADOOP_NAMENODE_OPTS="-XX:+UseParallelGC${HADOOP_NAMENODE_OPTS}"
其它可定制的常用參數(shù)還包括：
HADOOP_LOG_DIR-守護進程日志文件的存放目錄。如果不存在會被自動創(chuàng)建。
HADOOP_HEAPSIZE-***可用的堆大小，單位為MB。比如，1000MB。這個參數(shù)用于設(shè)置hadoop守護進程的堆大小。缺省大小是1000MB。
配置Hadoop守護進程的運行參數(shù)
這部分涉及Hadoop集群的重要參數(shù)，這些參數(shù)在conf/hadoop-site.xml中指定。
通常，上述參數(shù)被標記為final以確保它們不被用戶應(yīng)用更改。請期待下界關(guān)于Hadoop集群搭建的介紹。
【編輯推薦】
- Hadoop集群與Hadoop性能優(yōu)化
- 專家指導 如何進行Hadoop分布式集群配置
- Hadoop集群與Hadoop性能優(yōu)化
- HadoopHBase實現(xiàn)配置簡單的單機環(huán)境
- 深入剖析Hadoop HBase
文章名稱：技術(shù)分享 Hadoop集群搭建方法
網(wǎng)站URL：http://m.5511xx.com/article/cceghsd.html
