建站
咨詢
售后
建站咨詢
新聞中心
本節(jié)向大家介紹一下HadoopOnDemand配置方面的內(nèi)容，主要介紹一些中HadoopOnDemand常用的配置項(xiàng)，相信通過(guò)本節(jié)的介紹大家對(duì)HadoopOnDemand的配置有新的認(rèn)識(shí)，讓我們一起來(lái)學(xué)習(xí)吧。
在姑蘇等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強(qiáng)發(fā)展的系統(tǒng)性、市場(chǎng)前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務(wù)理念，為客戶提供網(wǎng)站設(shè)計(jì)制作、成都網(wǎng)站制作 網(wǎng)站設(shè)計(jì)制作按需制作網(wǎng)站,公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),品牌網(wǎng)站制作,營(yíng)銷型網(wǎng)站建設(shè),成都外貿(mào)網(wǎng)站建設(shè)公司,姑蘇網(wǎng)站建設(shè)費(fèi)用合理。
3.4HadoopOnDemand中ringmaster的配置項(xiàng)
work-dirs：這是一個(gè)由逗號(hào)分隔的路徑列表，這些路徑將作為HOD產(chǎn)生和傳遞給Hadoop，用于存放DFS和Map/Reduce數(shù)據(jù)的目錄的根目錄。例如，這是DFS數(shù)據(jù)塊存放的路徑。一般情況下，有多少塊磁盤就指定多少路徑，以確保所有的磁盤都被利用到。temp-dir變量的限制和注意事項(xiàng)在這兒同樣適用。
max-master-failures：hadoop主守護(hù)進(jìn)啟動(dòng)前可以失敗的次數(shù)，超出這個(gè)次數(shù)后，HOD會(huì)讓這次集群分配失敗。在HOD集群中，有時(shí)候由于某些問(wèn)題，比如機(jī)器沒(méi)安裝java，沒(méi)有安裝Hadoop，或者Hadoop版本錯(cuò)誤等，會(huì)存在一個(gè)或幾個(gè)“壞”節(jié)點(diǎn)。當(dāng)這個(gè)配置項(xiàng)被設(shè)為正整數(shù)時(shí)，只有當(dāng)hadoopmatser（JobTracker或者NameNode）在上述的壞節(jié)點(diǎn)上，由于上面提到的種種原因啟動(dòng)失敗的次數(shù)超過(guò)設(shè)定的值時(shí)，RingMaster才會(huì)把錯(cuò)誤返回給客戶端。如果嘗試啟動(dòng)的次數(shù)沒(méi)有超過(guò)設(shè)定值，當(dāng)下一個(gè)HodRing請(qǐng)求運(yùn)行一個(gè)命令時(shí)，同一個(gè)hadoopmaster會(huì)指定給這個(gè)HodRing。這樣，即使集群中存在一些壞的節(jié)點(diǎn)，HOD也會(huì)盡全力使這次分配成功。
3.5HadoopOnDemand中g(shù)ridservice-hdfs的配置項(xiàng)
external：如果被置為false，HOD必須在通過(guò)allocate命令分配的節(jié)點(diǎn)上自己創(chuàng)建HDFS集群。注意，在這種情況下，如果集群被回收，HDFS集群會(huì)停止，所有數(shù)據(jù)會(huì)丟失。如果被置為true，它會(huì)嘗試鏈接外部的已配置的HDFS系統(tǒng)。通常，因?yàn)樵谧鳂I(yè)運(yùn)行之前作業(yè)的輸入需要被放置在HDFS上，并且作業(yè)的輸出需要持久保留，在生產(chǎn)環(huán)境中一個(gè)內(nèi)部的HDFS集群意義不大。
host：外部配置好的NameNode的主機(jī)名。
fs_port：NameNodeRPC服務(wù)綁定的端口。
info_port：NameNodewebUI服務(wù)綁定的端口。
pkgs：安裝目錄，其下有bin/hadoop可執(zhí)行文件。可用來(lái)使用集群上預(yù)先安裝的Hadoop版本。
server-params：一個(gè)逗號(hào)分割的hadoop配置參數(shù)列表，每一項(xiàng)為key-value對(duì)形式。這些將用于產(chǎn)生被NameNode和DataNode使用到的hadoop-site.xml文件。
final-server-params：除會(huì)被標(biāo)記為final外和上面相同。
3.6HadoopOnDemand中g(shù)ridservice-mapred的配置項(xiàng)
external：如果被置為false，HOD必須在通過(guò)allocate命令分配的節(jié)點(diǎn)上自己創(chuàng)建Map/Reduce集群。如果被置為true，它會(huì)嘗試鏈接外部的已配置的Map/Reduce系統(tǒng)。
host：外部配置好的JobTracker的主機(jī)名。
tracker_port：JobTrackerRPC服務(wù)綁定的端口。
info_port：JobTrackerwebUI服務(wù)綁定的端口。
pkgs：安裝目錄，其下有bin/hadoop可執(zhí)行文件。
server-params：一個(gè)逗號(hào)分割的hadoop配置參數(shù)列表，每一項(xiàng)為key-value對(duì)形式。這些將用于產(chǎn)生被JobTracker和TaskTracker使用到的hadoop-site.xml文件。
final-server-params：除會(huì)被標(biāo)記為final外和上面相同。
3.7HadoopOnDemand中hodring的配置項(xiàng)
mapred-system-dir-root：DFS上的目錄，HOD會(huì)在這個(gè)目錄下創(chuàng)建子目錄并把全路徑作為參數(shù)'mapred.system.dir'的值傳遞給Hadoop守護(hù)進(jìn)程。全路徑的格式為value-of-this-option/userid/mapredsystem/cluster-id。注意，如果HDFS啟用了權(quán)限，這里指定的路徑下應(yīng)允許所有用戶創(chuàng)建子目錄。設(shè)置此配置項(xiàng)的值為/user會(huì)使HOD使用用戶的home目錄來(lái)產(chǎn)生mapred.system.dir的值。
log-destination-uri：一個(gè)URL，能反映一個(gè)外部的靜態(tài)的DFS或者集群節(jié)點(diǎn)上的本地文件系統(tǒng)上的路徑。當(dāng)集群被回收時(shí)，HOD會(huì)把Hadoop日志上傳到這個(gè)路徑。要指定DFS路徑，使用'hdfs://path'格式。要指定一個(gè)集群節(jié)點(diǎn)上的本地文件系統(tǒng)路徑，使用'file://path'格式。當(dāng)HOD回收集群時(shí)，作為HOD的清除過(guò)程的一部分，hadoop日志會(huì)被刪除。要做到持久儲(chǔ)這些日志，你可以使用這個(gè)配置項(xiàng)。路徑的格式會(huì)是values-of-this-option/userid/hod-logs/cluster-id。注意，應(yīng)該保證所有的用戶能在這里指定的目錄下創(chuàng)建子目錄。把這個(gè)值設(shè)為hdfs://user會(huì)使這些日志被轉(zhuǎn)移到用戶在DFS上的home目錄下。
pkgs：安裝目錄，其下有bin/hadoop可執(zhí)行文件。如果給log-destination-uri指定了一個(gè)HDFSURL，HOD上傳日志時(shí)會(huì)用到這個(gè)配置項(xiàng)。注意，當(dāng)用戶使用了和外部靜態(tài)HDFS不同版本的tarball時(shí)，這個(gè)配置項(xiàng)會(huì)派上用場(chǎng)。
【編輯推薦】
- HadoopOnDemand配置新手指南
- Hadoop0.20.2集群配置入門指導(dǎo)手冊(cè)
- Hadoop文件系統(tǒng)如何快速安裝？
- Hadoop集群搭建過(guò)程中相關(guān)環(huán)境配置詳解
- Hadoop完全分布模式安裝實(shí)現(xiàn)詳解
文章標(biāo)題：HadoopOnDemand配置項(xiàng)詳解
本文來(lái)源：http://m.5511xx.com/article/coddige.html
