建站
咨詢
售后
建站咨詢
新聞中心
本節(jié)向大家簡單描述一下在部署Hadoop時應(yīng)該注意的事項，相信通過本節(jié)的學習你對如何部署Hadoop有更深刻的認識，讓我們一起來關(guān)注部署Hadoop時的注意事項吧。
文昌ssl適用于網(wǎng)站、小程序/APP、API接口等需要進行數(shù)據(jù)傳輸應(yīng)用場景，ssl證書未來市場廣闊！成為創(chuàng)新互聯(lián)的ssl證書銷售渠道，可以享受市場價格4-6折優(yōu)惠！如果有意向歡迎電話聯(lián)系或者加微信：13518219792（備注：SSL證書合作）期待與您的合作！
部署Hadoop時的注意事項
最近云計算在中國極為火爆，但看了云計算的那些云山霧罩的概念后，實在讓人望而卻步。還好不是所有的東西都摸不著頭腦，Hadoop就是實實在在的技術(shù)之一。不才最近仔細品讀了Hadoop的基礎(chǔ)資料，特別是如何部署Hadoop的相關(guān)技術(shù)文檔，發(fā)現(xiàn)其中有許多不為人注意的東西，在此整理一下。Hadoop 開發(fā)者入門?？?pdf) 是目前比較權(quán)威的文檔；有什么與Hadoop相關(guān)的技術(shù)問題也可以到專業(yè)的Hadoop技術(shù)論壇上去討論。
Hadoop 集群的組成成份
Hadoop的核心功能有兩個：HDFS與MapReduce 。與HDFS相關(guān)的服務(wù)有NameNode 、SecondaryNameNode 及DataNode ；與MapReduce 相關(guān)的服務(wù)有JobTracker 和TaskTracker 兩種。
Hadoop集群中有兩種角色：master與slave，master又分為主master與次master。其中：
主 master同時提供NameNode 、SecondaryNameNode 及JobTracker 三種服務(wù)；
次master只提供SecondaryNameNode 服務(wù)；
所有slave可以提供DateNode 或TaskTracker 兩種服務(wù)。
Hadoop有三種集群方式可以選擇：
Local (Standalone) Mode（無集群模式）
Pseudo-Distributed Mode（單機集群模式）
Fully-Distributed Mode（多機集群模式）
一個Hadoop集群由多臺電腦組成，每臺電腦可作為一種或多種角色存在。
當使用Pseudo-Distributed Mode創(chuàng)建Hadoop集群時，一臺電腦同時完成主master和slave兩種角色的任務(wù)。在Fully-Distributed Mode下，如果只有一臺電腦作為master，則此電腦完成主master的任務(wù)；如果有多臺電腦作為master存在，則第一臺電腦完成主 master的任務(wù)，其它電腦完成次master的任務(wù)。
實際部署Hadoop集群
在實際操作中，集群中的電腦名字都是通過/etc/hosts文件指定的。集群中主master是核心，擔任這種角色的電腦在其/etc/hosts中保存有集群中所有電腦的名字。次 master與所有的slave只負責與主master聯(lián)系，所以在這些計算機上的/etc/hosts中只要保存自身和主master的計算機別名即可。
集群模式的選擇主要靠主master上$HADOOP_HOME /conf /目錄下的masters與slaves兩個文件配置完成。如果需要Pseudo-Distributed Mode，則masters與slaves兩個文件的內(nèi)容同時指向主master電腦名字即可。如果需要Fully-Distributed Mode，則masters文件中第一行記錄的是主master電腦名字，其它行記錄的是次master電腦名字。
無密碼SSH 登錄
啟動Hadoop的方式是在主master上調(diào)用下面的命令：
$HADOOP_HOME /bin/start-all.sh
此調(diào)用過程中，Hadoop依次啟動以下服務(wù)：
在主master上啟動NameNode 服務(wù)；
在主master上啟動SecondaryNameNode 服務(wù)；
在次master上啟動SecondaryNameNode 服務(wù)；
在所有slave上啟動DataNode 服務(wù)；
在主master上啟動JobTracker 服務(wù)；
在所有slave上的TaskTracker 服務(wù)。
部署Hadoop過程中Hadoop需要啟動服務(wù)，在此需要注意以下幾點：
啟動NameNode 與JobTracker 服務(wù)不需要SSH授權(quán)；
需要通過SSH登錄之后才能啟動SecondaryNameNode 、DataNode 以及TaskTracker 服務(wù)，因此：
因為需要啟動SencondaryNameNode 服務(wù)，所以要為主master提供SSH授權(quán)；
因為需要啟動SencoddaryNameNode 服務(wù)，所以要為所有的次master提供SSH授權(quán)；
因為需要啟動DataNode 和TaskTracker 服務(wù)，所以要為所有的slave提供SSH授權(quán)。
總而言之，要為Hadoop集群中的所有計算機提供SSH授權(quán)。
為什么要提供無密碼SSH登錄方式呢？為的是圖省事兒。試想在啟動 Hadoop集群過程中，要手動輸入每一臺電腦的SSH密碼將是一件多么煩人的事！SSH授權(quán)的方法在這里不做詳細的描述。無密碼SSH登錄技術(shù)也是相對成熟的技術(shù)。但有一個環(huán)節(jié)需要注意，那就是文件的訪問權(quán)限問題。
表現(xiàn)為：
Linux系統(tǒng)中$HOME目錄下的.ssh目錄為用戶所有，權(quán)限必須為700（只有用戶自己可以全權(quán)訪問）；
.ssh目錄下的授權(quán)文件“authorized_keys”為用戶所有，權(quán)限必須為644。本節(jié)有關(guān)部署Hadoop應(yīng)該注意的事項介紹完畢。
網(wǎng)站名稱：專家提醒部署Hadoop時應(yīng)該注意具體事項
文章鏈接：http://m.5511xx.com/article/dhsdped.html
