建站
咨詢
售后
建站咨詢
新聞中心
本節(jié)向大家介紹一下Hadoop應(yīng)用中Hadoop的安裝方法，主要介紹介紹一下Hadoop概念的介紹以及安裝前的環(huán)境配置，歡迎大家一起來(lái)學(xué)習(xí)有關(guān)Hadoop應(yīng)用方面的知識(shí)。首先看一下Hadoop的概念介紹。
hadoop應(yīng)用之安裝篇
hadoop分布式文件系統(tǒng)安裝——ForFreeBSD7
Hadoop一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)，由Apache基金會(huì)開(kāi)發(fā)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開(kāi)發(fā)分布式程序。充分利用集群的威力高速運(yùn)算和存儲(chǔ)。
簡(jiǎn)單地說(shuō)來(lái)，Hadoop是一個(gè)可以更容易開(kāi)發(fā)和運(yùn)行處理大規(guī)模數(shù)據(jù)的軟件平臺(tái)。
Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)（HadoopDistributedFileSystem），簡(jiǎn)稱HDFS。HDFS有著高容錯(cuò)性（fault-tolerent）的特點(diǎn)，并且設(shè)計(jì)用來(lái)部署在低廉的（low-cost）硬件上。而且它提供高傳輸率（highthroughput）來(lái)訪問(wèn)應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（largedataset）的應(yīng)用程序。HDFS放寬了（relax）POSIX的要求（requirements）這樣可以流的形式訪問(wèn)（streamingaccess）文件系統(tǒng)中的數(shù)據(jù)。
一，概述
1，安裝軟件版本
freebsd:7rc3[新裝系統(tǒng)請(qǐng)采用freebsd7正式發(fā)行版]
hadoop:0.16.0
jdk:1.5.0
OpenSSH:4.5p1
rsync:2.6.9
2，服務(wù)器硬件環(huán)境2臺(tái)x86計(jì)算機(jī)（作為安裝測(cè)試1-2臺(tái)機(jī)器已經(jīng)足夠，如果作為性能測(cè)試考慮設(shè)備的硬件性能）
3,hadoop描述
Hadoop包括HDFS(HadoopDistributedFileSystem--Hadoop分布式文件系統(tǒng))和MapReduce一種集約編程模型
以HDFS視角來(lái)看節(jié)點(diǎn)分為Namenode和Datanode，其中Namenode是唯一的，Datanode可以是多個(gè)，Namenode可以兼Datanode；
以MapReduce視角來(lái)看又分為Jobtracker和Tasktracker，其中Jobtracker只有一個(gè)，Tasktracker可以是多個(gè)同樣Jobtracker可以兼Tasktracker。更多請(qǐng)參考官網(wǎng)介紹
本測(cè)試中namenode和jobtracker部署在freebsd7test1.rhinux.com上，datanode和tasktracker部署在freebsd7test1.rhinux.com和freebsd7test2.rhinux.com。Hadoop應(yīng)用介紹Hadoop的安裝時(shí)要進(jìn)行環(huán)境配置。
二，os及環(huán)境配置
1，安裝jdk1.5
#cd/usr/ports/java/jdk15
#makeinstallclean
按照要求和提示下載好對(duì)應(yīng)的包，如果找不到舊版本的依賴包請(qǐng)現(xiàn)updataports后再下載***安裝包
#portsnapfetchupdate
#portsnapextract
2，安裝rsync，bash，ssh
a,#cd/usr/ports/net/rsync
#makeinstallclean
b,#cd/usr/ports/shells/bash//一般Linux默認(rèn)已經(jīng)安裝好bash所以可以省略這一步
#makeinstallclean
c,freebsd7默認(rèn)OpenSSH_4.5p1
3，系統(tǒng)配置
a,本次配置使用2臺(tái)服務(wù)器分別為
freebsd7test1.rhinux.com172.16.27.81(用在namenode由于本次測(cè)試只有2臺(tái)機(jī)器所以兼datanode，但實(shí)際生產(chǎn)環(huán)境中不推薦兼datanode)
freebsd7test2.rhinux.com172.16.27.82(用在datanode)
b,配置服務(wù)器的hosts文件使namenode能夠通過(guò)域名(freebsd7test2和freebsd7test2.rhinux.com）訪問(wèn)到所有的datanode（如果namenode兼datanode也需要通過(guò)域名訪問(wèn)到自己），
所有的datanode也能通過(guò)域名訪問(wèn)到namenode
c，示例
==========================/etc/hosts===========================================
::1localhostlocalhost.rhinux.com
127.0.0.1localhostlocalhost.rhinux.com
172.16.27.82freebsd7test2.rhinux.comfreebsd7test2
172.16.27.81freebsd7test1.rhinux.comfreebsd7test1
======================172.16.27.82（namenode&datanode）=======================
4，OS配置按原標(biāo)準(zhǔn)安裝，測(cè)試階段/services目錄分區(qū)文件系統(tǒng)使用ZFS（文件系統(tǒng)請(qǐng)選擇自己喜歡的目前測(cè)試下來(lái)Freebsd7的ZFS并不穩(wěn)定），本節(jié)關(guān)于Hadoop應(yīng)用中Hadoop安裝環(huán)境配置介紹完畢，請(qǐng)繼續(xù)關(guān)注下節(jié)Hadoop應(yīng)用介紹。
【編輯推薦】
- Hadoop Hdfs配置過(guò)程全程報(bào)道
- Hadoop命令手冊(cè)使用指南
- 專家講解 Hadoop:HBASE松散數(shù)據(jù)存儲(chǔ)設(shè)計(jì)
- 兩種模式運(yùn)行Hadoop分布式并行程序
- Hadoop概念及其用法專家講解
分享名稱：Hadoop應(yīng)用介紹之Hadoop安裝環(huán)境配置
當(dāng)前URL：http://m.5511xx.com/article/cdgcoso.html
