建站
咨詢
售后
建站咨詢
新聞中心
這里有您想知道的互聯(lián)網(wǎng)營(yíng)銷解決方案
Hadoop偽分布式搭建操作步驟指南
hadoop偽分布式搭建操作步驟指南
作者：imxintian 2017-10-25 18:25:40
數(shù)據(jù)庫
大數(shù)據(jù)
分布式
Hadoop 本文主要分享Hadoop偽分布式搭建的操作步驟，包括準(zhǔn)備工作、Hadoop環(huán)境部署-JDK部分和Hadoop偽分布式環(huán)境部署-Hadoop部分，希望對(duì)大家有所幫助。
在成都做網(wǎng)站、成都網(wǎng)站設(shè)計(jì)中從網(wǎng)站色彩、結(jié)構(gòu)布局、欄目設(shè)置、關(guān)鍵詞群組等細(xì)微處著手，突出企業(yè)的產(chǎn)品/服務(wù)/品牌，幫助企業(yè)鎖定精準(zhǔn)用戶，提高在線咨詢和轉(zhuǎn)化，使成都網(wǎng)站營(yíng)銷成為有效果、有回報(bào)的無錫營(yíng)銷推廣。成都創(chuàng)新互聯(lián)公司專業(yè)成都網(wǎng)站建設(shè)十余年了，客戶滿意度97.8%，歡迎成都創(chuàng)新互聯(lián)客戶聯(lián)系。
一、準(zhǔn)備工作
- 在 /opt/目錄下創(chuàng)建文件夾modules，和softwares
- 修改操作權(quán)限(切換至root用戶下)
- chown -R wxt:wxt /opt/
- 然后切換至普通用戶
- mkdir softwares
- mkdir modules
- 安裝lrzsz (在linux里可代替ftp上傳和下載。)
首先安裝lrzsz
- yum -y install lrzsz
- 上傳文件，執(zhí)行命令rz，會(huì)跳出文件選擇窗口，選擇好文件，點(diǎn)擊確認(rèn)即可。
- rz
- 下載文件，執(zhí)行命令sz
- sz
二、Hadoop環(huán)境部署-JDK部分
1.
- 上傳jdk 至softwares
2.
- 解壓jdk 至modules
- tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules/
3.
- 修改環(huán)境變量
- 切換至 root 用戶修改 vi /etc/profile 文件，配置jdk環(huán)境變量
- #JAVA_HOME
- export JAVA_HOME=/opt/modules/jdk1.7.0_67
- export PATH=$PATH:$JAVA_HOME/bin
4.
- source /etc/profile 使文件生效
- 驗(yàn)證是否配置成功
- java -version
- java version "1.7.0_09-icedtea"
- OpenJDK Runtime Environment (rhel-2.3.4.1.el6_3-x86_64)
- OpenJDK 64-Bit Server VM (build 23.2-b09, mixed mode)
- jps命令可以查看java 進(jìn)程
- echo $JAVA_HOME
三、Hadoop偽分布式環(huán)境部署-Hadoop部分
1.
- 上傳文件hadoop-2.5.0.tar.gz，至softwares
- 解壓文件至modules
- tar -zxvf hadoop-2.5.0.tar.gz -C /opt/modules/
2.
- 清理Hadoop的目錄，將hadoop/share/doc目錄刪除，節(jié)省磁盤空間， 通過這個(gè)命令查看df -h
3.
- 修改hadoop/etc/hadoop/hadoop-env.sh文件
- 修改hadoop/etc/hadoop/mapred-env.sh文件
- 修改hadoop/etc/hadoop/yarn-env.sh文件
- 指定Java安裝路徑
- export JAVA_HOME=/opt/modules/jdk1.7.0_67
4.
- 注意：
- Hadoop中的四個(gè)核心模塊對(duì)應(yīng)四個(gè)默認(rèn)配置文件
- HDFS,Hadoop默認(rèn)的文件系統(tǒng),是文件系統(tǒng)的訪問入口
- Namenode,所在的機(jī)器9000端口是早期Hadoop 1.x使用的，現(xiàn)在 Hadoop 2.x使用的是8020端口號(hào)用于節(jié)點(diǎn)直接內(nèi)部通信，使用RPC通信機(jī)制
5.
- 修改hadoop/etc/hadoop/core-site.xml文件
fs.defaultFS hdfs://bigdata-4:8020 hadoop.tmp.dir /opt/modules/hadoop-2.5.0/data/tmp
6.
- 注意：
- /tmp表示臨時(shí)存儲(chǔ)目錄，系統(tǒng)每次重啟會(huì)按照腳本預(yù)先設(shè)置好的刪 除 里面的文件重新自定義系統(tǒng)生成的文件路徑，/tmp會(huì)被清空，無法保證數(shù)據(jù)文件安全性。
7.
- 修改hadoop/etc/hadoop/hdfs-site.xml文件
- 指定HDFS文件存儲(chǔ)的副本數(shù)個(gè)數(shù)，默認(rèn)是3個(gè)，這里是單臺(tái)機(jī)器就設(shè)置為1，這個(gè)數(shù)字要小于datanode的節(jié)點(diǎn)數(shù)。
dfs.replication 1
8.
- 修改hadoop/etc/hadoop/slaves文件
- 指定從節(jié)點(diǎn)的機(jī)器位置，添加主機(jī)名即可
- bigdata-4
9.
- 格式化namenode
- bin/hdfs namenode -format
10.
- 啟動(dòng)命令
- sbin/hadoop-daemon.sh start namenode
- sbin/hadoop-daemon.sh start datanode
11.
- 查看HDFS外部UI界面
- bigdata-04或者IP地址 跟上50070端口號(hào)，外部通信http dfs.namenode.http-address 50070
- http://bigdata-4:50070 (如果windows本地沒有配置hosts,需要配置)
- 如果不能正確打開頁面，請(qǐng)檢查防火墻是否關(guān)閉
- 切換至root 用戶，service iptables status
- 關(guān)閉防火墻 chkconfig iptables off
12.
- 測(cè)試HDFS環(huán)境
- 創(chuàng)建文件夾，HDFS中有用戶主目錄的概念，和Linux一樣
- bin/hdfs dfs -mkdir -p wxt_test/iuput
13.
- 上傳文件到HDFS(隨便找一個(gè)文件上傳就行)
- bin/hdfs dfs -put /opt/modules/hadoop-2.5.0/etc/hadoop/core-site.xml wxt_test/input/core-site.xml
- 上傳成功，HDFS外部UI界面，會(huì)有上傳的文件顯示
14.
- 讀取HDFS的文件
- bin/hdfs dfs -text /core-site.xml
- 終端會(huì)顯示上傳文件的內(nèi)容。
15.
- 下載文件到本地(指定下載到哪里，同時(shí)可以重命名成get-site.xml)bin/hdfs dfs -get /core-site.xml /home/wxt/Desktop/get-site.xml然后你會(huì)看到這個(gè)文件，并且重命名于桌面。
Hadoop 偽分布式搭建至此結(jié)束。
文章標(biāo)題：Hadoop偽分布式搭建操作步驟指南
本文URL：http://m.5511xx.com/article/dhseseo.html
