建站
咨詢
售后
建站咨詢
新聞中心
Hadoop是Apache軟件基金會(huì)的開源分布式計(jì)算系統(tǒng)。它被廣泛用于處理大數(shù)據(jù)，其中包含處理海量數(shù)據(jù)集和運(yùn)行在大規(guī)模集群上的計(jì)算。Hadoop由兩個(gè)主要組件組成：Hadoop分布式文件系統(tǒng)（HDFS）和Hadoop MapReduce計(jì)算框架。在Linux系統(tǒng)上編譯Hadoop是一項(xiàng)必要的技能，因?yàn)樗_保了所有必需的庫(kù)和組件都得到正確的安裝和配置。
網(wǎng)站建設(shè)哪家好，找成都創(chuàng)新互聯(lián)公司！專注于網(wǎng)頁(yè)設(shè)計(jì)、網(wǎng)站建設(shè)、微信開發(fā)、小程序定制開發(fā)、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項(xiàng)目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了相城免費(fèi)建站歡迎大家使用！
在這篇文章中，我們將討論如何在Linux上編譯Hadoop以及如何在Hadoop中進(jìn)行支持和開發(fā)。
步驟1：安裝Java
Java是Hadoop的前提條件之一，所以我們需要確保Java在系統(tǒng)上正確安裝。為了安裝Java，請(qǐng)按照以下步驟操作：
在終端中輸出以下命令
sudo apt-get update
sudo apt-get install default-jdk
步驟2：安裝Apache Maven
Maven是一個(gè)用于自動(dòng)化構(gòu)建、管理依賴、編譯項(xiàng)目和生成文檔的開源軟件項(xiàng)目管理和理解工具。Hadoop的源代碼和構(gòu)建腳本使用Maven來構(gòu)建，所以我們需要確保Maven在系統(tǒng)上正確安裝。
在終端中輸出以下命令千萬(wàn)不要忘記設(shè)置環(huán)境變量參數(shù)
sudo apt-get update
sudo apt-get install maven
步驟3：安裝Python
為了編譯Hadoop的部分組件，需要Python支持。Python是一種高級(jí)編程語(yǔ)言，在Linux系統(tǒng)上相當(dāng)常見。可以使用以下命令安裝Python：
sudo apt-get update
sudo apt-get install python
步驟4：下載Hadoop源代碼
接下來，我們需要下載Hadoop源代碼。從Hadoop官方網(wǎng)站上下載源代碼，將它解壓到當(dāng)前目錄并進(jìn)入解壓目錄，輸入以下命令：
wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.1/hadoop-3.3.1-src.tar.gz
tar zxvf hadoop-3.3.1-src.tar.gz
cd hadoop-3.3.1-src
步驟5：運(yùn)行Maven構(gòu)建
現(xiàn)在，我們已準(zhǔn)備好在Linux上編譯Hadoop了！使用以下命令運(yùn)行Maven構(gòu)建，構(gòu)建過程需要一定時(shí)間（取決于您的計(jì)算機(jī)性能和Hadoop版本）：
mvn package -Pdist,native -DskipTests -Dtar
編譯成功后，我們可以在hadoop-dist/target中找到編譯出的二進(jìn)制文件。從這個(gè)目錄中，可以將Hadoop二進(jìn)制文件拷貝到其他節(jié)點(diǎn)，或者在本地基于Hadoop構(gòu)建應(yīng)用程序。
：
本文中，我們討論了如何在Linux上編譯Hadoop。我們首先安裝了Java、Maven和Python，然后下載了Hadoop源代碼，并使用Maven構(gòu)建了它?，F(xiàn)在，您已準(zhǔn)備好在Hadoop上支持和開發(fā)應(yīng)用程序了！
相關(guān)問題拓展閱讀：
- Linux命令中，請(qǐng)問下tar -vxzf hadoop-2.7.0.tar.gz是什么意思？尤其是-vxzf
- 為什么hadoop2.6.0沒有hadoop-client-2.6.0.jar
- windows eclipse連接linux的hadoop嗎
Linux命令中，請(qǐng)問下tar -vxzf hadoop-2.7.0.tar.gz是什么意思？尤其是-vxzf
v : 顯示動(dòng)作，即解壓任何文件時(shí)均顯示其文件名及相對(duì)路徑
x : 解壓縮
z : 表名該空者壓縮文件是以gzip格式壓縮的
f : 該參數(shù)后面跟著純虧被解壓的文件名
注：在Linux中解壓tar.gz包可以不加z參做虧神數(shù)，tar命令會(huì)自動(dòng)識(shí)別其支持的任何壓縮格式，即該命令也可寫成如下形式
tar -vxf hadoop-2.7.0.tar.gz
為什么hadoop2.6.0沒有hadoop-client-2.6.0.jar
在不使用eclipse情況使java程序在hadoop 2.2中運(yùn)行的完整過程。整個(gè)過程中其實(shí)分為java程序的編譯，生成jar包，運(yùn)行測(cè)試。
這三個(gè)步驟運(yùn)用的命令都比較簡(jiǎn)單，主要的還是液襲悉如何找到hadoop 2.2提供給java程序用來編譯的jar包。具體可以查看:
HADOOP_HOME/share/hadoop/httpfs/tomcat/webapps/webhdfs/WEB-INF/lib目錄
下面會(huì)通過一個(gè)在hadoop中創(chuàng)建一個(gè)目錄的JAVA例子來進(jìn)行演示
具體代碼如下：
package com.wan.demo;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class HADemo {
public static void main(String args) {
// TODO Auto-generated method stub
mkdir(args);
}
public static void mkdir(String dir){
Configuration configuration=new Configuration();
FileSystem fs;
try {
fs = FileSystem.get(configuration);
fs.mkdirs(new Path(dir));
fs.close();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}
把HADemo.java文件拷貝到linux環(huán)境中
配置HADOOP_HOME/bin到環(huán)境中鬧乎，啟動(dòng)集群，進(jìn)入HADemo.java文件目錄中
注:下面的lib目錄里面的文件由HADOOP_HOME/share/hadoop/httpfs/tomcat/webapps/ webhdfs/WEB-INF/lib目錄中獲取，下面做的目的是為了縮減命令長(zhǎng)度
1.編譯java
# mkdir class
#Javac -classpath .:lib/hadoop-common-2.2.0.jar:lib/hadoop-annotations-2.2.0.jar -d class HADemo.java
2.生成jar包
#jar -cvf hademo.jar -C class/ .
added manifest
adding: com/(in = 0) (out= 0)(stored 0%)
adding: com/wan/(in = 0) (out= 0)(stored 0%)
adding: com/wan/demo/(in = 0) (out= 0)(stored 0%)
adding: com/wan/demo/HADemo.class(in = 844) (out= 520)(deflated 38%)
3.測(cè)試運(yùn)行
#hadoop jar hademo.jar com.wan.demo.HADemo /test
檢禪坦測(cè)：
#hadoop fs -ls /
windows eclipse連接linux的hadoop嗎
在很多人依然是在windows上開發(fā)的，畢竟生活攔鋒離不開很多有趣的軟件，人性化的軟件。
現(xiàn)在想用windows下eclipse連接服務(wù)器centos上hadoop。我們?cè)撊绾胃愣兀?/p>
我嘗試了很多遍自己做插件，做到想死了。
編譯結(jié)果終于successful，但是我的eclipse始終無(wú)法識(shí)別。
后畢段來我嘗試用網(wǎng)上的插件簡(jiǎn)數(shù)晌，也是費(fèi)盡心機(jī)，終于找到一款合適的插件：
linux 編譯hadoop的介紹就聊到這里吧，感謝你花時(shí)間閱讀本站內(nèi)容，更多關(guān)于linux 編譯hadoop,如何在Linux上編譯Hadoop？,Linux命令中，請(qǐng)問下tar -vxzf hadoop-2.7.0.tar.gz是什么意思？尤其是-vxzf,為什么hadoop2.6.0沒有hadoop-client-2.6.0.jar,windows eclipse連接linux的hadoop嗎的信息別忘了在本站進(jìn)行查找喔。
香港服務(wù)器選創(chuàng)新互聯(lián)，2H2G首月10元開通。
創(chuàng)新互聯(lián)（www.cdcxhl.com）互聯(lián)網(wǎng)服務(wù)提供商,擁有超過10年的服務(wù)器租用、服務(wù)器托管、云服務(wù)器、虛擬主機(jī)、網(wǎng)站系統(tǒng)開發(fā)經(jīng)驗(yàn)。專業(yè)提供云主機(jī)、虛擬主機(jī)、域名注冊(cè)、VPS主機(jī)、云服務(wù)器、香港云服務(wù)器、免備案服務(wù)器等。
文章標(biāo)題：如何在Linux上編譯Hadoop？(linux編譯hadoop)
當(dāng)前地址：http://m.5511xx.com/article/dppejio.html
