建站
咨詢
售后
建站咨詢
新聞中心
Hadoop是Apache軟件基金會的開源分布式計算系統(tǒng)。它被廣泛用于處理大數(shù)據(jù)，其中包含處理海量數(shù)據(jù)集和運行在大規(guī)模集群上的計算。Hadoop由兩個主要組件組成：Hadoop分布式文件系統(tǒng)（HDFS）和Hadoop MapReduce計算框架。在Linux系統(tǒng)上編譯Hadoop是一項必要的技能，因為它確保了所有必需的庫和組件都得到正確的安裝和配置。
網(wǎng)站建設(shè)哪家好，找成都創(chuàng)新互聯(lián)公司！專注于網(wǎng)頁設(shè)計、網(wǎng)站建設(shè)、微信開發(fā)、小程序定制開發(fā)、集團企業(yè)網(wǎng)站建設(shè)等服務(wù)項目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了相城免費建站歡迎大家使用！
在這篇文章中，我們將討論如何在Linux上編譯Hadoop以及如何在Hadoop中進行支持和開發(fā)。
步驟1：安裝Java
Java是Hadoop的前提條件之一，所以我們需要確保Java在系統(tǒng)上正確安裝。為了安裝Java，請按照以下步驟操作：
在終端中輸出以下命令
sudo apt-get update
sudo apt-get install default-jdk
步驟2：安裝Apache Maven
Maven是一個用于自動化構(gòu)建、管理依賴、編譯項目和生成文檔的開源軟件項目管理和理解工具。Hadoop的源代碼和構(gòu)建腳本使用Maven來構(gòu)建，所以我們需要確保Maven在系統(tǒng)上正確安裝。
在終端中輸出以下命令千萬不要忘記設(shè)置環(huán)境變量參數(shù)
sudo apt-get update
sudo apt-get install maven
步驟3：安裝Python
為了編譯Hadoop的部分組件，需要Python支持。Python是一種高級編程語言，在Linux系統(tǒng)上相當常見?？梢允褂靡韵旅畎惭bPython：
sudo apt-get update
sudo apt-get install python
步驟4：下載Hadoop源代碼
接下來，我們需要下載Hadoop源代碼。從Hadoop官方網(wǎng)站上下載源代碼，將它解壓到當前目錄并進入解壓目錄，輸入以下命令：
wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.1/hadoop-3.3.1-src.tar.gz
tar zxvf hadoop-3.3.1-src.tar.gz
cd hadoop-3.3.1-src
步驟5：運行Maven構(gòu)建
現(xiàn)在，我們已準備好在Linux上編譯Hadoop了！使用以下命令運行Maven構(gòu)建，構(gòu)建過程需要一定時間（取決于您的計算機性能和Hadoop版本）：
mvn package -Pdist,native -DskipTests -Dtar
編譯成功后，我們可以在hadoop-dist/target中找到編譯出的二進制文件。從這個目錄中，可以將Hadoop二進制文件拷貝到其他節(jié)點，或者在本地基于Hadoop構(gòu)建應(yīng)用程序。
：
本文中，我們討論了如何在Linux上編譯Hadoop。我們首先安裝了Java、Maven和Python，然后下載了Hadoop源代碼，并使用Maven構(gòu)建了它?，F(xiàn)在，您已準備好在Hadoop上支持和開發(fā)應(yīng)用程序了！
相關(guān)問題拓展閱讀：
- Linux命令中，請問下tar -vxzf hadoop-2.7.0.tar.gz是什么意思？尤其是-vxzf
- 為什么hadoop2.6.0沒有hadoop-client-2.6.0.jar
- windows eclipse連接linux的hadoop嗎
Linux命令中，請問下tar -vxzf hadoop-2.7.0.tar.gz是什么意思？尤其是-vxzf
v : 顯示動作，即解壓任何文件時均顯示其文件名及相對路徑
x : 解壓縮
z : 表名該空者壓縮文件是以gzip格式壓縮的
f : 該參數(shù)后面跟著純虧被解壓的文件名
注：在Linux中解壓tar.gz包可以不加z參做虧神數(shù)，tar命令會自動識別其支持的任何壓縮格式，即該命令也可寫成如下形式
tar -vxf hadoop-2.7.0.tar.gz
為什么hadoop2.6.0沒有hadoop-client-2.6.0.jar
在不使用eclipse情況使java程序在hadoop 2.2中運行的完整過程。整個過程中其實分為java程序的編譯，生成jar包，運行測試。
這三個步驟運用的命令都比較簡單，主要的還是液襲悉如何找到hadoop 2.2提供給java程序用來編譯的jar包。具體可以查看:
HADOOP_HOME/share/hadoop/httpfs/tomcat/webapps/webhdfs/WEB-INF/lib目錄
下面會通過一個在hadoop中創(chuàng)建一個目錄的JAVA例子來進行演示
具體代碼如下：
package com.wan.demo;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class HADemo {
public static void main(String args) {
// TODO Auto-generated method stub
mkdir(args);
}
public static void mkdir(String dir){
Configuration configuration=new Configuration();
FileSystem fs;
try {
fs = FileSystem.get(configuration);
fs.mkdirs(new Path(dir));
fs.close();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}
把HADemo.java文件拷貝到linux環(huán)境中
配置HADOOP_HOME/bin到環(huán)境中鬧乎，啟動集群，進入HADemo.java文件目錄中
注:下面的lib目錄里面的文件由HADOOP_HOME/share/hadoop/httpfs/tomcat/webapps/ webhdfs/WEB-INF/lib目錄中獲取，下面做的目的是為了縮減命令長度
1.編譯java
# mkdir class
#Javac -classpath .:lib/hadoop-common-2.2.0.jar:lib/hadoop-annotations-2.2.0.jar -d class HADemo.java
2.生成jar包
#jar -cvf hademo.jar -C class/ .
added manifest
adding: com/(in = 0) (out= 0)(stored 0%)
adding: com/wan/(in = 0) (out= 0)(stored 0%)
adding: com/wan/demo/(in = 0) (out= 0)(stored 0%)
adding: com/wan/demo/HADemo.class(in = 844) (out= 520)(deflated 38%)
3.測試運行
#hadoop jar hademo.jar com.wan.demo.HADemo /test
檢禪坦測：
#hadoop fs -ls /
windows eclipse連接linux的hadoop嗎
在很多人依然是在windows上開發(fā)的，畢竟生活攔鋒離不開很多有趣的軟件，人性化的軟件。
現(xiàn)在想用windows下eclipse連接服務(wù)器centos上hadoop。我們該如何搞定呢？
我嘗試了很多遍自己做插件，做到想死了。
編譯結(jié)果終于successful，但是我的eclipse始終無法識別。
后畢段來我嘗試用網(wǎng)上的插件簡數(shù)晌，也是費盡心機，終于找到一款合適的插件：
linux 編譯hadoop的介紹就聊到這里吧，感謝你花時間閱讀本站內(nèi)容，更多關(guān)于linux 編譯hadoop,如何在Linux上編譯Hadoop？,Linux命令中，請問下tar -vxzf hadoop-2.7.0.tar.gz是什么意思？尤其是-vxzf,為什么hadoop2.6.0沒有hadoop-client-2.6.0.jar,windows eclipse連接linux的hadoop嗎的信息別忘了在本站進行查找喔。
香港服務(wù)器選創(chuàng)新互聯(lián)，2H2G首月10元開通。
創(chuàng)新互聯(lián)（www.cdcxhl.com）互聯(lián)網(wǎng)服務(wù)提供商,擁有超過10年的服務(wù)器租用、服務(wù)器托管、云服務(wù)器、虛擬主機、網(wǎng)站系統(tǒng)開發(fā)經(jīng)驗。專業(yè)提供云主機、虛擬主機、域名注冊、VPS主機、云服務(wù)器、香港云服務(wù)器、免備案服務(wù)器等。
新聞標題：如何在Linux上編譯Hadoop？(linux編譯hadoop)
本文URL：http://m.5511xx.com/article/dppejio.html
