建站
咨詢
售后
建站咨詢
新聞中心
對于Spark而言，如果大家只是想摸一下、熟悉熟悉而已，可以搭建單機的Spark，大致步驟如下（我使用VMWare下的ubuntu 14.04，暫不考慮安全問題，在root下運行）：
創(chuàng)新互聯(lián)建站專注于企業(yè)營銷型網(wǎng)站、網(wǎng)站重做改版、當涂網(wǎng)站定制設計、自適應品牌網(wǎng)站建設、H5場景定制、商城網(wǎng)站建設、集團公司官網(wǎng)建設、外貿(mào)網(wǎng)站建設、高端網(wǎng)站制作、響應式網(wǎng)頁設計等建站業(yè)務，價格優(yōu)惠性價比高，為當涂等各大城市提供網(wǎng)站開發(fā)制作服務。
1、安裝Ubuntu 14.04，注意裝好后需要禁用防火墻（ufw disable），安裝SSH 服務器，啟用root用戶
2、下載安裝JDK-1.8、scala 2.11.8（需要和spark的jar版本配合下，這個其實不是很必要，練習用）、spark、maven（build用，這里的scala版本需要和spark的一致，否則可能出現(xiàn)ClassNotDef異常）
3、在.profile中配置環(huán)境變量，如：
export SPARK_HOME=/root/spark-2.2.0-bin-Hadoop2.7
export SPARK_LOCAL_HOST=192.168.162.132
export SPARK_MASTER_HOST=192.168.162.132
4、啟動spark：
$SPARK_HOME/sbin/start-master.sh
# 在單機情況下也必須啟動，否則沒有worker
$SPARK_HOME/sbin/start-slave.sh
5、使用maven編譯一個示例程序（當然sbt也可以）
6、提交你的測試程序，如下：
$SPARK_HOME/spark-submit --class "類名" --master spark://IP:Port 打包文件名
另外，注意的一點是需要在/etc/hosts和/etc/hostname中正確配置主機名，否則可能出現(xiàn)IOException
當前名稱：Ubuntu系統(tǒng)搭建單機Spark注意事項
本文來源：http://m.5511xx.com/article/djdsjid.html
