建站
咨詢
售后
建站咨詢
新聞中心
目前最流行的大數(shù)據(jù)查詢引擎非hive莫屬，它是基于MR的類SQL查詢工具，會(huì)把輸入的查詢SQL解釋為MapReduce，能極大的降低使用大數(shù)據(jù)查詢的門檻， 讓一般的業(yè)務(wù)人員也可以直接對(duì)大數(shù)據(jù)進(jìn)行查詢。但因其基于MR，運(yùn)行速度是一個(gè)弊端，通常運(yùn)行一個(gè)查詢需等待很久才會(huì)有結(jié)果。對(duì)于此情況，創(chuàng)造了hive的facebook不負(fù)眾望，創(chuàng)造了新神器---presto，其查詢速度平均比hive快10倍，現(xiàn)在就來(lái)部署體驗(yàn)一下吧。
成都創(chuàng)新互聯(lián)公司自2013年起，先為彭澤等服務(wù)建站，彭澤等地企業(yè)，進(jìn)行企業(yè)商務(wù)咨詢服務(wù)。為彭澤企業(yè)網(wǎng)站制作PC+手機(jī)+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問題。
一、 準(zhǔn)備工作
操作系統(tǒng)： centos7
JAVA: JDK8（155版本及以上），我使用的是jdk1.8.0_191
presto server：presto-server-0.221.tar.gz
presto client： presto-cli-0.221-executable.jar
注：
1、本次是基于hive來(lái)進(jìn)行部署使用,因此相關(guān)節(jié)點(diǎn)已部署hadoop、hive。
2、presto官網(wǎng)地址為https://prestodb.github.io presto server、client及jdbc jar均可以從官網(wǎng)下載。
二、 部署階段
1、 將jdk、 presto server presto client 上傳至各服務(wù)器上
jdk包我上傳至/usr/local 目錄，并解壓、配置軟鏈接，配置環(huán)境變量，如不配置環(huán)境變量，也可在launcher里修改。
presto server及client上傳至 /opt/presto下，同時(shí)解壓server包。
2、各節(jié)點(diǎn)信息如下
其中包含一個(gè)Coordinator節(jié)點(diǎn)及8個(gè)worker節(jié)點(diǎn)。
|
ip |
節(jié)點(diǎn)角色 |
節(jié)點(diǎn)名 |
|
192.168.11.22 |
Coordinator |
node22 |
|
192.168.11.50 |
Worker |
node50 |
|
192.168.11.51 |
Worker |
node51 |
|
192.168.11.52 |
Worker |
node52 |
|
192.168.11.53 |
Worker |
node53 |
|
192.168.11.54 |
Worker |
node54 |
|
192.168.11.55 |
Worker |
node55 |
|
192.168.11.56 |
Worker |
node56 |
|
192.168.11.57 |
Worker |
node57 |
3、創(chuàng)建presto數(shù)據(jù)及日志目錄
以下操作各節(jié)點(diǎn)均相同，只有配置文件處需根據(jù)各節(jié)點(diǎn)情況，對(duì)應(yīng)修改。
mkdir -p /data/presto
4、創(chuàng)建etc目錄
cd /opt/presto/presto-server-0.221
mkdir etc
5、創(chuàng)建所需的配置文件
（1）創(chuàng)建并配置 config.properties
如果是Coordinator節(jié)點(diǎn)，建議如下配置（內(nèi)存大小根據(jù)實(shí)際情況修改）
vim config.properties
## 添加如下內(nèi)容
coordinator=true
datasources=hive
node-scheduler.include-coordinator=false
http-server.http.port=8080
query.max-memory=80GB
query.max-memory-per-node=10GB
query.max-total-memory-per-node=10GB
discovery-server.enabled=true
discovery.uri=http://192.168.11.22:8080
如果是worker 節(jié)點(diǎn)：
vim config.properties ## 添加如下內(nèi)容
coordinator=false
#datasources=hive
#node-scheduler.include-coordinator=false
http-server.http.port=8080
query.max-memory=80GB
query.max-memory-per-node=10GB
query.max-total-memory-per-node=10GB
#discovery-server.enabled=true
discovery.uri=http://192.168.11.22:8080
參數(shù)說(shuō)明:
coordinator：是否運(yùn)行該實(shí)例為coordinator（接受client的查詢和管理查詢執(zhí)行）。
node-scheduler.include-coordinator:coordinator是否也作為work。對(duì)于大型集群來(lái)說(shuō)，在coordinator里做worker的工作會(huì)影響查詢性能。
http-server.http.port:指定HTTP端口。Presto使用HTTP來(lái)與外部和內(nèi)部進(jìn)行交流。
query.max-memory: 查詢能用到的最大總內(nèi)存
query.max-memory-per-node: 查詢能用到的最大單結(jié)點(diǎn)內(nèi)存
discovery-server.enabled: Presto使用Discovery服務(wù)去找到集群中的所有結(jié)點(diǎn)。每個(gè)Presto實(shí)例在啟動(dòng)時(shí)都會(huì)在Discovery服務(wù)里注冊(cè)。這樣可以簡(jiǎn)化部署， 不需要額外的服務(wù)，Presto的coordinator內(nèi)置一個(gè)Discovery服務(wù)。也是使用HTTP端口。
discovery.uri: Discovery服務(wù)的URI。將192.168.11.22:8080替換為coordinator的host和端口。這個(gè)URI不能以斜杠結(jié)尾，這個(gè)錯(cuò)誤需特別注意，不然會(huì)報(bào)404錯(cuò)誤。
另外還有以下屬性：
jmx.rmiregistry.port: 指定JMX RMI的注冊(cè)。JMX client可以連接此端口
jmx.rmiserver.port: 指定JXM RMI的服務(wù)器?？赏ㄟ^JMX監(jiān)聽。
（2）配置 jvm.config
vim jvm.config
# 添加如下內(nèi)容
-server
-Xmx20G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:OnOutOfMemoryError=kill -9 %p
JVM配置文件包含啟動(dòng)Java虛擬機(jī)時(shí)的命令行選項(xiàng)。格式是每一行是一個(gè)命令行選項(xiàng)。此文件數(shù)據(jù)是由shell解析，所以選項(xiàng)中包含空格或特殊字符會(huì)被忽略。
（3）配置log.properties
vim log.properties
# 添加如下內(nèi)容
com.facebook.presto=INFO
日志級(jí)別有四種，DEBUG, INFO, WARN and ERROR。
（4）配置node.properties
vim node.properties
## 添加如下內(nèi)容
node.environment=presto_ocean
node.id=node22
node.data-dir=/data/presto
參數(shù)說(shuō)明：
node.environment: 環(huán)境名字，Presto集群中的結(jié)點(diǎn)的環(huán)境名字都必須是一樣的。
node.id: 唯一標(biāo)識(shí)，每個(gè)結(jié)點(diǎn)的標(biāo)識(shí)都必須是為一的。就算重啟或升級(jí)Presto都必須還保持原來(lái)的標(biāo)識(shí)。
node.data-dir: 數(shù)據(jù)目錄，Presto用它來(lái)保存log和其他數(shù)據(jù)
（5）配置catalog及hive.properties
創(chuàng)建 catalog目錄，因本次使用的hive,因此在此目錄下創(chuàng)建hive.properties 并配置對(duì)應(yīng)參數(shù)
mkdir catalog
vim hive.properties
# 添加如下內(nèi)容
connector.name=hive-hadoop2
hive.metastore.uri=thrift://192.168.11.22:9083
hive.config.resources=/opt/hadoop/hadoop-3.2.0/etc/hadoop/core-site.xml,/opt/hadoop/hadoop-3.2.0/etc/hadoop/hdfs-site.xml
hive.allow-drop-table=true
至此 相關(guān)配置文件配置完成。
三、 啟動(dòng)presto-server并連接
進(jìn)入/opt/presto/presto-server-0.221/bin，有l(wèi)auncher命令。
如果需要配置JAVA等環(huán)境變量也可以在此文件里修改。在此處修改的好處在于可以與不同版本的jdk共存 而不影響原有業(yè)務(wù)。
1、啟動(dòng)presto-server
./launcher start
此時(shí)如果/data/presto/var日志生成，且無(wú)報(bào)錯(cuò)信息，代表啟動(dòng)正常。
2、presto-cli 連接
把下載的jar包：
presto-cli-0.221-executable.jar 重命名為：presto 并且賦予權(quán)限。
ln -s presto-cli-0.221-executable.jar presto
chmod +x presto
./presto --server localhost:8080 --catalog hive --schema default
此時(shí)可以查看到hive里的庫(kù)及表。
3、查看web界面
登錄??http://192.168.11.22:8080/ui/可查看整體狀態(tài)。??
至此，presto部署就完成了。其與hive的性能對(duì)比、工作原理及使用建議等后續(xù)有機(jī)會(huì)再介紹。
本文題目：比Hive快十倍的大數(shù)據(jù)查詢利器，你知道嗎？
轉(zhuǎn)載來(lái)源：http://m.5511xx.com/article/dhsdedj.html
