• 欢迎关注微信公众号:九万里大数据
  • 请使用Ctrl+D收藏本站到书签栏
  • 手机也可访问本站 jwldata.com

Presto安装配置和集成Kerberos的Hive

大数据技术 九万里大数据 2年前 (2021-07-20) 834次浏览 0个评论 扫描二维码
文章目录[隐藏]

下载presto安装包

presto官网:https://prestodb.io
presto-server下载链接:
https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.255/presto-server-0.255.tar.gz
presto-cli下载链接:
https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.255/presto-cli-0.255-executable.jar
presto-jdbc下载链接:
https://repo1.maven.org/maven2/com/facebook/presto/presto-jdbc/0.255/presto-jdbc-0.255.jar

配置presto

tar -zxf presto-server-0.255.tar.gz -C /opt
cd /opt/presto-server-0.255/etc

将presto-cli-0.255-executable.jar放到/opt/presto-server-0.255/bin下面

cd /opt/presto-server-0.255/bin
ln -s presto-cli-0.255-executable.jar presto
ln -s /opt/presto-server-0.255/bin/presto /usr/bin/presto

需要创建的配置文件

[root@jwldata01 etc]# pwd
/opt/presto-server-0.255/etc
[root@jwldata01 etc]# 
[root@jwldata01 etc]# tree
.
├── access-control.properties
├── catalog
│   └── hive.properties
├── config.properties
├── jvm.config
├── log.properties
└── node.properties

1 directory, 6 files

coordinator和worker共有的配置

jvm.config

-server
-Xmx8G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError
-Djava.security.krb5.conf=/etc/krb5.conf

log.properties

com.facebook.presto=INFO

node.properties

node.environment=presto_dev
node.id=presto-jwldata01
node.data-dir=/data01/presto

node.id每个节点需要修改,node.data-dir根据实际修改。

coordinator的配置

config.properties

coordinator=true
node-scheduler.include-coordinator=false
http-server.http.port=9900
query.max-memory=4GB
query.max-memory-per-node=1GB
discovery-server.enabled=true
discovery.uri=http://jwldata01:9900

(可选)如果是搭一个测试集群,单节点或者节点数比较少,可以让coordinator也充当worker,但生产环境还是建议角色分开。

node-scheduler.include-coordinator=true

(可选)如果需要presto只读
access-control.properties

access-control.name=read-only

worker的配置

config.properties

coordinator=false
http-server.http.port=9900
query.max-memory=4GB
query.max-memory-per-node=1GB
discovery.uri=http://jwldata01:9900

Hive Connector

Presto安装配置和集成Kerberos的Hive


本站文章,如未注明,均为原创 | 原创文章版权归九万里大数据所有,未经许可不得转载。
本文链接:Presto安装配置和集成Kerberos的Hive
喜欢 (1)

您必须 登录 才能发表评论!