下载presto安装包presto官网：https://prestodb.iopresto-server下载链接：https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.255/presto-server-0.255.tar.gzpresto-cli下载链接：https:……继续阅读 » 九万里大数据 2年前 (2021-07-20) 972浏览 0评论1个赞
数据库纯文本导出自动化脚本mysqldump支持按照表，分隔符纯文本导出。https://dev.mysql.com/doc/refman/5.7/en/mysqldump-delimited-text.html如果加上-t参数的话，只会导出表数据（txt文件），不导出表结构（sql文件）。导出目录不要是/root下的目录，否则会因为txt文件是my……继续阅读 » 九万里大数据 2年前 (2021-07-20) 874浏览 0评论0个赞
在spark-defaults.conf添加spark.driver.extraJavaOptions -Dderby.system.home=/tmp/derby后续derby.log文件会生成在/tmp/derby目录下。欢迎关注我的微信公众号“九万里大数据”，原创技术文章第一时间推送。欢迎访问原创技术博客网站 jwldata.com，排版更……继续阅读 » 九万里大数据 2年前 (2021-07-19) 644浏览 0评论0个赞
Address already in use: Service 'SparkUI' failed after 16 retries (starting from 4040)! Consider explicitly setting the appropriate port for the service 'SparkUI' (for example spar……继续阅读 » 九万里大数据 2年前 (2021-07-19) 654浏览 0评论0个赞
报错是因为服务端YARN集群，需要和Spark driver通信时，因为服务端并没有配置客户端的域名解析，所以报java.net.UnknownHostException。客户端报错2021-06-01 14:20:21 WARN YarnScheduler:66 - Initial job has not accepted any resources……继续阅读 » 九万里大数据 2年前 (2021-07-19) 2346浏览 0评论2个赞
如果Spark执行报错Unsupported major.minor version 52.0，一般是因为YARN所在的机器配置的JDK是1.7的，而高版本的Spark（从2.2.0起）需要运行在Java 8以上。Exception in thread "main" java.lang.UnsupportedClassVersionError: org/a……继续阅读 » 九万里大数据 2年前 (2021-07-19) 1156浏览 0评论0个赞
cd /opt/spark-1.6.3-bin-hadoop2.6/confvi spark-defaults.confspark.eventLog.enabled=truespark.eventLog.dir=hdfs://nameservice1/user/spark/applicationHistoryspark.yarn.histo……继续阅读 » 九万里大数据 2年前 (2021-07-19) 404浏览 0评论0个赞
低版本的Hive不支持SHOW VIEWS命令，如果只想迁移Hive视图，需要先从Hive Metastore库里取出视图名，然后通过hive beeline来获取Hive视图的建表语句。关于SHOW VIEWS命令的讨论：https://stackoverflow.com/questions/22295961/hiveql-query-to-list-o……继续阅读 » 九万里大数据 2年前 (2021-06-30) 819浏览 0评论0个赞
当HDFS配置了NameNode HA后，通过zookeeper-client访问ZooKeeper的/hadoop-ha/nameservice1/ActiveStandbyElectorLock会报错。报错信息：[root@ctkf01 ~]# zookeeper-client[zk: localhost:2181(CONNECTED) 3] l……继续阅读 » 九万里大数据 3年前 (2021-06-07) 715浏览 0评论2个赞
人像分割有些API需要用到opencv处理返回结果。https://pypi.org/project/opencv-pythonpip install requestspip install numpypip install opencv-pythoncentos7上在用pip安装opencv-python后在进入python交互终端中导入……继续阅读 » 九万里大数据 3年前 (2021-06-07) 622浏览 0评论1个赞
