ORC的优点The Optimized Row Columnar (ORC) file format provides a highly efficient way to store Hive data. It was designed to overcome limitations of the other Hive file formats. Usin……继续阅读 » 九万里大数据 2年前 (2021-07-30) 2264浏览 0评论2个赞
我们经常在一些职业资格考试、学历考试、求职网申时需要上传免冠证件照，但往往不同的考试需要的背景颜色、规格尺寸等都不一样，而线下跑到照相馆重新拍照或者修图，又费钱又费精力。今天给大家推荐一款微信小程序“免冠照助手”，能在线一键生成标准免冠证件照，支持多种规格尺寸证件照制作，还能自定义像素尺寸，支持给证件照换底色，证件照尺寸修改等。并且，试用了一下，是真正免费……继续阅读 » 九万里大数据 2年前 (2021-07-28) 1731浏览 0评论3个赞
在执行动态分区INSERT OVERWRITE时，如果源表是有很多分区的大表，任务可能会报错org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.OutOfMemoryError: GC overhead limit exceeded。YARN报错2021-07-07 11……继续阅读 » 九万里大数据 2年前 (2021-07-27) 1525浏览 0评论3个赞
创建LZO Compressed Text Tables使用Hive创建LZO压缩的Text格式的表CREATE TABLE IF NOT EXISTS bank.account_lzo ( `id_card` int, `tran_time` string, `name` string, `cash` int )par……继续阅读 » 九万里大数据 2年前 (2021-07-26) 1506浏览 0评论1个赞
Hadoopcom.hadoop.compression.lzo.LzoCodec not found[root@jwldata01 hadoop]# hadoop fs -text /data/bank.db/account/ds=2020-09-21/000000_0.lzo21/07/05 16:23:38 WARN util.NativeCo……继续阅读 » 九万里大数据 2年前 (2021-07-23) 2333浏览 0评论2个赞
yanagishima编译好的包下载地址我把编译好的二进制包放到网盘上了，不想自己编译的见文末自取。放了两个版本的包，一个是原始包，对代码无任何改动。另一个是修改包，改了引用css和字体为本地，方便内网环境部署（推荐）。安装JDK11首先安装JDK11，可以参考安装配置OracleJDK如果不想显式地在/etc/profile配置JAVA_HOM……继续阅读 » 九万里大数据 2年前 (2021-07-22) 2037浏览 0评论1个赞
下载presto安装包presto官网：https://prestodb.iopresto-server下载链接：https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.255/presto-server-0.255.tar.gzpresto-cli下载链接：https:……继续阅读 » 九万里大数据 2年前 (2021-07-20) 973浏览 0评论1个赞
数据库纯文本导出自动化脚本mysqldump支持按照表，分隔符纯文本导出。https://dev.mysql.com/doc/refman/5.7/en/mysqldump-delimited-text.html如果加上-t参数的话，只会导出表数据（txt文件），不导出表结构（sql文件）。导出目录不要是/root下的目录，否则会因为txt文件是my……继续阅读 » 九万里大数据 2年前 (2021-07-20) 874浏览 0评论0个赞
在spark-defaults.conf添加spark.driver.extraJavaOptions -Dderby.system.home=/tmp/derby后续derby.log文件会生成在/tmp/derby目录下。欢迎关注我的微信公众号“九万里大数据”，原创技术文章第一时间推送。欢迎访问原创技术博客网站 jwldata.com，排版更……继续阅读 » 九万里大数据 2年前 (2021-07-19) 644浏览 0评论0个赞
Address already in use: Service 'SparkUI' failed after 16 retries (starting from 4040)! Consider explicitly setting the appropriate port for the service 'SparkUI' (for example spar……继续阅读 » 九万里大数据 2年前 (2021-07-19) 654浏览 0评论0个赞
