• 欢迎关注微信公众号:九万里大数据
  • 请使用Ctrl+D收藏本站到书签栏
  • 手机也可访问本站 jwldata.com

Hive3新特性(一)

Hive3新特性(一)
Hive ACID v2Hive3的ACID v2相比Hive2的ACID v1,对很多事务的特性进行了优化升级,使之更接近于关系型数据库。使用ACID语义修改现有Hive表数据,包括insert, update, delete, merge支持数据库四大特性, Atomicity, Consistency, Isolation, Durability……继续阅读 »

九万里大数据 1年前 (2021-02-23) 781浏览 0评论4个赞

Hive表的导出与导入

Hive表的导出与导入
对于需要跨集群迁移Hive表的,只需要迁移表结构的,可以采取从原始集群导出Hive表结构,然后在新集群导入Hive表结构,实现Hive元数据的迁移。导出所有的hive库#!/bin/bash# 1-export_database.shdir="output/database"if [ ! -d ${dir} ]; the……继续阅读 »

九万里大数据 1年前 (2021-02-22) 620浏览 0评论1个赞

Kafka优先副本选举

Kafka优先副本选举
之前的文章讲述了Kafka的分区重分配。这里讲述Kafka的优先副本选举方法,该办法可用于机器上副本的负载均衡,避免个别broker机器上leader副本过多导致数据写入压力过大。首先,查看topic的partition分布情况/opt/cloudera/parcels/KAFKA/lib/kafka/bin/kafka-topics.sh --zo……继续阅读 »

九万里大数据 1年前 (2021-02-22) 389浏览 0评论2个赞

增加(或减少)Kafka topic的副本数

增加(或减少)Kafka topic的副本数
之前的文章讲述了Kafka的分区重分配,该方法同样可以用来增加或减少Kafka topic的副本数。该方法,可灵活地运用于提高topic的高可用性,提高数据的读写等场景。从一个副本数,增加到2个副本数。创建reassign.json文件{"version":1,"partitions":[{"top……继续阅读 »

九万里大数据 1年前 (2021-02-19) 1067浏览 0评论2个赞

Kafka的分区重分配

Kafka的分区重分配
Kafka的分区重分配,可用于broker机器下线前的数据搬迁,topic的副本数增大或减小等。生成Kafka分区重分配方案首先,查看当前topic的partition分布情况kafka-topics --zookeeper zk1:2181 --topic topic_replica_test --describe假定下面我们想将该topi……继续阅读 »

九万里大数据 1年前 (2021-02-19) 406浏览 0评论146个赞