Hive ACID v2Hive3的ACID v2相比Hive2的ACID v1，对很多事务的特性进行了优化升级，使之更接近于关系型数据库。使用ACID语义修改现有Hive表数据，包括insert, update, delete, merge支持数据库四大特性, Atomicity, Consistency, Isolation, Durability……继续阅读 » 九万里大数据 2年前 (2021-02-23) 1249浏览 0评论4个赞
对于需要跨集群迁移Hive表的，只需要迁移表结构的，可以采取从原始集群导出Hive表结构，然后在新集群导入Hive表结构，实现Hive元数据的迁移。导出所有的hive库#!/bin/bash# 1-export_database.shdir="output/database"if [ ! -d ${dir} ]; the……继续阅读 » 九万里大数据 2年前 (2021-02-22) 974浏览 0评论1个赞
之前的文章讲述了Kafka的分区重分配。这里讲述Kafka的优先副本选举方法，该办法可用于机器上副本的负载均衡，避免个别broker机器上leader副本过多导致数据写入压力过大。首先，查看topic的partition分布情况/opt/cloudera/parcels/KAFKA/lib/kafka/bin/kafka-topics.sh --zo……继续阅读 » 九万里大数据 2年前 (2021-02-22) 613浏览 0评论2个赞
之前的文章讲述了Kafka的分区重分配，该方法同样可以用来增加或减少Kafka topic的副本数。该方法，可灵活地运用于提高topic的高可用性，提高数据的读写等场景。从一个副本数，增加到2个副本数。创建reassign.json文件{"version":1,"partitions":[{"top……继续阅读 » 九万里大数据 2年前 (2021-02-19) 1471浏览 0评论2个赞
Kafka的分区重分配，可用于broker机器下线前的数据搬迁，topic的副本数增大或减小等。生成Kafka分区重分配方案首先，查看当前topic的partition分布情况kafka-topics --zookeeper zk1:2181 --topic topic_replica_test --describe假定下面我们想将该topi……继续阅读 » 九万里大数据 2年前 (2021-02-19) 731浏览 0评论147个赞
