之前的文章讲述了Kafka的分区重分配。这里讲述Kafka的优先副本选举方法，该办法可用于机器上副本的负载均衡，避免个别broker机器上leader副本过多导致数据写入压力过大。首先，查看topic的partition分布情况/opt/cloudera/parcels/KAFKA/lib/kafka/bin/kafka-topics.sh --zo……继续阅读 » 九万里大数据 3年前 (2021-02-22) 681浏览 0评论2个赞
之前的文章讲述了Kafka的分区重分配，该方法同样可以用来增加或减少Kafka topic的副本数。该方法，可灵活地运用于提高topic的高可用性，提高数据的读写等场景。从一个副本数，增加到2个副本数。创建reassign.json文件{"version":1,"partitions":[{"top……继续阅读 » 九万里大数据 3年前 (2021-02-19) 1567浏览 0评论2个赞
Kafka的分区重分配，可用于broker机器下线前的数据搬迁，topic的副本数增大或减小等。生成Kafka分区重分配方案首先，查看当前topic的partition分布情况kafka-topics --zookeeper zk1:2181 --topic topic_replica_test --describe假定下面我们想将该topi……继续阅读 » 九万里大数据 3年前 (2021-02-19) 809浏览 0评论147个赞
