问题现象Sep 24 13:54:48 localhost.localdomainNetworkManager[4451]: <info> [1600926888.0948] audit: op="connection-activate" uuid="5fb06bd0-0bb0-7ffb-45f1-d6edd6……继续阅读 » 九万里大数据 2年前 (2021-02-23) 942浏览 0评论3个赞
现象分析如图，Roles页面显示There are currently no roles defined但是在Browser选项页是有roles的从后台HTTP请求来看，list_sentry_privileges_by_authorizable接口是有数据而list_sentry_roles_by_group接口没有数据解决办法……继续阅读 » 九万里大数据 2年前 (2021-02-23) 605浏览 0评论3个赞
CDH6.0.1自带的HUE版本是4.2。HUE4.2和HUE4.3在使用LdapBackend时有个bug，会导致任意的LDAP用户登录，都是超级管理员。在HUE4.4版本修复了这个bug。https://issues.cloudera.org/browse/HUE-8675https://review.cloudera.org/r/135……继续阅读 » 九万里大数据 2年前 (2021-02-23) 506浏览 0评论2个赞
网站或者app都有窗口切换的场景，比如登录页，选项页等。比如，以下是淘宝的登录页，有两种窗口状态可以切换，密码登录和短信登录。在原型设计时，可以使用动态面板，实现这种窗口切换效果。动态面板，可以理解为一个窗口容器，把外框相同的窗口都装在这同一个容器里面，并可以实现窗口之间的状态切换。使用动态面板实现窗口切换的具体操作演示关注微信公众……继续阅读 » 九万里大数据 2年前 (2021-02-23) 800浏览 0评论0个赞
在我们使用的网页菜单上，经常遇到以下这种下拉菜单，其特点是把同一类型的功能子项，下设在一个统一的功能父项下面。通过鼠标点击父项，会折叠或显示子项。对于产品经理或者交互设计师而言，往往需要在产品原型设计中体现这种效果，下面通过axure来实现。使用axure画出以下几个模块，箭头使用的是FontAwesome字体。字体速查表可以访问https://f……继续阅读 » 九万里大数据 2年前 (2021-02-23) 513浏览 0评论1个赞
执行引擎在Hive3中，Tez完全取代了MapReduce，这张图显示了Hive3的查询流程。1.Hive编译查询语句2.Tez执行查询3.YARN分配资源4.Hive更新HDFS上的数据5.Hive返回查询结果给JDBC连接LLAP负载管理LLAP(Live Long And Process)功能是在Hive2.0中引入的。LLAP的核……继续阅读 » 九万里大数据 2年前 (2021-02-23) 1101浏览 0评论9个赞
Hive ACID v2Hive3的ACID v2相比Hive2的ACID v1，对很多事务的特性进行了优化升级，使之更接近于关系型数据库。使用ACID语义修改现有Hive表数据，包括insert, update, delete, merge支持数据库四大特性, Atomicity, Consistency, Isolation, Durability……继续阅读 » 九万里大数据 2年前 (2021-02-23) 1249浏览 0评论4个赞
对于需要跨集群迁移Hive表的，只需要迁移表结构的，可以采取从原始集群导出Hive表结构，然后在新集群导入Hive表结构，实现Hive元数据的迁移。导出所有的hive库#!/bin/bash# 1-export_database.shdir="output/database"if [ ! -d ${dir} ]; the……继续阅读 » 九万里大数据 2年前 (2021-02-22) 974浏览 0评论1个赞
之前的文章讲述了Kafka的分区重分配。这里讲述Kafka的优先副本选举方法，该办法可用于机器上副本的负载均衡，避免个别broker机器上leader副本过多导致数据写入压力过大。首先，查看topic的partition分布情况/opt/cloudera/parcels/KAFKA/lib/kafka/bin/kafka-topics.sh --zo……继续阅读 » 九万里大数据 2年前 (2021-02-22) 613浏览 0评论2个赞
之前的文章讲述了Kafka的分区重分配，该方法同样可以用来增加或减少Kafka topic的副本数。该方法，可灵活地运用于提高topic的高可用性，提高数据的读写等场景。从一个副本数，增加到2个副本数。创建reassign.json文件{"version":1,"partitions":[{"top……继续阅读 » 九万里大数据 2年前 (2021-02-19) 1471浏览 0评论2个赞
