内容概述 1.测试环境描述 2.Impala集成OpenLDAP 3.Impala集成验证 测试环境 1.CentOS6.5 2.OpenLDAP版本2.4.40 3.CM和CDH版本为5.13.1 前置条件 1.OpenLDAP已安装且正常使用 2.集群未启用Kerberos 2.测试环境描述   OpenLDAP服务信息   IP地址 HOSTNAME 描述 172.31.7.172 ip-172-31-7-172.fayson.com OpenLDAP已安装 172.31.9.33 cdh04.fayson.com OpenLDAP已安装 ...

最近在全权负责的一款数据产品，基于Hive-JDBC执行用户提交的ImpalaSQL，实现数据集，数据监控，数据推送等功能。Hive-JDBC版本​​2.1.1-cdh6.2.1​​： <dependency><groupId>org.apache.hive</groupId><artifactId>hive-jdbc</artifactId><version>2.1.1-cdh6.2.1</version></dependency> 报错 ParseException:Syntaxe...

​引言 背景介绍​ 驾驶舱项目承接了线上多种实时数据，对主要的指标进了15分钟一次查询，这些统计指标对上层知道运营有重要作用。出版上线至今平台稳定运行，但日益增长的用户数量导致每日数据量不断增长，当前的集群面临严峻的处理能力和稳定性的挑战，需要调整相应的参数进行优化。 编写目的​优化impala同步源数据功能​ 适用范围 甲方leader 运维开发人员 数据开发人员 角色职责 角色 职责 备注 PD 需求提出者，发起需求评审，制定需求优先级，参与系分、测试评审； 核心 设计人员 细分设计，制定开发计划，参与需求、测试评审 核心 运维人员 负责发布的执行...

最近在负责一款数据产品，因调试需要，得经常执行impala查询SQL。公司内部维护有一个Hive/Impala查询平台，本来可以使用多账户登录此查询平台：一个是自己的域账户，当然权限非常有限，很多表不可查询；另一个是report账户，相当于管理员账户。这肯定非常不安全，无论是从安全，还是数据资产等维度来讲。 故而，最近该查询平台增加登录验证码功能。即，根据域账户，把随机数字发到域账户对应的企微账户上。这就相当于禁用report账户。 需求 于是给自己这么一个需求，或者叫问题：作为宇宙第一的数据可视化查询工具，DataGrip支持Hive/Impala数据源吗？ 解决 Hive 使用的Data...

内容概述 1.测试环境描述 2.Hue配置Impala负载均衡 3.测试Impala负载均衡 4.总结   测试环境 1.CM和CDH版本为5.13.1 2.Haproxy版本为1.5.18   前置条件 1.已配置好Haproxy实现的Impala负载均衡   2.环境描述     在CDH集群中使用Haproxy配置Impala服务的负载均衡，具体可参看Fayson前面的文章《如何使用HAProxy实现Impala的负载均衡》。     注：上图标注部分impalajdbc必须配置，否则在Hue中无法配置...

在之前的文章中，Fayson在《CDH6.3的新功能》中提到Impala的AutomaticInvalidate/RefreshMetadata新功能，本文主要介绍如何配置Impala基于事件自动同步HMS元数据。 测试环境 1.CM和CDH版本为6.3.3 2.操作系统版本为RedHat7.2  操作步骤 进入CM界面>Hive>配置>搜索 启用数据库中的存储通知(英文界面搜索：EnableStoredNotificationsinDatabase)，并且勾选，注意一定要勾选，配置后面的配置不生效。数据库通知的保留时间默认为2天，意味着如果事件通知没...

生产环境ELK记录的报错信息： ERRORc.x.c.d.b.s.i.TableWarnServiceImplexecuteTableWarnJoberror:java.lang.NumberFormatException:Forinputstring:"57.97888386123681"atjava.lang.NumberFormatException.forInputString(NumberFormatException.java:65)atjava.lang.Long.parseLong(Long.java:589)atjava.lang.Long.parseLong(Lon...