引言
上一篇文章中,我们介绍了:JDBC相关内容(简介、架构图、代码实战)、kettle中的DB连接(连接mysql)。
在本篇文章中,我们接着介绍:HiveServer2服务相关内容、kettle中的DB连接(连接hive、连接impala)。
别看本篇就2个知识点,兄弟们坑也不少呢,让我们一起来踩坑吧!
Hive端配置
要想使用jdbc连接你的Hive,你要连接的主机上必须开启了HiveServer2服务。
查询HiveServer2服务所在主机
1、CDH平台
点击Hive组件
选择 配置标签
查看主机名
2、其它平台
HiveServer2服务开启后,默认会启动端口10000,所以通过查询本机是否开启10000端口即可。
[root@hadoop ~]$ sudo netstat -anp|grep 10000
如何开启HiveServer2服务
1、启动hiveserver2服务
[root@hadoop ]$ nohup hiveserver2 &
[root@hadoop hive]$ jps
发现多了一个进程叫:RunJar
2、查看端口(比较慢)
[root@hadoop ~]$ sudo netstat -anp|grep 10000
tcp6 0 0 :::10000 :::* LISTEN 10840/java
kettle创建Hive类型DB连接
加载hive驱动
kettle存放驱动包的位置:pdi-ce-8.3.0.0-371\data-integration\lib
将hive的驱动jar包,拷贝到kettle存放驱动包的位置,如下截图
加载数据库对应的驱动,这一步是必须的,如果不做这一步,后续在创建DB连接时,直接报错找不到对应的驱动类。
创建转换
我们要做的ETL操作,全是在转换中设计的,所以我们要先创建一个转换。
保存转换
给你新建的转换,起个名字,并保存
创建DB连接
兄弟们仔细看一下,此处填写的信息,正是我们jdbc需要配置的相关信息。
兄弟们,看到这个弹框提示的successfully的内容,恭喜恭喜你已经成功的使用kettle创建了一个连接hive的DB连接!!!
展开DB连接标签,就可以看到我们上面创建的DB连接,兄弟们跟着我一步一步操作,相信你和我一样成功了,嘿嘿你真棒!!!
kettle创建Impala类型DB连接
加载impala驱动
kettle存放驱动包的位置:pdi-ce-8.3.0.0-371\data-integration\lib
将impala的驱动jar包,拷贝到kettle存放驱动包的位置,如下截图
加载数据库对应的驱动,这一步是必须的,如果不做这一步,后续在创建DB连接时,直接报错找不到对应的驱动类。
创建转换
我们要做的ETL操作,全是在转换中设计的,所以我们要先创建一个转换。
保存转换
给你新建的转换,起个名字,并保存
创建DB连接
兄弟们仔细看一下,此处填写的信息,正是我们jdbc需要配置的相关信息。
兄弟们,看到这个弹框提示的successfully的内容,恭喜恭喜你已经成功的使用kettle创建了一个连接impala的DB连接!!!
结束语
本篇文章主要详细的讲解了:HiveServer2服务相关内容、kettle中的DB连接(连接hive、连接impala)。
来看文章的兄弟们,技术功底是不一样的,这篇就写到这吧。下一篇带来的是DB连接下篇,我会详细扩展一下sqlserver数据库的连接实现。
兄弟们,其实想和作是有一段距离的,你想着想着就没有了,可是你做着做着,它就落地了。
啥都别说了,兄弟们后面跟着我干就完了,我们依然掰开揉碎的方式去说。后续的内容更精彩,敬请期待,感谢兄弟们的关注!!