kettle庖丁解牛第7篇之DB连接中篇
  Lb78AVwchy8f 2023年11月02日 67 0

引言

上一篇文章中,我们介绍了:JDBC相关内容(简介、架构图、代码实战)、kettle中的DB连接(连接mysql)。

在本篇文章中,我们接着介绍:HiveServer2服务相关内容、kettle中的DB连接(连接hive、连接impala)。

别看本篇就2个知识点,兄弟们坑也不少呢,让我们一起来踩坑吧!

Hive端配置

要想使用jdbc连接你的Hive,你要连接的主机上必须开启了HiveServer2服务。

查询HiveServer2服务所在主机

1、CDH平台

点击Hive组件

kettle庖丁解牛第7篇之DB连接中篇_impala

选择 配置标签

kettle庖丁解牛第7篇之DB连接中篇_sql_02

查看主机名

kettle庖丁解牛第7篇之DB连接中篇_hive_03

2、其它平台

HiveServer2服务开启后,默认会启动端口10000,所以通过查询本机是否开启10000端口即可。

[root@hadoop ~]$  sudo netstat -anp|grep 10000

如何开启HiveServer2服务

1、启动hiveserver2服务

[root@hadoop ]$ nohup hiveserver2 &

[root@hadoop hive]$ jps       

发现多了一个进程叫:RunJar

2、查看端口(比较慢)

[root@hadoop ~]$ sudo netstat -anp|grep 10000

tcp6 0 0 :::10000 :::* LISTEN 10840/java

kettle创建Hive类型DB连接

加载hive驱动

kettle存放驱动包的位置:pdi-ce-8.3.0.0-371\data-integration\lib

将hive的驱动jar包,拷贝到kettle存放驱动包的位置,如下截图

kettle庖丁解牛第7篇之DB连接中篇_database_04

加载数据库对应的驱动,这一步是必须的,如果不做这一步,后续在创建DB连接时,直接报错找不到对应的驱动类。

创建转换

我们要做的ETL操作,全是在转换中设计的,所以我们要先创建一个转换。

kettle庖丁解牛第7篇之DB连接中篇_hive_05

kettle庖丁解牛第7篇之DB连接中篇_impala_06

保存转换

kettle庖丁解牛第7篇之DB连接中篇_hive_07

给你新建的转换,起个名字,并保存

kettle庖丁解牛第7篇之DB连接中篇_database_08

创建DB连接

kettle庖丁解牛第7篇之DB连接中篇_sql_09

kettle庖丁解牛第7篇之DB连接中篇_database_10

kettle庖丁解牛第7篇之DB连接中篇_database_11

兄弟们仔细看一下,此处填写的信息,正是我们jdbc需要配置的相关信息。

kettle庖丁解牛第7篇之DB连接中篇_hive_12

兄弟们,看到这个弹框提示的successfully的内容,恭喜恭喜你已经成功的使用kettle创建了一个连接hive的DB连接!!!

kettle庖丁解牛第7篇之DB连接中篇_impala_13

kettle庖丁解牛第7篇之DB连接中篇_hive_14

展开DB连接标签,就可以看到我们上面创建的DB连接,兄弟们跟着我一步一步操作,相信你和我一样成功了,嘿嘿你真棒!!!

kettle创建Impala类型DB连接

加载impala驱动

kettle存放驱动包的位置:pdi-ce-8.3.0.0-371\data-integration\lib

将impala的驱动jar包,拷贝到kettle存放驱动包的位置,如下截图

kettle庖丁解牛第7篇之DB连接中篇_database_15

加载数据库对应的驱动,这一步是必须的,如果不做这一步,后续在创建DB连接时,直接报错找不到对应的驱动类。

创建转换

我们要做的ETL操作,全是在转换中设计的,所以我们要先创建一个转换。

kettle庖丁解牛第7篇之DB连接中篇_hive_05

kettle庖丁解牛第7篇之DB连接中篇_impala_06

保存转换

kettle庖丁解牛第7篇之DB连接中篇_hive_07

给你新建的转换,起个名字,并保存

kettle庖丁解牛第7篇之DB连接中篇_database_08

创建DB连接

kettle庖丁解牛第7篇之DB连接中篇_sql_09

kettle庖丁解牛第7篇之DB连接中篇_database_10

kettle庖丁解牛第7篇之DB连接中篇_database_22

兄弟们仔细看一下,此处填写的信息,正是我们jdbc需要配置的相关信息。

kettle庖丁解牛第7篇之DB连接中篇_sql_23

兄弟们,看到这个弹框提示的successfully的内容,恭喜恭喜你已经成功的使用kettle创建了一个连接impala的DB连接!!!

kettle庖丁解牛第7篇之DB连接中篇_hive_24

kettle庖丁解牛第7篇之DB连接中篇_impala_25

结束语

本篇文章主要详细的讲解了:HiveServer2服务相关内容、kettle中的DB连接(连接hive、连接impala)。

来看文章的兄弟们,技术功底是不一样的,这篇就写到这吧。下一篇带来的是DB连接下篇,我会详细扩展一下sqlserver数据库的连接实现。

兄弟们,其实想和作是有一段距离的,你想着想着就没有了,可是你做着做着,它就落地了。

啥都别说了,兄弟们后面跟着我干就完了,我们依然掰开揉碎的方式去说。后续的内容更精彩,敬请期待,感谢兄弟们的关注!!

【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年11月08日 0

暂无评论

推荐阅读
  llt0tXqeaug8   2023年11月30日   31   0   0 g++ubuntuhive
  X5zJxoD00Cah   2023年11月24日   37   0   0 SQL运算符
  X5zJxoD00Cah   2023年11月22日   40   0   0 逆序SQL
  X5zJxoD00Cah   2023年12月11日   30   0   0 表名SQL
  DF5J4hb0hcmT   2023年12月08日   27   0   0 慢查询druidSQL
Lb78AVwchy8f