nifi之将提取出来的Mysql数据库数据转换成json格式(2)
  zZHnZavbRDNq 2023年11月02日 22 0


nifi之将提取出来的Mysql数据库数据转换成json格式

为什么要转化成json格式,主要是因为处理器从数据库里面提取出来的数据都是avro格式的,不是非常的友好,再者就是好多的处理器都是通过json格式的数据转换的,所以说通过转化成json,更加方便我们后期的数据转化和存储

选择处理器

ConvertAvroToJson处理器

接上一篇,小编把处理器选错了

nifi之将提取出来的Mysql数据库数据转换成json格式(2)_mysql

更改处理器
删除连接关系

这个基础是在消息队列里面没有数据的情况下进行的,也就是上下游处理器不是处于启动状态

nifi之将提取出来的Mysql数据库数据转换成json格式(2)_mysql_02

删除处理器

nifi之将提取出来的Mysql数据库数据转换成json格式(2)_nifi_03

重新添加ConvertAvroToJson处理器

nifi之将提取出来的Mysql数据库数据转换成json格式(2)_nifi_04

更改处理器name,这个看自己心情,如果处理器过多还是希望大家配置上name,这样的话就可以一眼看出这个处理器是干啥的

nifi之将提取出来的Mysql数据库数据转换成json格式(2)_centos_05


nifi之将提取出来的Mysql数据库数据转换成json格式(2)_centos_06

创建与上一个处理器QueryDatabaseTable的连接

nifi之将提取出来的Mysql数据库数据转换成json格式(2)_数据_07

更改 ConvertAvroToJson处理器的属性配置

【双击 ConvertAvroToJson处理器】进行更改属性

nifi之将提取出来的Mysql数据库数据转换成json格式(2)_mysql_08

添加下游处理器SplitJson

这里大家需要注意的是,这里转化成json的话,是一整个的,也就是说没有分段的,不是一行一行的,所以下面我们就的需要一个处理器,将他的json来进行分段,一行一行的进行展示给我们看,大家可以想想,如果我需要向数据里面插入数据呢,哦不能把这一大段给数据库吧,所以我们的需要一行一行的拼成sql语句,而后执行插入到数据库中

nifi之将提取出来的Mysql数据库数据转换成json格式(2)_json_09

连接上 ConvertAvroToJson处理器

选择上游成功后推送。

nifi之将提取出来的Mysql数据库数据转换成json格式(2)_nifi_10


如果上游动作没有成功的话怎么办呢,如果失败了让他自连接去,也就是再推给上游

nifi之将提取出来的Mysql数据库数据转换成json格式(2)_nifi_11

检查 ConvertAvroToJson处理器是否有报错信息

nifi之将提取出来的Mysql数据库数据转换成json格式(2)_mysql_12

启动测试一下

数据的基本走向,QueryDatabaseTable处理器从数据库里面提取到数据,然后交给下游ConvertAvroToJson处理器进行数据格式的转化,转换成json格式(本届重点内容),然后再交给下游splitjson处理器进行json分片(这个内容下一篇讲解)

启动QueryDatabaseTable处理器

nifi之将提取出来的Mysql数据库数据转换成json格式(2)_centos_13


等待一段时间

nifi之将提取出来的Mysql数据库数据转换成json格式(2)_centos_14

启动ConvertAvroToJson处理器处理器

nifi之将提取出来的Mysql数据库数据转换成json格式(2)_json_15

等待一段时间,看看效果

nifi之将提取出来的Mysql数据库数据转换成json格式(2)_centos_16

查看转化的json数据

nifi之将提取出来的Mysql数据库数据转换成json格式(2)_centos_17


nifi之将提取出来的Mysql数据库数据转换成json格式(2)_centos_18


可以看到我们的数据已经完美的转化成json格式了,方便了不少

nifi之将提取出来的Mysql数据库数据转换成json格式(2)_nifi_19

结束语

下一篇我们将要对这json数据进行一行一行的输出


【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年11月08日 0

暂无评论

推荐阅读
zZHnZavbRDNq