nifi之将提取出来的Mysql数据库数据转换成json格式
为什么要转化成json格式,主要是因为处理器从数据库里面提取出来的数据都是avro格式的,不是非常的友好,再者就是好多的处理器都是通过json格式的数据转换的,所以说通过转化成json,更加方便我们后期的数据转化和存储
选择处理器
ConvertAvroToJson处理器
接上一篇,小编把处理器选错了
更改处理器
删除连接关系
这个基础是在消息队列里面没有数据的情况下进行的,也就是上下游处理器不是处于启动状态
删除处理器
重新添加ConvertAvroToJson处理器
更改处理器name,这个看自己心情,如果处理器过多还是希望大家配置上name,这样的话就可以一眼看出这个处理器是干啥的
创建与上一个处理器QueryDatabaseTable的连接
更改 ConvertAvroToJson处理器的属性配置
【双击 ConvertAvroToJson处理器】进行更改属性
添加下游处理器SplitJson
这里大家需要注意的是,这里转化成json的话,是一整个的,也就是说没有分段的,不是一行一行的,所以下面我们就的需要一个处理器,将他的json来进行分段,一行一行的进行展示给我们看,大家可以想想,如果我需要向数据里面插入数据呢,哦不能把这一大段给数据库吧,所以我们的需要一行一行的拼成sql语句,而后执行插入到数据库中
连接上 ConvertAvroToJson处理器
选择上游成功后推送。
如果上游动作没有成功的话怎么办呢,如果失败了让他自连接去,也就是再推给上游
检查 ConvertAvroToJson处理器是否有报错信息
启动测试一下
数据的基本走向,QueryDatabaseTable处理器从数据库里面提取到数据,然后交给下游ConvertAvroToJson处理器进行数据格式的转化,转换成json格式(本届重点内容),然后再交给下游splitjson处理器进行json分片(这个内容下一篇讲解)
启动QueryDatabaseTable处理器
等待一段时间
启动ConvertAvroToJson处理器处理器
等待一段时间,看看效果
查看转化的json数据
可以看到我们的数据已经完美的转化成json格式了,方便了不少
结束语
下一篇我们将要对这json数据进行一行一行的输出