前言 这周主要是学习使用Flink,其中有一部分学习的内容就是生成parquet。Flink自身提供的文档写了个大概,但是真要自己动手去生成pqrquet文件,发现还是有些小坑,本文就是记录这些坑。 开始 官方文档总是最好的开始的地方,下面是官方文档上面的内容https://nightlies.apache.org/flink/flink-docs-release-1.17/docs/connectors/datastream/filesystem/file-sink从官方文档上面看,似乎很简单,使用FileSink,然后设置下格式使用AvroParquetWriters就可以了。但是按照这个...

  sEkVL1ZJlmIQ   2023年11月01日   30   0   0 Java

前言 这周的主要时间花在Flink上面,做了一个简单的从文本文件中读取数据,然后存入数据库的例子,能够正常的实现功能,但是遇到个问题,我有四台机器,自己搭建了一个standalone的集群,不论我把并行度设置多少,跑起来的耗时都非常接近,实在是百思不得其解。机器多似乎并不能帮助它。把过程记录在此,看后面随着学习的深入能不能解答出这个问题。 尝试过的修复方法 集群搭建 出现这个问题后,我从集群的角度来进行了些修改,1,机器是2核的,slots被设置成了6,那我就有点怀疑是这个设置问题,因为其实只有2核,设置的多了,反而存在抢占资源,导致运行达不到效果,改成2后效果一样,没有改进。这个参数在tas...

  sEkVL1ZJlmIQ   2023年11月01日   30   0   0 Java

二叉树是比较基础的数据结构,以前也知道,但是一直没有细究,不明白它究竟有什么作用,这次学习数据结构,结合Go语言来动手实践一个,只有动手做一做对它的理解才比较深一点。 二叉树的定义 首先是二叉树的定义,二叉树顾名思义有两个叉,左右各一个,最多两个。 根节点 关于根节点,起初我还以为二叉树的根节点会变,比如根据值的大小,改变根节点。这个理解是不对的,代码实现的时候,第一个就作为根节点,后面来的,小的就往左放,大的就往右放,会调整改变的那个叫平衡二叉树下面用这个图来说明一下比如有四个数13,14,15,19比如我按这样的顺序放树就长这样:19,13,14,15 如果我们这样的顺序来放14,13,1...

  sEkVL1ZJlmIQ   2023年11月01日   102   0   0 算法与数据结构
关注 更多

空空如也 ~ ~

粉丝 更多

空空如也 ~ ~