文章目录 1.新特性解读 更好地支持JAR类型作业 支持Flink1.18 其他改进和更新 2.ReleaseNote 感谢贡献者 什么是StreamPark 加入我们 近日 ApacheStreamPark(Incubating)社区正式发布了StreamPark2.1.2版本，在2.1.2版本中，支持了最新的Flink1.18，FlinkJar类型的作业支持指定依赖，修复了诸多Bug、完成了大量改进，进一步提升了稳定性和可用性，建议所有用户升级到这个版本。 下载使用： Github:https://github.com/apache/streampark 官网...

文章目录 01引言 02功能 2.1资源管理 2.2内置Flink集群/插件 2.3支持模板 2.4Gump模式 2.5预览功能 2.6CLI形式 2.7可拔插 03优化 3.1变量管理 3.2用户管理 3.3作业配置 04文末 01引言 官方文档：https://streampark.apache.org/Github地址：https://github.com/apache/incubator-streampark 博主之前写过一篇博文《Streampark使用体验与建议》，可以知道Streampark它可以： 让流处理更简单,使用StreamPark开发;...

缓存分类： 客户端缓存：页面缓存、浏览器缓存、APP客户端缓存； 网络缓存：代理缓存、CDN缓存； 服务器缓存：数据库缓存、平台缓存级缓存。 Ehcache：Ehcache是用来管理缓存的一个工具，其缓存的数据可以是存放在内存里面的，也可以是存放在硬盘上的。其核心是CacheManager，一切Ehcache的应用都是从CacheManager开始的，它是用来管理Cache（缓存）的，一个应用可以有多个CacheManager，而一个CacheManager下又可以有多个Cache。Cache内部保存的是一个个的Element，而一个Element中保存的是一个key和value...

文章目录 01引言 02源码剖析 2.1作业提交脚本 2.2作业提交入口类 2.3local模式提交 2.3.1执行SQL类型作业 2.3.2执行同步类型作业 2.4其它模式提交 03小结&感想 01引言 博主在上一篇文章《数据集成框架FlinkX（纯钧）入门》，大致讲解了FlinkX的一些概念，以及举了相关FlinkX的使用案例。 本文我们继续探索一下FlinkX的源码以及整个执行流程。阅读前，复制上一篇文章有关FlinkX的项目目录： bin 存放执行脚本的目录 ├──chunjun-docker.shDocker启动脚本 ├──chunjun-ku...

文章目录 01FlinkX为何物？ 02使用FlinkX实现MySQL同步至MySQL 2.1源码编译 2.2提交任务 03文末 01FlinkX为何物？ 官网地址：https://dtstack.github.io/chunjun/Github：https://github.com/DTStack/chunjun FlinkX现改名为纯钧，它其实就是一款基于Flink实现多种异构数据源之间的数据同步与计算，且支持流批一体的开源数据集成框架</u?。 FlinkX将不同的数据库抽象成了reader/source插件，writer/sink插件和lookup维表插件...

博主最近在逛Github的时候，发现了一款宝藏仓库，特别适合刚入门或者已经入门但对自己所处职位技术路线不清晰的程序员，对程序员的成长有非常大的帮助，它霸榜Github多年，号称是GithubStars总数量排第六的仓库，最主要的是它一直在持续更新中。这个开源仓库就是“developer-roadmap”。 项目地址：https://github.com/kamranahmedse/developer-roadmap官网地址：https://roadmap.sh 为了方便阅读，我们可以直接去访问它的官网，从官网可以看出roadmap很用心地帮我们按不同类型划分学习路线。 基于职位角...

文章目录 1.GithubPages为何物？ 2.快速搭建第一个GithubPages网站 2.1搭建个人（组织）类型的网站 Step1：新建一个项目 Step2：创建一个界面文件 Step3：访问 2.2搭建项目类型的网站 Step1：新建一个项目 Step2：创建一个界面文件 Step3：设置GithubPages Step4：保存并访问 3.静态网站生成工具 3.1Mac下安装Jekyll 3.2Jekyll的简单使用 3.3Jekyll的文件配置 4.静态网站模板 4.1本地调试模板 4.2发布模板 5.文末 1.GithubPages为何...

01引言 最近需要对接腾讯的tdsql，准备使用flink的mysqlcdcjar，发现该jar包并不支持tdsql（5.x版本），运行时总是一堆的报错。 报错的根本原因是：flink的mysqlcdcjar包里面是基于mysql8.x驱动来打包的，而该版本的tdsql仅支持的jdbc驱动为5.x。 因此，需要做的事情就是降级mysqlcdcjar包里面的mysql驱动并重新打包，而mysql驱动包是在mysqlcdc也依赖的debezium-connector-mysql里面引用的，所以需要修改的是debezium的包。 02相关资料 相关的代码以及打包好的jar包都提交到了Gitee，请...

AIadoptionamongMacappusersisbooming,accordingtoanewreportfromappsubscriptionserviceSetappthatfoundthat42%ofMacuserstodayreportusingAI-basedappsonadailybasis,and63%claimtobelievethatAIappsaremorebeneficialthanthosewithoutAI.Inaddition,MacappdevelopersareembracingAI,with44%havingalreadyimplemente...

上一章讲到了记账，切换到区块链的技术层面，对应如下： 1、每个账房先生对应的是每个网络节点，如果一个节点有改变，会广播通知其他的节点（这种互相通信的功能叫做“网络路由”） 2、前一章的“掷骰子”成为“共识算法”（一种大家都认同的遵守的筛选方案），选出一个节点之后，数据在一段时间内以这个节点为准。此节点如果发生改变，会广播通知其它节点，其它的节点验证没问题后，就存储到各自的账本中。 3、被选中的节点肯定是要处理很多事情的，于是设计了一个激励机制，像论坛积分一样增加，这样很多的节点都会去抢着干，这种竞争的过程，称之为“挖矿”。 技术细节： 那么每个节点怎么去证明自己的身份呢？ 这里用到了公...

下面用记账的例子来介绍区块链。 方案一：老王负责记账，负责村里的每一笔账目，很稳，没人怀疑。惨了，老王被老绿发现修改了里面的账目，老绿告诉了全村人，因此要修改方案。使用下面方案二。 方案二：村里的人决定选出一帮可信任的人，轮流来记账，这帮人有老A，老B，老C，老等等（反正字母就是了）。各位老字母好像找到了套路，老A先修改里面的账目，然后故意把修改的那一页损坏，其它人照样学样。村里人肯定不同意，因此出现了下面的方案三。 方案三：使用了一个方法，如果账目有改动，每一本账本都要修改。似乎一切都很稳，但是每个账房的先生都很累，不想干了。考虑到这样，村里人有提出了其它方案，出现了方案四。 方案四：...

上一章讲到了记账，切换到区块链的技术层面，对应如下： 1、每个账房先生对应的是每个网络节点，如果一个节点有改变，会广播通知其他的节点（这种互相通信的功能叫做“​网络路由​”） 2、前一章的“掷骰子”成为“共识算法”（一种大家都认同的遵守的筛选方案），选出一个节点之后，数据在一段时间内以这个节点为准。此节点如果发生改变，会广播通知其它节点，其它的节点验证没问题后，就存储到各自的账本中。 3、被选中的节点肯定是要处理很多事情的，于是设计了一个激励机制，像论坛积分一样增加，这样很多的节点都会去抢着干，这种竞争的过程，称之为“挖矿”。 ​技术细节：​ 那么每个节点怎么去证明自己的身份呢？ 这里用...

下面用​记账​的例子来介绍区块链。 ​方案一：​ 老王负责记账，负责村里的每一笔账目，很稳，没人怀疑。 惨了，老王被老绿发现修改了里面的账目，老绿告诉了全村人，因此要修改方案。使用下面方案二。 ​方案二：​ 村里的人决定选出一帮可信任的人，轮流来记账，这帮人有老A，老B，老C，老等等（反正字母就是了）。 各位老字母好像找到了套路，老A先修改里面的账目，然后故意把修改的那一页损坏，其它人照样学样。村里人肯定不同意，因此出现了下面的方案三。 ​方案三：​ 使用了一个方法，如果账目有改动，每一本账本都要修改。 似乎一切都很稳，但是每个账房的先生都很累，不想干了。 考虑到这样，村里人有提出了其它方案...

文章目录 01引言 02流程分析 03核心配置 3.1hadoop环境配置 3.2flink-conf.yaml 3.3连接器相关的配置 04文末 01引言 博主前面写过一篇文章（《flinkkerberos认证源码剖析》）主要是讲解了flinkkerberos的认证原理以及代码流程分析。 可以知道，flink只要做一次kerberos的用户认证，就完美了对接connector所有涉及kerberos认证的组件，如：kafka、zookeeper、hadoop组件等。 本文以提交作业至一个有认证的hadoop环境，执行有认证的kafka实时同步到mysql的flink作业为例...

一位希望自己有效，也希望其组织有效的管理者，必然会自我检视一切的方案、活动和任务。他会问：“这件事现在还有继续做的价值吗？”如果认为没有价值了，他便立即停手，而将时间精力转移到其他只要做得好，便能使自己更为有效的任务上，也能促使他的组织更为成功。 尤其重要的是：有效的管理者打算做一项新的业务时，一定要先删除一项原有的业务。这对控制组织的“膨胀”是非常必要的，“膨胀”如不加以控制，组织就会变得涣散、难以管理。社会组织恰如生物有机体，必须保持“瘦且有肌肉”的状态。 有效的管理者都知道创业维艰，新工作不易上手，总会遇到困难。一项新的工作在开始之前，便该有遭遇极大困难的时候予以克服的手段，否则便...

文章目录 01引言 02功能界面 2.1系统管理页面 2.2设置中心 2.2.1界面 2.2.2功能描述 2.3Streampark（核心） 2.3.1界面 2.3.2功能描述 03环境 04评价与建议 05文末 01引言 本文为Streampark的阅读笔记，旨在快速了解该项目的功能、用法等。 Streapark是流处理极速开发框架，支持流批一体&湖仓一体的云原生平台，一站式流处理计算平台。 相关资料如下： 文档地址：https://streampark.apache.org/ Github：https://github.com/apache/in...

01引言 本文记录在docker下安装和配置streampark。 安装部署官网教程： https://streampark.apache.org/zh-CN/docs/user-guide/deployment https://streampark.apache.org/zh-CN/docs/user-guide/docker-deployment 02安装 官方使用的方式很简单，如下： 下载docker-compose.yaml wgethttps://raw.githubusercontent.com/apache/incubator-streampark/dev/deploy/...