Apache StreamPark 2.1.2 Release 版本正式发布|发版通告
  o38oyCUvCgVP 2023年12月22日 38 0



文章目录

  • 1. 新特性解读
  • 更好地支持 JAR 类型作业
  • 支持 Flink 1.18
  • 其他改进和更新
  • 2. Release Note
  • 感谢贡献者
  • 什么是 StreamPark
  • 加入我们



Apache StreamPark 2.1.2 Release 版本正式发布|发版通告_apache

近日

Apache StreamPark(Incubating) 社区正式发布了 StreamPark 2.1.2 版本,在 2.1.2 版本中,支持了最新的 Flink 1.18,Flink Jar 类型的作业支持指定依赖,修复了诸多 Bug 、完成了大量改进,进一步提升了稳定性和可用性,建议所有用户升级到这个版本。

下载使用

  • Github: https://github.com/apache/streampark
  • 官 网: https://streampark.apache.org/download


    欢迎 使用、关注、star、fork Image Image Image

1. 新特性解读

更好地支持 JAR 类型作业

在 StreamPark 中将 Flink 作业按照开发模式分为 Custom Code 和 Flink SQL 两种类型,Custom Code 是需要用户编写代码编译成 JAR 类型的 Flink 作业,在以前的版本中该类型的作业不支持在 StreamPark 平台侧指定作业依赖,要求用户自己解决作业需要的依赖,通常做法是需要将这些依赖打包到项目里,生成一个 FatJar (uber-jar)。社区收到很多用户的反馈,大家普遍希望 StreamPark 平台侧针对 JAR 类型的作业能像 Flink SQL 作业一样,可以自由的指定作业的依赖。

同时,我们也看到 Apache Doris, Apache Paimon 等社区都开发了基于 Flink CDC 一键集成数据的组件 (doris-flink-connector 和 paimon-action),这些组件都提供了作业迁移的入口,但作业运行时依赖需要用户手动添加,在操作上不太方便。

鉴于这些原因,在 StreamPark 2.1.2 里,特别针对 JAR 类型的作业支持了指定依赖的能力,使得用户部署这类作业更加简单。以下是两个示例,演示了如何利用该特性来快速部署 Doris 和 Paimon 数据迁移类型的作业

Apache StreamPark 2.1.2 Release 版本正式发布|发版通告_Apache_02


Apache StreamPark 2.1.2 Release 版本正式发布|发版通告_流处理_03

支持 Flink 1.18

作为流处理开发管理框架,StreamPark 在对 Apache Flink 的支持上,一如既往的走在前列。得益于 StreamPark 良好的架构设计,使得在 StreamPark 中支持一个新版本的 Flink 非常容易,因此我们率先支持了 Flink 1.18 [1]。在使用上非常的简单,用户只需要添加一个 Flink 1.18 的环境即可,作业可以自由地选择 Flink 版本。

并且本次 StreamPark 适配了更多发行版 Flink,如 CDH 版本的 Flink、华为云、腾讯云 Flink 等。


Apache StreamPark 2.1.2 Release 版本正式发布|发版通告_Apache_04

其他改进和更新

  • 修复作业状态重新映射不生效的 Bug #2822
  • 改进 Flink 版本的校验逻辑,适配更多的 Flink 版本 #2832
  • 修复作业 “取消状态” 下可能存在的无法发送报警信息的 Bug #3157
  • 修复 Ingress 访问 Flink UI 可能存在的 404 Bug #3302
  • 修复团队为空,查询报错的 Bug #3365
  • 修复作业参数解析,特定字符解析错误导致作业失败的 Bug
  • 修复项目编译时 maven-wrapper 文件损坏导致失败的 Bug
  • Flink 作业的 Pom 信息支持 exclusion,有效避免 JAR 冲突问题

2. Release Note

本次 StreamPark 2.1.2 版本的完整 Release Note 请访问:https://streampark.apache.org/download/release-note/2.1.2

感谢贡献者

StreamPark 开源社区地发展,离不开广大用户群体的积极反馈和宣传布道,更离不开贡献者们的无私贡献,感谢对此版本做出贡献的每一位贡献者。

特别感谢本次的 Release Manager @龚中强[2],中强在发版过程中积极地跟踪问题和推进进度,出色地完成了此次发版工作。感谢中强为社区做出的贡献,也欢迎其他 PPMC member 和 Committer 在后续的发版中担任 Release Manager,帮助社区更快捷、高质量地完成发版。

什么是 StreamPark

StreamPark 是一个流处理应用程序开发管理框架。初衷是让流处理更简单,旨在轻松构建和管理流处理应用程序,提供使用 Apache Flink 和 Apache Spark 编写流处理应用程序地开发框架。同时 StreamPark 提供了一个流处理应用管理平台,核心能力包括但不限于应用开发、调试、交互查询、部署、运维、实时数仓等,最初开源时项目名称叫 StreamX ,于 2022 年 8 月更名为 StreamPark,随后通过投票正式成为 Apache 开源软件基金会地孵化项目。目前已有腾讯、百度、联通、天翼云、自如、马蜂窝、长安汽车等数百家公司生产环境使用。


💻 项目地址:https://github.com/apache/streampark 🧐 提交问题和建议:https://github.com/apache/streampark/issues

🥁 贡献代码:https://github.com/apache/streampark/pulls

📮 Proposal:https://cwiki.apache.org/confluence/display/INCUBATOR/StreamPark+Proposal

💁♀️社区沟通:

Apache StreamPark 2.1.2 Release 版本正式发布|发版通告_apache_05


参考资料

[1] https://nightlies.apache.org/flink/flink-docs-release-1.18/release-notes/flink-1.18

[2] https://github.com/GOODBOY008

祝大家安装、升级顺利~~


【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年12月22日 0

暂无评论

推荐阅读
o38oyCUvCgVP