各位热爱SeaTunnel的小伙伴们，SeaTunnel社区4月份月报来啦！这里将记录SeaTunnel社区每月的重要更新，欢迎关注！ 月度Merge之星 感谢以下小伙伴4月为ApacheSeaTunnel做的精彩贡献（排名不分先后）： @TyrantLucifer,@sunxiaojian,@CosmosNi,@corgy-w,@litiliu,@LeonYoah,@hailin0,@taohaozhi1129,@L-Gryps,@Hisoka-X,@xiaochen-zhou,@shangeyao,@lightzhao,@haneeshmv,@liunaijie,@nianhua99,@...

SeaTunnel提供了一种运行Zeta引擎(cluster-mode)的方法，可以让Kubernetes在本地运行Zeta引擎，实现更高效的应用程序部署和管理。在本文中，我们将探索SeaTunnelk8s运行zeta引擎(cluster-mode模式)的更多信息，了解如何更好地利用Zeta引擎的优势。 将SeaTunnel上传至服务器上。我之前已经解压并执行过install-plugin.sh，这里为了方便，我直接用的执行过install-plugin.sh脚本之后的seatunnel做演示。 执行过install-plugin后的lib目录包含如下： tar-zxvfapache-...

转载自小虾米0.0 导读：随着Kubernetes的普及和发展，越来越多的企业和团队开始使用Kubernetes来管理和部署应用程序。然而，Kubernetes的默认工作方式可能不是最佳的选择，尤其是在需要更高效、更可靠的应用程序部署和管理能力时。因此，SeaTunnel提供了一种运行Zeta引擎(local-mode模式)的方法，可以让Kubernetes在本地运行Zeta引擎，实现更高效的应用程序部署和管理。在本文中，我们将探索SeaTunnelk8s运行zeta引擎(local-mode模式)的更多信息，了解如何更好地利用Zeta引擎的优势。 运行 将SeaTunnel上传至服务...

DB2是IBM的一款关系型数据库管理系统，JDBCDB2SourceConnector是一个用于通过JDBC读取外部数据源数据的连接器。ApacheSeaTunnel如何支持JDBCDB2SinkConnector？请参考本文档。 支持引擎 SparkFlinkSeaTunnelZeta 主要功能 精确一次性 CDC（变更数据捕获） 使用Xa事务来确保精确一次性。因此，只支持对支持Xa事务的数据库进行精确一次性操作。您可以设置is_exactly_once=true来启用它。 描述 通过JDBC写入数据。支持批处理模式和流式模式，支持并发写入，支持精确一次性语义（使用XA事务保证）...

各位热爱SeaTunnel的小伙伴们，SeaTunnel社区3月月报来啦！这里将记录SeaTunnel社区每个月的重要更新，并评选出月度之星，欢迎关注。 SeaTunnel月度MergeStars 感谢以下小伙伴3月为ApacheSeaTunnel做的精彩贡献（排名不分先后）： @Carl-Zhou-CN,@ilsl1007,@loveyang1990,@dailai,@liugddx,@CheneyYin,@litiliu,@ShaunWuu,@hailin0,@rewerma,@wineternity,@lihjChina,@luohoufu,@lightzhao,@liunaijie,...

DB2是IBM的一款关系型数据库管理系统，JDBCDB2SourceConnector是一个用于通过JDBC读取外部数据源数据的连接器。ApacheSeaTunnel如何支持JDBCDB2SourceConnector？请参考本文档。 支持引擎 SparkFlinkSeaTunnelZeta引擎 主要特性 批处理（batch） 精确一次（exactly-once） 列投影（columnprojection） 并行处理（parallelism） 支持用户自定义分割（supportuser-definedsplit） 它支持查询SQL并可以实现投影效果。 描述 通过JDBC读取外部数据...

作者|ALIREZASADEGHI 翻译|DebraChen 简介 虽然生成式人工智能和ChatGPT带来的沸沸扬扬的炒作令科技界为之一振，但在数据工程领域，2023年仍然是一个令人振奋和充满活力的一年，数据工程生态系统变得更加多样化和复杂化，系统中的所有层面都在不断创新和演进。 随着各种开源工具、框架和解决方案的持续涌现，数据工程师的选择也越来越多！在这样快速变化的环境中，紧跟最新技术和趋势的重要性不言而喻。选择合适的工具来完成合适的工作是一项至关重要的技能，确保在不断变化的数据工程挑战面前保持效率和相关性。 作为一名资深数据工程师和顾问，我一直密切关注着数据工程趋势，我想在2024年初向...

作者|ShawnGordon 翻译|DebraChen 原文链接|WhattheHeckisApacheSeaTunnel? 我在2023年初开始注意到ApacheSeaTunnel的相关讨论，一直低调地关注着。该项目始于2017年，最初名为Waterdrop，在ApacheDolphinScheduler的创建者的贡献下发展起来，后者支持SeaTunnel作为任务插件。 我最初对于SeaTunnel是什么以及为什么我会关心它感到困惑。这意味着我将在至少能回答我的这些问题的层面上，对ApacheSeaTunnel有一个深度的介绍。那么，让我们开始吧。 什么是SeaTunnel？ Apache...

核心概念 整个SeaTunnel设计的核心是利用设计模式中的控制翻转或者叫依赖注入，主要概括为以下两点： 上层不依赖底层，两者都依赖抽象 流程代码与业务逻辑应该分离 对于整个数据处理过程，大致可以分为以下几个流程：输入->转换->输出，对于更复杂的数据处理，实质上也是这几种行为的组合： 内核原理 SeaTunnel将数据处理的各种行为抽象成Plugin，并使用SPI技术进行动态注册，设计思路保证了框架的灵活扩展，在以上理论基础上，数据的转换与处理还需要做统一的抽象，譬如比较有名异构数据源同步工具DataX，也同样对数据单条记录做了统一抽象。 在SeaTunnelV1架构体...

本月初，SeaTunnel同步计算引擎STE2.3.0beta2（commitid7393c47）在社区的共同努力之下正式发布。与此同时，社区对大家期待的性能指标进行了测试。 为了让大家对测试结果有一个更直观的概念，我们采用了对比测试的方法。熟悉数据集成领域的人应该了解，DataX是目前数据开源同步引擎里，性能较好的同步工具之一，这次SeaTunnel做对比的对象，正是这款目前在数据集成领域使用较多的开源同步引擎。 为了保证对比测试的准确性，我们选取了相同的测试场景：在相同的资源情况下，测试DataX和SeaTunnel将数据批量从MySQL同步到HDFS，以Text格式保存，所需要花费...

ApacheSeaTunnel（Incubating）社区线上Meetup讲师&议题正式对外征集啦！疫情之下，社区举办的线上交流活动依然热火朝天。在此我们诚心向社区广大用户发起邀请，借你之力让社区更加强大，帮助到更多的人！社区重于代码，社区会记住每一位为之做出贡献的讲师！ 如果您想贡献您的想法、分享您的经验、锻炼演讲能力，可以在滑到下方扫描二维码报名，我们将在7个工作日内联系您，在此之前您可以了解分享嘉宾在Meetup中的收获。 01ApacheSeaTunnel（Incubating）Meetup是什么？ ApacheSeaTunnel(Incubating)是一个分布式、高性能...

  这次在6月Meetup为大家带来的是Scaleph基于ApacheSeaTunnel(Incubating)的数据集成介绍，希望你有所收获。 本次演讲主要包括五个部分： 关于Scaleph Scaleph架构&功能简介 SeaTunnel社区贡献 系统演示 开发计划 ApacheSeaTunnel(Incubating)  王奇 ApacheSeaTunnelContributor 搜索推荐工程师，大数据Java开发 01Scaleph的缘起 我最早是从事搜索推荐工作，在团队里面负责维护Dump系统，主要是为我们的搜索引擎提供喂数据的功能，先给大家...

点亮⭐️Star·照亮开源之路 GitHub:https://github.com/apache/incubator-seatunnel 随着SeaTunnel在全球范围内获得认可，这个项目正在吸引着越来越多的海外贡献者贡献开源。 其中，来自韩国最大的互联网企业Kakao集团的大数据平台工程师NamgungChan（南宫灿）最近在「SeaTunnelConnector接入激励计划」中为SeaTunnel贡献了Neo4jSinkConnector。 在对话中，我们了解到了SeaTunnel为何对他有吸引力，以及他关于SeaTunnel应该如何在韩国市场获得更多市场的想法。 个人简介 N...

大数据时代下，数据开发治理成为企业数据资产管理、提升数据质量、数据智能应用等过程的关键。数据开发治理成功与否，关系着实现能否实现企业数据价值的最大化。 数据集成与API网关是决定控制数据治理开发成果质量的两把“钥匙”。其中，数据集成把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享；API网关是与实际后端服务或数据连接的流量管理器，并针对API调用应用策略、身份验证和一般访问控制来保护有价值的数据。集中共享+数据保护，打通了数据开发治理的关键环节，助力企业提升数据价值。 11月，数据集成平台ApacheSeaTunnel(Incubating)将与A...

点亮⭐️Star·照亮开源之路 https://github.com/apache/incubator-seatunnel 讲师简介 毕博马蜂窝数据工程师 在10月15日，ApacheSeaTunnel&IoTDB联合Meetup期间，马蜂窝网数据工程师毕博给大家介绍了SeaTunnel的基本原理和相关企业实践思考、马蜂窝大数据开发调度平台典型场景下的痛点和优化思考，并分享了个人参与社区贡献的实践经验，希望同时能帮助大家快速了解SeaTunnel及参与社区建设的路径和技巧。 ✦SeaTunnel的技术原理简介✦ SeaTunnel是一个分布式、高性能的数据集成平台，用于海量数...

 点亮 ⭐️ Star·照亮开源之路 版本更新 今天，ApacheSeaTunnel(Incubating) 2.2.0-beta版本正式发布。新版本对Connector API进行了重构，将连接器与引擎解偶，同时社区基于新API完成了大量连接器的接入，并修复了上个版本中存在的使用性问题，提高了版本稳定性和使用效率。 本文将为大家介绍ApacheSeaTunnel(Incubating)2.2.0-beta版本更新的具体内容。 ReleaseNote:https://github.com/apache/incubator-seatunnel...

点亮⭐️Star·照亮开源之路 https://github.com/apache/incubator-seatunnel 讲师简介 周利旺天翼云大数据开发工程师 在11月26日，ApacheSeaTunnel&APISIX联合Meetup期间，天翼云科技大数据开发工程师周利旺给大家分享了天翼云数据集成平台引入SeaTunnel过程中的一些探索实践，希望对大家有所帮助！ 天翼云数据集成平台基于ApacheNifi二次封装而成，但是对于一些特定的需求ApacheNifi不能够很好地满足，因此需要引入第三方的数据集成工具进行能力上的补足。而SeaTunnel恰是能用Nifi互补的...

在上一篇文章中，我们介绍了如何下载安装部署SeaTunnelZeta服务（3分钟部署SeaTunnelZeta单节点Standalone模式环境），接下来我们介绍一下SeaTunnel支持的第一个同步场景：离线批量同步。顾名思意，离线批量同步需要用户定义好SeaTunnelJobConfig，选择批处理模式，作业启动后开始同步数据，当数据同步完成后作业完成退出。 下面以MySQL离线同步到StarRocks为例，介绍如何使用SeaTunnel进行离线同步作业的定义和运行。 1.定义作业配置文件 SeaTunnel使用配置文件来定义作业，在这个示例中，作业的配置文件如下，文件保存路径/seat...

Catalog（目录）提供了关于数据库、表格和访问数据所需的信息的元数据，以及统一的API来管理元数据，验证连接，让元数据对Sources（数据源）、Sinks（数据汇）和Web可访问。 Catalog让用户能够引用其数据系统中的现有元数据，并自动映射到SeaTunnel的对应元数据。总之，Catalog大大简化了使用用户现有系统开始使用SeaTunnel的步骤，并显著增强了用户体验。 Catalog功能的重要性 目前，许多现有功能都是基于Catalog实现的，例如CDC（变更数据捕获）多表同步功能，我们使用Catalog获取表格和字段列表。 ApacheSeaTunnel目前正在设计一个叫...

近日，ApacheSeaTunnel正式发布2.3.2版本。此时距离上一版本2.3.1发布已有两个多月，期间我们收集并根据用户和开发者的反馈，在2.3.2版本中对SeaTunnelZetaEngine进行了Bug修复，提高了引擎的稳定性和使用效率。 此外，新版本还对Connector-V2中的连接器进行了功能和性能优化，同时SQLTransfrom支持了自定义UDF函数，ZetaEngine也提供了通过RestAPI的方式进行集群的监控和查询操作。 本文将为大家介绍ApacheSeaTunnel2.3.2版本更新内容具体情况。 ReleaseNote:https://github....