DolphinScheduler:基于Java的分布式任务调度平台 简介 DolphinScheduler是一个基于Java的分布式任务调度平台，能够帮助开发人员更好地管理和调度一系列任务。它提供了一套完整的工作流、任务调度和数据治理解决方案，支持复杂的依赖关系和任务调度策略。 DolphinScheduler是由Apache开源基金会托管的开源项目，具有高可靠性、高可扩展性和高容错性。它可以与其他常见的大数据生态系统（如Hadoop、Spark、Hive等）无缝集成，并提供了丰富的任务类型和调度策略。 本文将介绍DolphinScheduler的基本概念、架构、使用流程，并提供一些代码示例，...

Yarn   分布式资源管理和任务调度框架 背景   在一直所常用的架构为MRv1   但是存在单点故障和限制区群扩充的问题、资源和计算也没有很好的解耦 四大角色ClientResourceManagerNodeManagerApplicationMaster   Client负责代表用户和RM交互   RM     整个集群中只有一个存活,负责资源的调度和管理     处理Client发来的请求开启和杀死应用 &n...