JavaScript
easymr 标签描述

设想一下,作为一个开发人员,你现在所在的公司有一套线上的Hadoop集群。A部门经常做一些定时的BI报表,B部门则经常使用软件做一些临时需求。那么他们肯定会遇到同时提交任务的场景,这个时候到底应该如何分配资源满足这两个任务呢?是先执行A的任务,再执行B的任务,还是同时跑两个? 如果你存在上述的困惑,可以多了解一些Yarn的资源调度器。 Yarn的三种调度器 从Hadoop2开始,官方把资源管理单独剥离出来,主要是为了考虑后期作为一个公共的资源管理平台,任何满足规则的计算引擎都可以在它上面执行。Yarn作为一款Hadoop集群的资源共享,不仅可以跑MapReduce,还可以跑Spark,Flin...