本篇继续对RM中管理NodeManager的部分进行深入的讲解。主要有三个部分：检查NM是否存活；管理NM的黑白名单；响应NMRPC请求。 一、简介 在RM的主从结构中，最主要的就是RM和NM之间的主从结构。RM作为「管理员」，管理下面多个NM节点。如何检测NM是否存活，划分黑白名单，以及如何相应NMRPC请求，将在下面进行详细介绍。 二、NM管理主要组成 一）NMLivelinessMonitor 检测NM活性的服务，是否有心跳 当前正在运行的NM会保存在RM的一个数据结构中，NMLivelinessMonitor就周期遍历，若一个NM在一定时间（默认10分钟）未汇报心跳，则任务其挂了 N...

在YARN中，Application是指应用程序，它可能启动多个运行实例，每个运行实例由—个ApplicationMaster与一组该ApplicationMaster启动的任务组成，它拥有名称、队列、优先级等属性，是一个比较宽泛的概念，可以是一个MepReduce作业、一个DAG应用程序等。YARN中Application管理涉及应用程序的权限管理、启动与关闭、生命周期管理等，本节只介绍最基本的管理内容，比如权限管理、启动与关闭等，而生命周期管理则放到下一节中介绍。 一、ApplicationACLsManager ApplicationACLsManager负责管理应用程序访问权限 查看...

本节开始，将对ResourceManager中一些常见行为进行分析探究，看某些具体关键的行为，在RM中是如何流转的。本节将深入源码探究「启动ApplicationMaster」的具体流程。 一、整体流程 本小节介绍从应用程序提交到启动ApplicationMaster的整个过程，期间涉及Client、RMService、RMAppManager、RMApplmpl、RMAppAttemptImpl、RMNode、ResourceScheduler等几个主要组件。当客户端调用RPC函数ApplicationClientProtocolsubmitApplication后，ResourceMana...

本小节介绍应用程序的ApplicationMaster在NodeManager成功启动并向ResourceManager注册后，向ResourceManager请求资源（Container）到获取到资源的整个过程，以及ResourceManager内部涉及的主要工作流程。 一、整体流程 整个过程可看做以下两个阶段的送代循环： 阶段1ApplicationMaster汇报资源需求并领取已经分配到的资源； 阶段2NodeManager向ResourceManager汇报各个Container运行状态，如果ResourceManager发现它上面有空闲的资源，则进行一次资源分配，并将分配的资源保存...

资源调度器是YARN中最核心的组件之一，它是ResourceManager中的一个插拔式服务组件，负责整个集群资源的管理和分配。Yarn默认提供了三种可用资源调度器，分别是FIFO(FirstInFirstOut)、Yahoo!的CapacityScheduler和Facebook的FairScheduler。本节会重点介绍资源调度器的基本框架，在之后文章中详细介绍CapacityScheduler和FairScheduler。 一、基本架构 资源调度器是最核心的组件之一，并且在Yarn中是可插拔的，Yarn中定义了一套接口规范，以方便用户实现自己的调度器，同时Yarn中自带了FIFO，Cap...

本篇文章将深入介绍Yarn三种调度器。Yarn本身作为资源管理和调度服务，其中的资源调度模块更是重中之重。下面将介绍Yarn中实现的调度器功能，以及内部执行逻辑。 一、简介 Yarn最主要的功能就是资源管理与分配。本篇文章将对资源分配中最核心的组件调度器（Scheduler）进行介绍。调度器最理想的目标是有资源请求时，立即满足。然而由于物理资源是有限的，就会存在资源如何分配的问题。针对不同资源需求量、不同优先级、不同资源类型等，很难找到一个完美的策略可以解决所有的应用场景。因此，Yarn提供了多种调度器和可配置的策略供我们选择。Yarn资源调度器均实现ResourceScheduler接口，是...

本篇将对Yarn调度器中的资源抢占方式进行探究。分析当集群资源不足时，占用量资源少的队列，是如何从其他队列中抢夺资源的。我们将深入源码，一步步分析抢夺资源的具体逻辑。 一、简介 在资源调度器中，以CapacityScheduler为例（Fair类似），每个队列可设置一个最小资源量和最大资源量。其中，最小资源量是资源紧缺情况下每个队列需保证的资源量，而最大资源量则是极端情况下队列也不能超过的资源使用量。资源抢占发生的原因，是为了提高资源利用率，资源调度器（包括CapacityScheduler和FairScheduler）会将负载较轻的队列的资源暂时分配给负载重的队列。仅当负载较轻队列突然收到新...

本节开始将对Yarn中的NodeManager服务进行剖析。NodeManager需要在每个计算节点上运行，与ResourceManager和ApplicationMaster进行交互。管理节点的计算资源以及调度容器。后续将对NM的功能职责、状态机、容器生命周期和资源隔离等方面进行讲解。本篇将从整体上对NM进行介绍。 一、NodeManager基本职能 在Hadoop集群中，每个计算节点都需要有一个管理服务，其就是NodeManager（NM）。它负责与ResourceManager保持通信，管理Container的生命周期，监控每个Container的资源使用情况，追踪节点健康状况，管理日志...

一、简介 NodeManager（NM）中的状态机分为三类：Application、Container和LocalizedResource，它们均直接或者间接参与维护一个应用程序的生命周期。 当NM收到某个Application的第一个container启动命令时，它会创建一个「Application状态机」来跟踪该应用程序在该节点的状态； 每个container都有一个独立的「container状态机」； Application运行所需资源（jar，文件等）的下载过程则由「LocalizedResource状态机」维护和跟踪。 二、三类状态机 一）Application状态机 NM上的A...

不要跳过这部分知识，对了解NodeManager本地目录结构，和熟悉Container启动流程有帮助。 一、分布式缓存介绍 主要作用就是将用户应用程序执行时，所需的外部文件资源下载缓存到各个节点。YARN分布式缓存工作流程如下: 客户端将应用程序所需的文件资源(外部字典、JAR包、二进制文件)提交到HDFS上。 客户端将应用程序提交到RM上。 RM将与某个NM进行通信，启动应用程序AM，NM收到命令后，首先从HDFS上下载文件(缓存)，然后启动AM。 AM与RM通信，以请求和获取计算资源。 AM收到新分配到的计算资源后，与对应的NM通信，以启动任务。 如果应用程序第一次在该节点上启动任务，N...

本文将深入探讨AM向RM申请并获得Container资源后，在NM节点上如何启动和清理Container。将详细分析整个过程的源码实现。 一、Container生命周期介绍 Container的启动由ApplicationMaster通过调用RPC函数ContainerManagementProtocolstartContainers()发起请求，NM中的ContainerManagerImpl组件负责接收并处理该函数发来的请求。Container启动过程主要分为四个阶段：通知NM启动Container、资源本地化、启动并运行Container、资源清理。 资源本地化：主要是指分布式缓存机制完...

一、Yarn产生的背景 Hadoop2之前是由HDFS和MR组成的，HDFS负责存储，MR负责计算。 一）MRv1的问题 耦合度高：MR中的jobTracker同时负责资源管理和作业控制两个功能，互相制约。 可靠性差：管理节点是单机的，有单点故障的问题。 资源利用率低：基于slot的资源分配模型。机器会将资源划分成若干相同大小的slot，并划定哪些是mapslot、哪些是reduceslot。 无法支持多种计算框架：限定了只能用于MapReduce程序。 二）Yarn的诞生 由于之前Hadoop资源调度的种种问题，新的资源调度框架产生了——YARN（YetAnotherResourceNe...

本文将介绍如何使用idea搭建Hadoop源码阅读环境。（默认已安装好Java、Maven环境） 一、搭建源码阅读环境 一）idea导入hadoop工程 从github上拉取代码。https://github.com/apache/hadoop可以选择对应的分支 如拉取2.8.5分支 gitclone-bbranch-2.8.5git@github.com:apache/hadoop.git 在idea中点击FileOpen选择对应的文件夹目录，进行导入。之后会进入漫长的程序加载过程（看机器配置和网速，可能几十分钟到几小时不等）。 二）配置注释环境 为了更方便的在阅读源码过程中记笔记，可在源...

了解Yarn基础库是后面阅读Yarn源码的基础，本节对Yarn基础库做总体的介绍。并对其中使用的第三方库ProtocolBuffers和Avro是什么、怎么用做简要的介绍。 一、主要使用的库 ProtocolBuffers：是Google开源的序列化库，具有平台无关、高性能、兼容性好等优点。YARN将其用到了RPC通信中，默认情况下，YARNRPC中所有参数采用ProtocolBuffers进行序列化/反序列化。 ApacheAvro：是Hadoop生态系统中的RPC框架，具有平台无关、支持动态模式(无需编译)等优点，Avro的最初设计动机是解决YARNRPC兼容性和扩展性差等问题。 RPC...

我们在开发中有时会遇到，需要将另一个分支部分修改同步到当前分支。如下图，想把devA分支中commitE和F，同步到下面绿色的devB分支中。 这时候就可以使用gitcherry-pick来完成这项任务。（cherry-pick有筛选、精选的意思） 一、基本用法 转移单个提交 gitcherry-pick<commitHash> 切换到devB分支 $gitcheckoutdevB Cherrypick操作 $gitcherry-pick<HashE> 解决冲突后，commit即可 二、转移多个提交 如果我有一堆连续的commit都想同步过去，那么可以用下面的语法...