使用CDH调整yarn的内存和CPU资源大小
  Yi2JFdyFEAM6 2023年11月02日 35 0

1、登录CDH后选择YARN

image.png

2、更改CPU

在yarn配置页面,搜索 在类别->资源管理中找到【容器虚拟 CPU 内核】或者直接搜索 yarn.nodemanager.resource.cpu-vcores

image.png

这里改的是单个服务器可以用的CPU的核心数,假设有3台服务器,每台这里设置32那总的yarn集群可用的cpu数就是 32*3=96C,这个效果 image.png

3、更改内存

在yarn配置页面,搜索 在类别->资源管理中找到【容器内存】或者直接搜索 yarn.nodemanager.resource.memory-mb

image.png

这里就是单台机器的可分配内存大小,单台机器50吉字节(GB),那总集群就是150G,这个效果 image.png

4、更改每个队列可以使用的资源范围

上面是设置总的yarn集群的资源,下面是设置每个队列可以使用的资源,还是一样在配置中找到: Fair Scheduler XML
YARN 中,Fair Scheduler 是一种资源调度器,它允许不同类型的作业(或应用程序)在共享的集群资源上公平地竞争。Fair Scheduler 使用 XML 配置文件来定义各种调度策略和资源分配规则。
maxResources 是 Fair Scheduler 配置文件中的一个配置项,用于设置调度队列的最大资源限制。具体来说,对于一个调度队列,您可以设置 maxResources 属性来限制该队列能够使用的最大资源数量,例如最大可用的虚拟 CPU 核心数和内存量

这里可以设置每个队列的内存和CPU最大和最小使用量和权重等信息 image.png

5、重启yarn,使配置生效

等重新启动后,登录yarn的8089页面就可以看到资源调整成新的了 image.png

【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年11月08日 0

暂无评论

推荐阅读
Yi2JFdyFEAM6
最新推荐 更多

2024-05-31