drill 学习 五 配置说明- 多租户
  ehrZuhofWJiC 30天前 33 0

drill 支持多用户共享同一个drillbit以及运行在独立drillbit节点的集群模式
drill可以与以下大数据工具运行在一起:

  • mapreduce
  • yarn
  • hbase
  • hive && pig
  • spark
    当我们与其他工具一起运行的时候需要关注:内存,cpu,以及磁盘的配置
    当用户共享drillbit的时候,我们同时需要配置队列以及并行

多租户模式的资源配置

主要的配置文件是drill-env.sh,具体的配置可以结合官方文档以及各种工具的实践说明,但是对于cpu资源的配额管理推荐使用linux 的cgroup

共享drillbit 模式

我们需要关注查询队列,包含的配置选项(通过sys.options)

exec.queue.large
exec.queue.small
exec.queue.threshold

并行配置,相关的参数(通过sys.options):

planner.width.max_per_node
跨核心和群集节点的查询的最大分布程度。
planner.width.max_per_query
与每个节点的最大值相同,但适用于整个集群执行的查询

说明

以上是一个简单的说明,详细的可以参考官方文档

【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 30天前 0

暂无评论

推荐阅读
ehrZuhofWJiC