Airflow 设置Task优先级
  5MZ1OoVEfmTd 2023年11月02日 64 0

Airflow要设置Task的优先级,涉及到这2个配置

1.weight_rule

2.priority_weight

weight_rule默认是downstream。还有其他2个配置upstream和absolute

priority_weight默认是1

比如,下面的DAG

Airflow 设置Task优先级_airflow

1.weight_rule=downstream

task

优先级

start

5

x1

2

x2

2

y1

1

y2

1

2.weight_rule=upstream

task

优先级

start

1

x1

2

x2

2

y1

3

y2

3

3.weight_rule=absolute

这种模式下,如果你不自己设置priority_weight的值的话,那就是默认值1

task

优先级

start

1

x1

1

x2

1

y1

1

y2

1

想要实现以下效果

Airflow 设置Task优先级_优先级_02

需要将

x1,x2的优先级单独设置高就可以了。


【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年11月08日 0

暂无评论

推荐阅读
  KRe60ogUm4le   2024年05月31日   101   0   0 flink大数据
  KRe60ogUm4le   2024年05月31日   32   0   0 flink大数据
5MZ1OoVEfmTd
作者其他文章 更多
最新推荐 更多

2024-05-31