airflow2使用mysql运行多个scheduler关键配置
·
使用mysql8时，运行多个scheduler，需要在airflow.cfg设置
use_row_level_locking=True
另外在airfow的2.0.2版本及以前需要手动设置下mysql的事务隔离级别为READ-COMMITTED，因为默认的REPEATABLE-READ隔离级别会导致很多问题，比如dagrun被设置为成功了，但是里面的task却没执行，产生死锁等问题。
详见：
https://github.com/apache/airflow/issues/15559
https://github.com/apache/airflow/pull/15714
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
2
0- 0
已为社区贡献3条内容
所有评论(0)