中野智文のブログ

データ・マエショリスト(※データ・マエストロではない)のメモ

Airflow と格闘中(4)

nakano-tomofumi.hatenablog.com

のつづき。

多重実行は同時実行も完了タスクの実行もされちゃう

backfill であるからか、普通に多重実行はされてしまう。多重実行と言っても、同時に実行と、既に完了したタスクの実行の二種類があると思うが、両方共実行されてしまう。 このままだと、タスクが途中でエラーで止まった。問題点は修正したいので、再開したい、といういうような使い方はできないみたいだし、タスクの依存関係で前処理のタスクが現在実行中で、それが終わってから実行、みたいなインテリジェントな実行も出来ないということなのか…。 run では既に実行し成功したタスクは処理しなかったのだが…

つづきは、 nakano-tomofumi.hatenablog.com