airflow と格闘中(7)
nakano-tomofumi.hatenablog.com
のつづき。
結局 trigger_dag によって未だに成功はしていない。
trigger_dag はDAG（タスク）の終了までコマンドを待たない
さらに大事なことに気がついた。luigi の実行では、その実行コマンドがタスクが全て完了するまで待つことになるが、
airflow では、 trigger_dag はタスクが終了するまで待つものではない。よってmakefile の一部の処理を airflow で行うという使い方は triger_dag ではできない。
もしそのように部分的に使う場合には、backfill で行うか、airflowで処理する対象が処理の後半で最後まで完結している必要がある。
謎のエラー
いついつから heart beat がないよ、というエラーだが、
[2017-05-02 14:04:23,791] {models.py:328} DagFileProcessor8398 INFO - Failing jobs without heartbeat after 2017-05-02 13:59:23.791645
[2017-05-02 14:04:25,917] {models.py:328} DagFileProcessor8399 INFO - Failing jobs without heartbeat after 2017-05-02 13:59:25.916644
[2017-05-02 14:04:28,002] {models.py:328} DagFileProcessor8400 INFO - Failing jobs without heartbeat after 2017-05-02 13:59:28.002362
heart beat がないという時刻も現在時刻に合わせ徐々に増えつつあるので、この処理自体、kill_zombies という関数でよばれているのだが、一向に ‘kill’ される気配もない。
つづきは、
