中野智文のブログ

データ・マエショリスト(※データ・マエストロではない)のメモ

airflow と格闘中(8)

nakano-tomofumi.hatenablog.com

のつづき。

GWも明けたが、先週に引き続き、会社のノートPCを交換中。なので更新遅め。

backfill に戻したら、BackfillJob is deadlocked.

うーむ。。。 trigger にするために終了を確認するファイルを touch していたのだが、そこで発生しているらしい。該当のエラーログはこんな感じ。

[2017-05-08 15:46:39,338] {jobs.py:1935} WARNING - Deadlock discovered for tasks_to_run=[<TaskInstance: xxxxxx.yyyyyy 2017-05-06 00:00:00 [up_for_retry]>]

間違いが見つかった。これはもしかして、 trigger がうまく実行されなかった原因か…

つづきは、

nakano-tomofumi.hatenablog.com