中野智文のブログ

データ・マエショリスト(※データ・マエストロではない)のメモ

Airflow と格闘中(15)

nakano-tomofumi.hatenablog.com

上記のように、もう使わない予定だが、エラーが出たので貼り付ける。

backfilldeadlocked エラー

Traceback (most recent call last):
  File "/XXX/bin/airflow", line 28, in <module>
    args.func(args)
  File "/XXX/lib/python2.7/site-packages/airflow/bin/cli.py", line 167, in backfill
    pool=args.pool)
  File "/XXX/lib/python2.7/site-packages/airflow/models.py", line 3330, in run
    job.run()
  File "/XXX/lib/python2.7/site-packages/airflow/jobs.py", line 200, in run
    self._execute()
  File "/XXX/lib/python2.7/site-packages/airflow/jobs.py", line 2031, in _execute
    raise AirflowException(err)
airflow.exceptions.AirflowException: ---------------------------------------------------
BackfillJob is deadlocked. These tasks have succeeded:
set([(u'dag_name', u'dag_name', datetime.datetime(2017, 6, 6, 0, 0)), (u'dag_name', u'task_name0', datetime.datetime(2017, 6, 6, 0, 0))])
 These tasks have started:
{}
 These tasks have failed:
set([])
 These tasks are skipped:
set([])
 These tasks are deadlocked:
set([<TaskInstance: dag_name.task_name1 2017-06-06 00:00:00 [scheduled]>, <TaskInstance: dag_name.task_name2 2017-06-06 00:00:00 [up_for_retry]>, <TaskInstance: dag_name.task_name3 2017-06-06 00:00:00 [scheduled]>, <TaskInstance: dag_name.task_name4 2017-06-06 00:00:00 [scheduled]>])

もう一度実行したらうまくいった。

何がデッドロックなのかは分からない。もしかしたら、仮想マシンの共有ディレクトリを使っているので、その関係上 sqlite などの更新が間に合わずおかしくなっているのかもしれない。

まとめは、

nakano-tomofumi.hatenablog.com