Airflow と格闘中(15)
nakano-tomofumi.hatenablog.com
上記のように、もう使わない予定だが、エラーが出たので貼り付ける。
backfill で deadlocked エラー
Traceback (most recent call last):
File "/XXX/bin/airflow", line 28, in <module>
args.func(args)
File "/XXX/lib/python2.7/site-packages/airflow/bin/cli.py", line 167, in backfill
pool=args.pool)
File "/XXX/lib/python2.7/site-packages/airflow/models.py", line 3330, in run
job.run()
File "/XXX/lib/python2.7/site-packages/airflow/jobs.py", line 200, in run
self._execute()
File "/XXX/lib/python2.7/site-packages/airflow/jobs.py", line 2031, in _execute
raise AirflowException(err)
airflow.exceptions.AirflowException: ---------------------------------------------------
BackfillJob is deadlocked. These tasks have succeeded:
set([(u'dag_name', u'dag_name', datetime.datetime(2017, 6, 6, 0, 0)), (u'dag_name', u'task_name0', datetime.datetime(2017, 6, 6, 0, 0))])
These tasks have started:
{}
These tasks have failed:
set([])
These tasks are skipped:
set([])
These tasks are deadlocked:
set([<TaskInstance: dag_name.task_name1 2017-06-06 00:00:00 [scheduled]>, <TaskInstance: dag_name.task_name2 2017-06-06 00:00:00 [up_for_retry]>, <TaskInstance: dag_name.task_name3 2017-06-06 00:00:00 [scheduled]>, <TaskInstance: dag_name.task_name4 2017-06-06 00:00:00 [scheduled]>])
もう一度実行したらうまくいった。
何がデッドロックなのかは分からない。もしかしたら、仮想マシンの共有ディレクトリを使っているので、その関係上 sqlite などの更新が間に合わずおかしくなっているのかもしれない。
まとめは、
