中野智文のブログ

データ・マエショリスト(※データ・マエストロではない)のメモ

airflow と格闘中(9)

nakano-tomofumi.hatenablog.com

のつづき。

いやーもう本当に終わりにしたい。

前回のデッドロックの原因は、基本的には DAG ファイルの方のバグだった。しかしDAGファイルは最低でも dry run しとけ、ということだろう。 しかしデッドロックが表示されるとは分かりにくい。

バグも治ったので、trigger_dag に再挑戦

[2017-05-09 17:52:00,076] {models.py:3414} DagFileProcessor0 INFO - Creating ORM DAG for xxxxxx
/usr/local/lib/python2.7/site-packages/sqlalchemy/sql/default_comparator.py:161: SAWarning: The IN-predicate on "dag_stats.dag_id" was invoked with an empty sequence. This results in a contradiction, which nonetheless can be expensive to
evaluate.  Consider alternative strategies for improved performance.
  'strategies for improved performance.' % expr)
/usr/local/lib/python2.7/site-packages/sqlalchemy/sql/default_comparator.py:161: SAWarning: The IN-predicate on "dag_run.dag_id" was invoked with an empty sequence. This results in a contradiction, which nonetheless can be expensive to ev
aluate.  Consider alternative strategies for improved performance.
  'strategies for improved performance.' % expr)

これは一体…。

明日は別の環境で実験予定。仮想環境整っていないけど…

つづきは、

nakano-tomofumi.hatenablog.com