AirFlow と格闘中(2)
nakano-tomofumi.hatenablog.com
のつづき。
upstream と downstream の違い
upstream と downstream の違いが分からないわけではないが、両側から設定できるのは何の意味があるのか。 特に書いてないから、気になるは気になる…。(おそらくどっちでもいい)
BashOperator のカレントディレクトリが、一時ディレクトリ
なのだが、airflow の実行ディレクトリというのはないらしい。 とりあえず、DAG ファイルの中で、
import os ... cwd = os.getcwd() ... task1 = BashOperator( task_id='task1', bash_command="ls {{params.cwd}}", params={'cwd': cwd}, dag=dag)
みたいな感じで、対応。(上記はairflowが実行されたディレクトリを ls
するだけというもの)
つづきは、