中野智文のブログ

データ・マエショリスト(※データ・マエストロではない)のメモ

AirFlow と格闘中(2)

nakano-tomofumi.hatenablog.com

のつづき。

upstream と downstream の違い

upstream と downstream の違いが分からないわけではないが、両側から設定できるのは何の意味があるのか。 特に書いてないから、気になるは気になる…。(おそらくどっちでもいい)

BashOperator のカレントディレクトリが、一時ディレクト

なのだが、airflow の実行ディレクトリというのはないらしい。 とりあえず、DAG ファイルの中で、

import os
...
cwd = os.getcwd()
...

task1 = BashOperator(
    task_id='task1',
    bash_command="ls {{params.cwd}}",
    params={'cwd': cwd},
    dag=dag)

みたいな感じで、対応。(上記はairflowが実行されたディレクトリを ls するだけというもの)

つづきは、

nakano-tomofumi.hatenablog.com