nakano-tomofumi.hatenablog.com のつづき。 今日で終わりにしたい。 airflow のコマンドを調べる render タスクの実行内容を表示する。BashOperator なら test -dr とほぼ同等。 trigger_dags DAG の実行のトリガーを引く。求めていた機能の可能性。 -e オ…

nakano-tomofumi.hatenablog.com のつづき。 多重実行は同時実行も完了タスクの実行もされちゃう backfill であるからか、普通に多重実行はされてしまう。多重実行と言っても、同時に実行と、既に完了したタスクの実行の二種類があると思うが、両方共実行さ…

nakano-tomofumi.hatenablog.com のつづき。 run で確認し、backfill で全体確認する Makefile から呼び出す想定だと（スケジューラであるはずの AirFlow をそのような形で呼び出すこと自体おかしいという話もあるが、まずは移行から始まるので…）、コマンド…

nakano-tomofumi.hatenablog.com のつづき。 upstream と downstream の違い upstream と downstream の違いが分からないわけではないが、両側から設定できるのは何の意味があるのか。 特に書いてないから、気になるは気になる…。（おそらくどっちでもいい）…

背景 luigi と airflow の使い勝手を比較したい。 現在は Makefile で ruby のワンライナーで日付を生成して xargs で make を呼んだりしている。 作業 luigi airflow と比べるとすんなりできた。 airflow 以下にハマったところを書く。 自動生成されたファ…