症状 BigQuery のWebコンソールでは特にエラーは出ないのに、redash だと Error running query: The job encountered an internal error during execution and was unable to complete successfully. みたいなエラー。 調査 コマンドコンソールにて同クエリ…

luigi の exit status は失敗しても 0 が返ってくるので、make などから呼び出した場合、そのまま通過してしまう。 調べると、次のページが見つかる。 qiita.com 実はコマンドラインのオプションでも設定できる。 $ luigi --help-all ... --retcode-unhandle…

nakano-tomofumi.hatenablog.com 上記のように、もう使わない予定だが、エラーが出たので貼り付ける。 backfill で deadlocked エラー Traceback (most recent call last): File "/XXX/bin/airflow", line 28, in <module> args.func(args) File "/XXX/lib/python2.7</module>…

自宅 mac の Julia のインストールには結構時間がかかった。 nakano-tomofumi.hatenablog.com 今回は会社の mac book pro にインストールする。 brew cask install julia でインストール cask 版を使ったら驚くべきことにサクッとインストールできた。 $ bre…

これまでずっと airflow と格闘してきたが（下記参照） nakano-tomofumi.hatenablog.com ここで一旦まとめることにする。 Airflow をおすすめしない理由 【致命的】Scheduler がコケる。 タスクは別プロセスで実行されるが、スケジュールもコードで書いてあ…

nakano-tomofumi.hatenablog.com のつづき。 エラーで scheduler が落ちる。 次のエラーで落ちる。 Traceback (most recent call last): File "/XXX/python/venv/bin/airflow", line 28, in <module> args.func(args) File "/XXX/python/venv/lib/python2.7/site-pac</module>…

nakano-tomofumi.hatenablog.com のつづき pause なんて知らない。 やっと原因の一つが分かった。 stackoverflow.com DAGが （デフォルトで）pause されていたのだ。でも pause されているなんてどこにも書いていない。 Scheduling & Triggers の項目にも、T…

nakano-tomofumi.hatenablog.com Scheduling & Triggers の To Keep in Mind を読む。 以下を読む。 Scheduling & Triggers — Airflow Documentation 以下超訳（カッコ内は自分の感想） DAG Run は start_date から始まるよ。これは日付をしないときの話かな…

nakano-tomofumi.hatenablog.com の続き ちょっと変化があった。 $ brew test -v julia Testing staticfloat/julia/julia ==> Using the sandbox /usr/bin/sandbox-exec -f /tmp/homebrew20170526-45995-169fe4y.sb /System/Library/Frameworks/Ruby.framewo…

nakano-tomofumi.hatenablog.com のつづき。 xcode を入れる。 app store にて。 julia を再インストール $ brew reinstall julia Error: You have not agreed to the Xcode license. Please resolve this by running: sudo xcodebuild -license accept とで…

背景 Juliaを入れ直そうと思ったら、うまくいかない。 Rを入れる。 とりあえず、Rをいれればなんとかなるかもしれない。 OS XにRをインストールするときに知っておきたいこと - Qiita にしたがって、brew で入れる方法を試すことに $ brew tap homebrew/scie…

背景 make をやっても、うまくいかないことがある。 ターゲットを共通化するために、前処理の複数のターゲットのアウトプットを同じものにしてあったが、 時刻がずれているため？、本来意図してない処理が呼ばれてしまう模様。 ntpd がインストールされてい…

背景 色々不具合があるので修正しよう。 brew doctor のメッセージ Warning: You have unlinked kegs in your Cellar Leaving kegs unlinked can lead to build-trouble and cause brews that depend on those kegs to fail to run properly once built. Run…

背景 luigi と airflow と make を比較している。 luigi と格闘中 big query のクエリを書き換えたので再実行 あれ？ 再実行されない。 ズバリな記事が見つかる。 datapipelinearchitect.com なるほど…。というか、removing all intermediate and final outp…

背景 以前、 blog.goo.ne.jp にて、Wilson score interval with continuity correction の式のテンプレートを書いたが、本当は外側に条件分岐 if が必要だったり、判別式の中が負になることもあったりと、ちょっと注意して使う必要があった（おいおい）。ち…

nakano-tomofumi.hatenablog.com のつづき pysqlite2 がない apt-get install sqlite3-dev pip install pysqlite click がない？ 次のエラー [2017-05-15 10:12:53,877] {__init__.py:57} INFO - Using executor SequentialExecutor Traceback (most recent …

背景 もともと、 github.com の問題に対応するため、パッチを作った（つもりだった）。 症状 別環境で試すことになったので、もう一度 build してみると、なんと動かなくなっているんだよね。 （すなわち issue の状態） 調査 バックアップ とりあえず、現行…

nakano-tomofumi.hatenablog.com のつづき。 いろいろあって、現在の mac 上でいろいろ検証するよりも、本番マシンに近い、仮想マシンで色々やったほうが良さそう、ということになった。 vm上で install しようとするも、numpy のコンパイルらしきものが始ま…

これを抑制するオプションはなさそう。 www.vagrantup.com

nakano-tomofumi.hatenablog.com のつづき。 いやーもう本当に終わりにしたい。 前回のデッドロックの原因は、基本的には DAG ファイルの方のバグだった。しかしDAGファイルは最低でも dry run しとけ、ということだろう。 しかしデッドロックが表示されると…

nakano-tomofumi.hatenablog.com のつづき。 GWも明けたが、先週に引き続き、会社のノートPCを交換中。なので更新遅め。 backfill に戻したら、BackfillJob is deadlocked. うーむ。。。 trigger にするために終了を確認するファイルを touch していたのだが…

nakano-tomofumi.hatenablog.com のつづき。 結局 trigger_dag によって未だに成功はしていない。 trigger_dag はDAG（タスク）の終了までコマンドを待たない さらに大事なことに気がついた。luigi の実行では、その実行コマンドがタスクが全て完了するまで…

皆様に置きましてはGW中かもしれませんが、小学生を持つ親は、小学校が休みでない以上、普通に出勤となります。 nakano-tomofumi.hatenablog.com のつづき。 scheduler が正解。 というかドキュメントは最後まで読もう。scheduler を起動しておいて、 trigge…

nakano-tomofumi.hatenablog.com のつづき。 今日で終わりにしたい。 airflow のコマンドを調べる render タスクの実行内容を表示する。BashOperator なら test -dr とほぼ同等。 trigger_dags DAG の実行のトリガーを引く。求めていた機能の可能性。 -e オ…

nakano-tomofumi.hatenablog.com のつづき。 多重実行は同時実行も完了タスクの実行もされちゃう backfill であるからか、普通に多重実行はされてしまう。多重実行と言っても、同時に実行と、既に完了したタスクの実行の二種類があると思うが、両方共実行さ…

nakano-tomofumi.hatenablog.com のつづき。 run で確認し、backfill で全体確認する Makefile から呼び出す想定だと（スケジューラであるはずの AirFlow をそのような形で呼び出すこと自体おかしいという話もあるが、まずは移行から始まるので…）、コマンド…

nakano-tomofumi.hatenablog.com のつづき。 upstream と downstream の違い upstream と downstream の違いが分からないわけではないが、両側から設定できるのは何の意味があるのか。 特に書いてないから、気になるは気になる…。（おそらくどっちでもいい）…

背景 luigi と airflow の使い勝手を比較したい。 現在は Makefile で ruby のワンライナーで日付を生成して xargs で make を呼んだりしている。 作業 luigi airflow と比べるとすんなりできた。 airflow 以下にハマったところを書く。 自動生成されたファ…