nakano-tomofumi.hatenablog.com のつづき。 エラーで scheduler が落ちる。 次のエラーで落ちる。 Traceback (most recent call last): File "/XXX/python/venv/bin/airflow", line 28, in <module> args.func(args) File "/XXX/python/venv/lib/python2.7/site-pac</module>…

nakano-tomofumi.hatenablog.com のつづき pause なんて知らない。 やっと原因の一つが分かった。 stackoverflow.com DAGが （デフォルトで）pause されていたのだ。でも pause されているなんてどこにも書いていない。 Scheduling & Triggers の項目にも、T…

nakano-tomofumi.hatenablog.com Scheduling & Triggers の To Keep in Mind を読む。 以下を読む。 Scheduling & Triggers — Airflow Documentation 以下超訳（カッコ内は自分の感想） DAG Run は start_date から始まるよ。これは日付をしないときの話かな…

nakano-tomofumi.hatenablog.com の続き ちょっと変化があった。 $ brew test -v julia Testing staticfloat/julia/julia ==> Using the sandbox /usr/bin/sandbox-exec -f /tmp/homebrew20170526-45995-169fe4y.sb /System/Library/Frameworks/Ruby.framewo…

nakano-tomofumi.hatenablog.com のつづき。 xcode を入れる。 app store にて。 julia を再インストール $ brew reinstall julia Error: You have not agreed to the Xcode license. Please resolve this by running: sudo xcodebuild -license accept とで…

背景 Juliaを入れ直そうと思ったら、うまくいかない。 Rを入れる。 とりあえず、Rをいれればなんとかなるかもしれない。 OS XにRをインストールするときに知っておきたいこと - Qiita にしたがって、brew で入れる方法を試すことに $ brew tap homebrew/scie…

背景 make をやっても、うまくいかないことがある。 ターゲットを共通化するために、前処理の複数のターゲットのアウトプットを同じものにしてあったが、 時刻がずれているため？、本来意図してない処理が呼ばれてしまう模様。 ntpd がインストールされてい…

背景 色々不具合があるので修正しよう。 brew doctor のメッセージ Warning: You have unlinked kegs in your Cellar Leaving kegs unlinked can lead to build-trouble and cause brews that depend on those kegs to fail to run properly once built. Run…

背景 luigi と airflow と make を比較している。 luigi と格闘中 big query のクエリを書き換えたので再実行 あれ？ 再実行されない。 ズバリな記事が見つかる。 datapipelinearchitect.com なるほど…。というか、removing all intermediate and final outp…

背景 以前、 blog.goo.ne.jp にて、Wilson score interval with continuity correction の式のテンプレートを書いたが、本当は外側に条件分岐 if が必要だったり、判別式の中が負になることもあったりと、ちょっと注意して使う必要があった（おいおい）。ち…

nakano-tomofumi.hatenablog.com のつづき pysqlite2 がない apt-get install sqlite3-dev pip install pysqlite click がない？ 次のエラー [2017-05-15 10:12:53,877] {__init__.py:57} INFO - Using executor SequentialExecutor Traceback (most recent …

背景 もともと、 github.com の問題に対応するため、パッチを作った（つもりだった）。 症状 別環境で試すことになったので、もう一度 build してみると、なんと動かなくなっているんだよね。 （すなわち issue の状態） 調査 バックアップ とりあえず、現行…

nakano-tomofumi.hatenablog.com のつづき。 いろいろあって、現在の mac 上でいろいろ検証するよりも、本番マシンに近い、仮想マシンで色々やったほうが良さそう、ということになった。 vm上で install しようとするも、numpy のコンパイルらしきものが始ま…

これを抑制するオプションはなさそう。 www.vagrantup.com

nakano-tomofumi.hatenablog.com のつづき。 いやーもう本当に終わりにしたい。 前回のデッドロックの原因は、基本的には DAG ファイルの方のバグだった。しかしDAGファイルは最低でも dry run しとけ、ということだろう。 しかしデッドロックが表示されると…

nakano-tomofumi.hatenablog.com のつづき。 GWも明けたが、先週に引き続き、会社のノートPCを交換中。なので更新遅め。 backfill に戻したら、BackfillJob is deadlocked. うーむ。。。 trigger にするために終了を確認するファイルを touch していたのだが…

nakano-tomofumi.hatenablog.com のつづき。 結局 trigger_dag によって未だに成功はしていない。 trigger_dag はDAG（タスク）の終了までコマンドを待たない さらに大事なことに気がついた。luigi の実行では、その実行コマンドがタスクが全て完了するまで…

皆様に置きましてはGW中かもしれませんが、小学生を持つ親は、小学校が休みでない以上、普通に出勤となります。 nakano-tomofumi.hatenablog.com のつづき。 scheduler が正解。 というかドキュメントは最後まで読もう。scheduler を起動しておいて、 trigge…