背景 ad fraud を追う間に、「トラフィックエクスチェンジ」というサービスを知ることになった。 トラフィックエクスチェンジとは、サイト間でユーザを交換しようという試みである。 まだ検索エンジンがあまり発展していなかった時代などは、サイト間のリン…

背景 仕事でどうしても必要になった（嘘） Wilson score interval で計算する。 早速だけど、下記の式を使ってみよう。 nakano-tomofumi.hatenablog.com 今回は、p = 0.05 で求める。標準正規分布の分位数はZ=1.96となる。 よって、 UCB: (29+1.96*1.96/2+1.…

背景 BigQuery で特定のテーブルをワイルドカードで指定して削除したいことがある。ところが、CLIコマンドである bq はそのようなワイルドカード指定はできない。 データセットのファイル一覧を出して、それを egrep で抽出する 下記の <dataset_name> と、<regular expression> にそれぞれ、デ</regular></dataset_name>…

症状 次の論文をchromeでダウンロードして、 https://openreview.net/pdf?id=BkJsCIcgl mail で kindle に送信すると次のようなエラーメールが届く 2017年6月19日(月) 午前 09:59(JST) に送信された以下のドキュメントは、指定されたKindle に送信できません…

症状 BigQuery のWebコンソールでは特にエラーは出ないのに、redash だと Error running query: The job encountered an internal error during execution and was unable to complete successfully. みたいなエラー。 調査 コマンドコンソールにて同クエリ…

luigi の exit status は失敗しても 0 が返ってくるので、make などから呼び出した場合、そのまま通過してしまう。 調べると、次のページが見つかる。 qiita.com 実はコマンドラインのオプションでも設定できる。 $ luigi --help-all ... --retcode-unhandle…

nakano-tomofumi.hatenablog.com 上記のように、もう使わない予定だが、エラーが出たので貼り付ける。 backfill で deadlocked エラー Traceback (most recent call last): File "/XXX/bin/airflow", line 28, in <module> args.func(args) File "/XXX/lib/python2.7</module>…

自宅 mac の Julia のインストールには結構時間がかかった。 nakano-tomofumi.hatenablog.com 今回は会社の mac book pro にインストールする。 brew cask install julia でインストール cask 版を使ったら驚くべきことにサクッとインストールできた。 $ bre…

これまでずっと airflow と格闘してきたが（下記参照） nakano-tomofumi.hatenablog.com ここで一旦まとめることにする。 Airflow をおすすめしない理由 【致命的】Scheduler がコケる。 タスクは別プロセスで実行されるが、スケジュールもコードで書いてあ…