たまに拡大推計とは何って聞かれる。正しい定義は、Horvitz–Thompson推定量。 ja.wikipedia.org 層化抽出法があるが、データが層化抽出されたものとして、その逆確率重みを計算し、その逆確率重みによりサンプルデータが拡大されたと考えれば、拡大推計とは…

背景 運動会で撮った (micro) sdカードが読み取れない！ 無料(Free)と書いてある全てのソフトが有料だった！ TestDiskというコマンドラインだけど無料のソフトが見つかった！ M1 Macに対応していない（涙 イマココ 方法 準備 git clone https://git.cgsecuri…

背景 wordle をエンジニアっぽく ruby のワンライナーでズルしたい 戦略 /usr/share/dict/words を使う ヒントから可能性のある単語のリストを抽出する。ヒントがない場合は5文字の全単語。 もし単語が一語であればそれが解で終了。 そうでない場合、その可…

背景 毎度Linuxを始めに使うとき文字化けしてググっているのでメモ。日本語を使わないという選択肢もあるけど、データの中身が日本語だったりすると、結局やらなくちゃいけないことになる。 方法 locale コマンドで確認 $ locale -a すると、こんな感じで日…

背景 Dellのコンピュータで、Ubuntsu モデルを探したい。なかなか見つからない。 方法 build your own というのがOSなどが選べるモデルとなる。よってそれをキーワードサーチして検索する。 それが次のリンク。 www.dell.com まとめ 14インチFULLHD、メモリ1…

背景 emacs の package をガバっとインストールできてめちゃくちゃ便利な cask ですが、emacs version 26 以上になると調子悪い。 対策その１: もう cask に頼らない emacs -q で起動後、 下記を eval する。 (setq gnutls-algorithm-priority "NORMAL:-VERS…

背景 gsutil compose はファイルを結合する便利コマンド。しかし32より多いファイルは結合できない。 解決策 xargs -L31 を使う。 echo -n | gsutil cp - gs://your-bucket/total.gz gsutil ls gs://your-bucket/your_file*.gz | xargs -L31 | xargs -I{} ec…

background firestore からデータを取得する良い方法を探して公式ドキュメントを眺める。 firebase.google.com すると、 一部の言語では、カスタムのオブジェクト タイプを使用する方が便利な場合が多くあります。 と書いてあるではないか？ doc_ref = db.co…

背景 BQで地域メッシュコード（2分の1）からポリゴンを作ることになった。 クエリ とはいっても、ほとんど temp function ですが。 create temp function INT(S STRING) AS (CAST(S AS INT64)); create temp function STR(F FLOAT64) AS (CAST(F AS STRING))…

背景 Azure Storage Blobにpython で、stream upload したので、メモ。 こうした Azure 自体触ったことないので、よくわからないが、 from azure.storage.blob import BlobServiceClient というライブラリを使った方法（レガシーなライブラリも存在するらし…

背景 Cloud Build 使おうと思ったけど、github のprivate repositories を使うのは、Cloud KMSなどのサービス使うから嫌だなあと思っていたら、 GitHub リポジトリのミラーリング | Cloud Source Repositories のドキュメント | Google Cloud という方法もあ…

背景 最小と最大のペアの集合があるとする。 例えば、[最小, 最大]とすると、 [1, 2], [3, 4], [4, 5], [6, 7], [6, 8], [9, 10] というような集合。 [3, 4], [4, 5] は、まとめて、 [3, 5] にしたい。 他にも、 [6, 7], [6, 8] も、まとめて、 [6, 8] にし…

treatment とは、因子の組み合わせでできる（実験の）集計グループのー要素。 参考 stattrek.com www.statisticshowto.datasciencecentral.com

背景 flutter の解説によると、chrome os でも開発ができるらしい。 （いきなり）まとめ まず、uname -m でCPUのアーキテクチャを確認しよう。もし、aarch64 だと、ビルドしたバイナリは用意されてないので、あきらめよう。 flutterhub などのサービスを利用…

背景 react であっても emacs で開発したい 対応 Caskを使う。 ~/.emacs.d/Cask ファイルに以下を入力 (depends-on "rjsx-mode") ~/.emacs.d/ ディレクトリにて cask コマンドを実行する（インストールされる）。 まとめ まだまだ emacs でいける…。

背景と導入 夏休みの宿題のようなすぐに終わらない課題を計画的に行うのは非常に難しい。受験もまた同様である。 アジャイルでは時間に対してタスクを割り当てる。この考えを導入する。予定が分かっている直近の２，３日の時間に対して優先順位の高い勉強を…

背景 住所などで、前方一致する共通文字列を取り出したい。 方法 考え 前方部分文字列を1文字つずつ増やしながら生成して、同じ文字数で生成した文字列が何タイプあるか調べて、1以外なら共通していないので破棄する。（ここまでが前方共通文字列） そのうち…

背景 colab から、Jira に接続したい。 方法 RSAのカギを作る。 次のサイトの情報に従って、鍵を作成する。 qiita.com $ openssl genrsa -out jira.pem 1024 $ openssl rsa -in jira.pem -pubout -out jira.pub アプリケーションリンクを作る。 次の方法（St…

背景 Jira core を workflow として使うときのメモ。日々更新。 なぜ Jira を使うのか 決められたフローに従って処理をしてほしい。終わったら、ボタン一つで次の人にアサインして欲しい。 用語 プロジェクト 一つのワークフローを持つことができる。またボ…

背景 気が付けば、Jiraの slack アプリが二つも入っていた。何かおかしい。 二つのアプリの違い Jira Cloud my.slack.com 新しい。チャンネルごとの設定ができる。 チャンネル設定のやり方 はじめに設定したいチャンネルに入る。 プライベートチャネルなら、…

背景 DataPortal は個人（社内）で使うのは素晴らしいが、これを使ってビジネスでスケールアウトさせようとすると、いろいろと問題が出る。 とりあえず、コピーをして複製を作り、その複製に対して設定を変えるという手作業でなんとかしのげそうなのだが、コ…

背景 Jira Software Cloud と GitHub の連携に関して、検索すると古い記事が出てくる。 Atlassian の公式のページの情報も古い記事なので注意。OAuth や、DVCS アカウントというキーワードが出ていれば全て古い。 解決策 すべては、 www.atlassian.com の201…

背景 igcn.hateblo.jp 方法 実行は慎むこと。データ参照は0バイトだが、7000秒たっても（現時点）結果は出ない。こんなおバカなクエリをBQ様に投げて心が痛い。 WITH num_list AS ( SELECT n FROM ( SELECT GENERATE_ARRAY(1,1000) a ) CROSS JOIN UNNEST(a)…

すなわち、 select cast(1/2 as int64) は切り捨てではなく、丸められ 1 となる。 （今更ながら知る。。。） 切り捨ては、floor を使おう。 参考 標準 SQL 関数と演算子 | BigQuery | Google Cloud

背景 Mozc の日本語入力モードの切り替えが ctrl space だと、emacs （terminal）で使うときに mark set したいときに、 デフォルトのキーバインドとかぶって困ってしまう。 対策 Mozc の日本語入力モードへの切り替えのキーを ctrl \ にする。

背景 毎度日本語で曜日を表示するためのJOIN用テーブルを作成に時間がかかるので、 コピペ用のコードが欲しい。 （JOIN用テーブルでなくifで作ったほうががテンプレートしては使いやすいかも。） そのクエリ #standardSQL WITH _weekday_list AS ( SELECT SP…

次のように、colaboratory 上に書いて実行（python3.6で確認） !pip install flake8 pycodestyle pycodestyle_magic %load_ext pycodestyle_magic あとは、 %%pycodestyle # ... ここにコード と書いて実行。チェックの必要がなくなれば、コメントにしてしま…

PACモデルで十分な事例数 ここで、は学習事例数、 は仮説空間、エラー率以内の概念モデルを の確率で学習すること（Tom Mitchell 著 Machine Learning 7章より）。 使い方 次の様な質問に即答できる。 データが倍になったら何がうれしいか？ エラー率が半分…

背景 BigQuery で、ある特定の期間の日を全て列挙したくなった。 方法 generate_date_array を使う。 https://cloud.google.com/bigquery/docs/reference/standard-sql/functions-and-operators#generate_date_array 例：'2018-01-01' から '2018-12-31' ま…

背景 GCPのプロジェクトの中では、Firebaseのストレージは、排他的で、RTBDかFirestoreのどちらしか選べないらしい。 強制的にFirestore にする手もあるが、戻れなくなるのも嫌なので、新しくGCPのプロジェクトを作ることにした。 なお、Firebaseのプロジェ…