中野智文のブログ

データ・マエショリストのメモ

locale の設定ができない (Debian で)

背景 bash: warning: setlocale: LC_ALL: cannot change locale (ja_JP.UTF-8) みたいなエラーが出て、困った。 解決方法 $ sudo apt install locales にて locales パッケージを入れておいてから、 /etc/locale.gen をrootで編集し、入れたい ja_JP.UTF-8 …

pipenv で python のバージョンアップデート

背景 たまにするけど、一度したらもう忘れてしまう pipenv でのpython のアップデート手順。 手順 python をpathが通るところにインストール こんな感じの設定で configure しました。 ./configure --with-ensurepip --enable-optimizations Pipfile の pyth…

ネットワーク上のRICOHのプリンタにMacOS 13から印刷する

背景 年末調整に必要なPDFファイルを会社のプリンタで印刷したい。 ところが、プリンタ(RICOH MP C2504)の設定はよくわからない。 方法 ドライバー まず、ドライバをインストール。 自分の場合こちらから。 製品:RICOH MP C2504 / ダウンロード | リコー IP…

拡大推計とはHorvitz–Thompson推定量のこと

たまに拡大推計とは何って聞かれる。正しい定義は、Horvitz–Thompson推定量。 ja.wikipedia.org 層化抽出法があるが、データが層化抽出されたものとして、その逆確率重みを計算し、その逆確率重みによりサンプルデータが拡大されたと考えれば、拡大推計とは…

M1 mac で sdカードの消えた写真を無料で復活させるまでの長い道のり

背景 運動会で撮った (micro) sdカードが読み取れない! 無料(Free)と書いてある全てのソフトが有料だった! TestDiskというコマンドラインだけど無料のソフトが見つかった! M1 Macに対応していない(涙 イマココ 方法 準備 git clone https://git.cgsecuri…

wordle をruby のワンライナーでズルする

背景 wordle をエンジニアっぽく ruby のワンライナーでズルしたい 戦略 /usr/share/dict/words を使う ヒントから可能性のある単語のリストを抽出する。ヒントがない場合は5文字の全単語。 もし単語が一語であればそれが解で終了。 そうでない場合、その可…

linux で文字化けしたときにやることメモ

背景 毎度Linuxを始めに使うとき文字化けしてググっているのでメモ。日本語を使わないという選択肢もあるけど、データの中身が日本語だったりすると、結局やらなくちゃいけないことになる。 方法 locale コマンドで確認 $ locale -a すると、こんな感じで日…

Dell の Ubuntu モデルを探す

背景 Dellのコンピュータで、Ubuntsu モデルを探したい。なかなか見つからない。 方法 build your own というのがOSなどが選べるモデルとなる。よってそれをキーワードサーチして検索する。 それが次のリンク。 www.dell.com まとめ 14インチFULLHD、メモリ1…

emacs の cask が "Missing dependency" とか表示されてうまく行かない

背景 emacs の package をガバっとインストールできてめちゃくちゃ便利な cask ですが、emacs version 26 以上になると調子悪い。 対策その1: もう cask に頼らない emacs -q で起動後、 下記を eval する。 (setq gnutls-algorithm-priority "NORMAL:-VERS…

gsutil compose で 32より多いファイルを結合したいとき

背景 gsutil compose はファイルを結合する便利コマンド。しかし32より多いファイルは結合できない。 解決策 xargs -L31 を使う。 echo -n | gsutil cp - gs://your-bucket/total.gz gsutil ls gs://your-bucket/your_file*.gz | xargs -L31 | xargs -I{} ec…

Cloud Firestore は、オブジェクトをサポートされているデータ型に変換します。

background firestore からデータを取得する良い方法を探して公式ドキュメントを眺める。 firebase.google.com すると、 一部の言語では、カスタムのオブジェクト タイプを使用する方が便利な場合が多くあります。 と書いてあるではないか? doc_ref = db.co…

BQで地域メッシュコード(2分の1)のポリゴン

背景 BQで地域メッシュコード(2分の1)からポリゴンを作ることになった。 クエリ とはいっても、ほとんど temp function ですが。 create temp function INT(S STRING) AS (CAST(S AS INT64)); create temp function STR(F FLOAT64) AS (CAST(F AS STRING))…

Azure Storage Blob に python で、stream upload

背景 Azure Storage Blobにpython で、stream upload したので、メモ。 こうした Azure 自体触ったことないので、よくわからないが、 from azure.storage.blob import BlobServiceClient というライブラリを使った方法(レガシーなライブラリも存在するらし…

リポジトリに接続できませんでした cloud source repositories

背景 Cloud Build 使おうと思ったけど、github のprivate repositories を使うのは、Cloud KMSなどのサービス使うから嫌だなあと思っていたら、 GitHub リポジトリのミラーリング | Cloud Source Repositories のドキュメント | Google Cloud という方法もあ…

BigQuery で最大最小が overlap しているものをまとめる(その最大最小を得る)

背景 最小と最大のペアの集合があるとする。 例えば、[最小, 最大]とすると、 [1, 2], [3, 4], [4, 5], [6, 7], [6, 8], [9, 10] というような集合。 [3, 4], [4, 5] は、まとめて、 [3, 5] にしたい。 他にも、 [6, 7], [6, 8] も、まとめて、 [6, 8] にし…

統計でいう treatment

treatment とは、因子の組み合わせでできる(実験の)集計グループのー要素。 参考 stattrek.com www.statisticshowto.datasciencecentral.com

Chromebook で flutter 開発

背景 flutter の解説によると、chrome os でも開発ができるらしい。 (いきなり)まとめ まず、uname -m でCPUのアーキテクチャを確認しよう。もし、aarch64 だと、ビルドしたバイナリは用意されてないので、あきらめよう。 flutterhub などのサービスを利用…

react も emacs で開発

背景 react であっても emacs で開発したい 対応 Caskを使う。 ~/.emacs.d/Cask ファイルに以下を入力 (depends-on "rjsx-mode") ~/.emacs.d/ ディレクトリにて cask コマンドを実行する(インストールされる)。 まとめ まだまだ emacs でいける…。

夏休みの宿題のスプリントプランニング

背景と導入 夏休みの宿題のようなすぐに終わらない課題を計画的に行うのは非常に難しい。受験もまた同様である。 アジャイルでは時間に対してタスクを割り当てる。この考えを導入する。予定が分かっている直近の2,3日の時間に対して優先順位の高い勉強を…

BQで最長前方共通文字列を抽出する

背景 住所などで、前方一致する共通文字列を取り出したい。 方法 考え 前方部分文字列を1文字つずつ増やしながら生成して、同じ文字数で生成した文字列が何タイプあるか調べて、1以外なら共通していないので破棄する。(ここまでが前方共通文字列) そのうち…

colab を使って Jira cloud をOAuth で接続

背景 colab から、Jira に接続したい。 方法 RSAのカギを作る。 次のサイトの情報に従って、鍵を作成する。 qiita.com $ openssl genrsa -out jira.pem 1024 $ openssl rsa -in jira.pem -pubout -out jira.pub アプリケーションリンクを作る。 次の方法(St…

Jira core をワークフローツールとして使う

背景 Jira core を workflow として使うときのメモ。日々更新。 なぜ Jira を使うのか 決められたフローに従って処理をしてほしい。終わったら、ボタン一つで次の人にアサインして欲しい。 用語 プロジェクト 一つのワークフローを持つことができる。またボ…

Jira の slack 連携で使うslackアプリ

背景 気が付けば、Jiraの slack アプリが二つも入っていた。何かおかしい。 二つのアプリの違い Jira Cloud my.slack.com 新しい。チャンネルごとの設定ができる。 チャンネル設定のやり方 はじめに設定したいチャンネルに入る。 プライベートチャネルなら、…

DataPortal のコピー

背景 DataPortal は個人(社内)で使うのは素晴らしいが、これを使ってビジネスでスケールアウトさせようとすると、いろいろと問題が出る。 とりあえず、コピーをして複製を作り、その複製に対して設定を変えるという手作業でなんとかしのげそうなのだが、コ…

Jira Software Cloud と GitHub の連携

背景 Jira Software Cloud と GitHub の連携に関して、検索すると古い記事が出てくる。 Atlassian の公式のページの情報も古い記事なので注意。OAuth や、DVCS アカウントというキーワードが出ていれば全て古い。 解決策 すべては、 www.atlassian.com の201…

BigQueryで、1000円分の切手問題を解く

背景 igcn.hateblo.jp 方法 実行は慎むこと。データ参照は0バイトだが、7000秒たっても(現時点)結果は出ない。こんなおバカなクエリをBQ様に投げて心が痛い。 WITH num_list AS ( SELECT n FROM ( SELECT GENERATE_ARRAY(1,1000) a ) CROSS JOIN UNNEST(a)…

bigquery の int64 への cast は切り捨てではない

すなわち、 select cast(1/2 as int64) は切り捨てではなく、丸められ 1 となる。 (今更ながら知る。。。) 切り捨ては、floor を使おう。 参考 標準 SQL 関数と演算子 | BigQuery | Google Cloud

Mozc の日本語入力モードへの切り替えが ctrl space だと、 emacs で困ってしまう人の設定

背景 Mozc の日本語入力モードの切り替えが ctrl space だと、emacs (terminal)で使うときに mark set したいときに、 デフォルトのキーバインドとかぶって困ってしまう。 対策 Mozc の日本語入力モードへの切り替えのキーを ctrl \ にする。

bigquery で日本語の曜日のJOIN用テーブルを作成する

背景 毎度日本語で曜日を表示するためのJOIN用テーブルを作成に時間がかかるので、 コピペ用のコードが欲しい。 (JOIN用テーブルでなくifで作ったほうががテンプレートしては使いやすいかも。) そのクエリ #standardSQL WITH _weekday_list AS ( SELECT SP…

colaboratory で、pycodestyle を使う

次のように、colaboratory 上に書いて実行(python3.6で確認) !pip install flake8 pycodestyle pycodestyle_magic %load_ext pycodestyle_magic あとは、 %%pycodestyle # ... ここにコード と書いて実行。チェックの必要がなくなれば、コメントにしてしま…