中野智文のブログ

データ・マエショリストのメモ

DataPortal のコピー

背景

DataPortal は個人(社内)で使うのは素晴らしいが、これを使ってビジネスでスケールアウトさせようとすると、いろいろと問題が出る。 とりあえず、コピーをして複製を作り、その複製に対して設定を変えるという手作業でなんとかしのげそうなのだが、コピーそのものがうまくいかない。

コピーの理解

DataPortalとデータソースは別物

DataPortalをコピーすると、当然紐づけられているデータソースもコピーされると思うだろう。 実際、自分で作った(カスタム)データソースは自分でコピーする際に、デフォルトで選択肢として表示される。 ところが、他の人がDataPortalをコピーしようとすると、そのデータソースが共有されていない場合、 デフォルトの選択肢として表示されない。

解決策

コピーする人にデータソースを共有する

データーソースの共有は閲覧者としてのみでOK.。ダウンロードや印刷、コピーを禁止しておく。 一方で、データソースの先のアクセス権は、データソースの「データの認証情報」が「オーナー」にセットされていれば、データソースへはオーナーの権限でアクセスしに行くので、問題ないだろう。 DataPortalそのものはその作成者(複製者)の権限でデータソースにアクセスしに行くので、これらのコンボ技でDataPortalが見える人なら閲覧することが可能となる。

コピーした人が複製されたDataPortalの共有権限を設定する

複製元のDataPortalの共有設定は複製先のDataPortalに継承されない。ゆえに他人に見てもらうのであれば、複製されたDataPortalの共有設定を忘れずにする必要がある。

Google Analytics の tracking ID もコピーする。

コピーされないので、こちらもコピーする。

まとめ

  • DataPortal とデータソースは別物
  • だからコピーにはデータソースの共有も必要(閲覧者でOK)
  • 複製されたDataPortalの共有設定は忘れずに。

Jira Software Cloud と GitHub の連携

背景

Jira Software Cloud と GitHub の連携に関して、検索すると古い記事が出てくる。 Atlassian の公式のページの情報も古い記事なので注意。OAuth や、DVCS アカウントというキーワードが出ていれば全て古い。

解決策

すべては、

www.atlassian.com

の2018年10月4日以降の記事を参考にすべし。

すなわち、

marketplace.atlassian.com

をJira側でインストール(Jiraの管理者権限が必要)し、そこの設定リンクから、github側の設定に飛ぶ(githubの管理者権限が必要)

BigQueryで、1000円分の切手問題を解く

背景

igcn.hateblo.jp

方法

実行は慎むこと。データ参照は0バイトだが、7000秒たっても(現時点)結果は出ない。こんなおバカなクエリをBQ様に投げて心が痛い。

WITH
  num_list AS (
  SELECT
    n
  FROM (
    SELECT
      GENERATE_ARRAY(1,1000) a )
  CROSS JOIN
    UNNEST(a) AS n),
n1 as (select n from num_list where n * 1 <= 1000),
n2 as (select n from num_list where n * 2 <= 1000),
n3 as (select n from num_list where n * 3 <= 1000),
n5 as (select n from num_list where n * 5 <= 1000),
n10 as (select n from num_list where n * 10 <= 1000),
n20 as (select n from num_list where n * 20 <= 1000),
n30 as (select n from num_list where n * 30 <= 1000),
n50 as (select n from num_list where n * 50 <= 1000),
n62 as (select n from num_list where n * 62 <= 1000),
n82 as (select n from num_list where n * 82 <= 1000),
n92 as (select n from num_list where n * 92 <= 1000),
n100 as (select n from num_list where n * 100 <= 1000),
n120 as (select n from num_list where n * 120 <= 1000),
n140 as (select n from num_list where n * 140 <= 1000),
n205 as (select n from num_list where n * 205 <= 1000),
n280 as (select n from num_list where n * 280 <= 1000),
n310 as (select n from num_list where n * 310 <= 1000),
n500 as (select n from num_list where n * 500 <= 1000),
n1000 as (select n from num_list where n * 1000 <= 1000)

select 
n1.n as nn1,
n2.n as nn2,
n3.n as nn3,
n5.n as nn5,
n10.n as nn10,
n20.n as nn20,
n30.n as nn30,
n50.n as nn50,
n62.n as nn62,
n82.n as nn82,
n92.n as nn92,
n100.n as nn100,
n120.n as nn120,
n140.n as nn140,
n205.n as nn205,
n280.n as nn280,
n310.n as nn310,
n500.n as nn500,
n1000.n as nn1000
from n1
cross join n2
cross join n3
cross join n5
cross join n10
cross join n20
cross join n30
cross join n50
cross join n62
cross join n82
cross join n92
cross join n100
cross join n120
cross join n140
cross join n205
cross join n280
cross join n310
cross join n500
cross join n1000
where 
n1.n * 1 +
n2.n * 2 +
n3.n * 3 +
n5.n * 5 +
n10.n * 10 +
n20.n * 20 +
n30.n * 30 +
n50.n * 50 +
n62.n * 62 +
n82.n * 82 +
n92.n * 92 +
n100.n * 100 +
n120.n * 120 +
n140.n * 140 +
n205.n * 205 +
n280.n * 280 +
n310.n * 310 +
n500.n * 500 +
n1000.n * 1000  = 1000

結論

バカは俺一人で十分

bigquery の int64 への cast は切り捨てではない

すなわち、

select cast(1/2 as int64)

は切り捨てではなく、丸められ

1

となる。

(今更ながら知る。。。)

切り捨ては、floor を使おう。

参考

標準 SQL 関数と演算子  |  BigQuery  |  Google Cloud

Mozc の日本語入力モードへの切り替えが ctrl space だと、 emacs で困ってしまう人の設定

背景

Mozc の日本語入力モードの切り替えが ctrl space だと、emacs (terminal)で使うときに mark set したいときに、 デフォルトのキーバインドとかぶって困ってしまう。

対策

Mozc の日本語入力モードへの切り替えのキーを ctrl \ にする。

bigquery で日本語の曜日のJOIN用テーブルを作成する

背景

毎度日本語で曜日を表示するためのJOIN用テーブルを作成に時間がかかるので、 コピペ用のコードが欲しい。 (JOIN用テーブルでなくifで作ったほうががテンプレートしては使いやすいかも。)

そのクエリ

#standardSQL

WITH
  _weekday_list AS (
  SELECT
    SPLIT('日,月,火,水,木,金,土', ',') AS a),
  weekday_list AS (
  SELECT
    w,
    ja
  FROM
    _weekday_list,
    UNNEST(a) AS ja
  WITH
  OFFSET
    AS w )

'2019-01-01' は何曜日か?

#standardSQL

WITH
  _weekday_list AS (
  SELECT
    SPLIT('日,月,火,水,木,金,土', ',') AS a),
  weekday_list AS (
  SELECT
    w,
    ja
  FROM
    _weekday_list,
    UNNEST(a) AS ja
  WITH
  OFFSET
    AS w )

SELECT
   ja
FROM
  (SELECT
    cast(format_date('%w', '2019-01-01') as int64) w
  ) data
JOIN
  weekday_list using(w)

参考

sucrose.hatenablog.com

colaboratory で、pycodestyle を使う

次のように、colaboratory 上に書いて実行(python3.6で確認)

!pip install flake8 pycodestyle pycodestyle_magic
%load_ext pycodestyle_magic

あとは、

%%pycodestyle

# ... ここにコード

と書いて実行。チェックの必要がなくなれば、コメントにしてしまう。

#%%pycodestyle

# ... ここにコード