jupyter notebook から dataflow する超短いメモ
背景
jupyter notebook から dataflow 使いたい。
やること
- python2
- 次のチュートリアルを cloud shell とローカルのマシンで実行 TensorFlow と Cloud Dataflow を使用したバッチ予測 | ソリューション | Google Cloud Platform
- qiita.com ただし、utils を options に置換
- NameError の対応 よくある質問 | Cloud Dataflow のドキュメント | Google Cloud Platform
- pipでインストールしたい Managing Pipeline Dependencies (Python) | Cloud Dataflow Documentation | Google Cloud Platform
setup_options = options.view_as( beam.options.pipeline_options.SetupOptions) setup_options.save_main_session = True setup_options.requirements_file = 'requirements.txt'
requirements.txt:
ipython==5.5.0
これがないと、IPython.core
がないみたなエラー。