EC2 のマシンなどで、jupyter notebook で python カーネルを起動した後、次のコマンドを実行
pgrep python | xargs -l1 -I{} sh -c 'echo +15 > /proc/{}/oom_score_adj'
原理的には、python 以外のカーネルでもOKなはず。
追記
2017/11/07
/proc/23715/oom_adj is deprecated, please use /proc/23715/oom_score_adj instead.
だそうなので、こちらに修正