本当は怖いHPC

HPC屋の趣味&実益ブログ

TSUBAME2.5でpyenvを利用して新しいPythonをインストール

最近は、HPC業界でもPythonの需要が高まりつつあります。機械学習ビッグデータでもPythonがかつやくする場面が多くなってきました。しかし、東工大のスーパーコンピューターTSUBAME2.5にインストールされているPythonはデフォルトで2.6系列であるため、やや古いのが問題です。

Pythonやその他アプリケーションをインストールする際の大きな問題は、TSUBAMEでは外部への通信が原則としてブロックされていることです。しかし、回避手段が用意されています。

TSUBAME 内部から対外サイトのファイルを取得する方法について | TSUBAME計算サービス

これを利用して、pyenvを用いて新しいPythonのバージョンをインストールしてみましょう。やり方としては、Proxyによる対外アクセスが許可されている特別なインタラクティブノードへ移動し、環境変数を適切に設定してpyenvを実行します。

# in .bash_profile or .bashrc
export http_proxy=proxy.noc.titech.ac.jp:3128
export https_proxy=proxy.noc.titech.ac.jp:3128
export PIP_INDEX_URL='http://pypi.python.org/simple/'
export PIP_TRUSTED_HOST='pypi.python.org'

# Python configuration
PYENV_ROOT="$HOME/.pyenv"
PATH="$PYENV_ROOT/bin:$PATH"
eval "$(pyenv init -)"

上記の記事に書いていないことだが、pipの証明書エラーを回避するために2つの追加の環境変数を設定することに注意してください。

そして、上記のに内容を書き込んだら、実際にpyenvを実行します。

# on TSUBMAE2.5
$ cd t2a006170
$ $ git clone https://github.com/yyuu/pyenv.git ~/.pyenv
$ exec $SHELL
$ pyenv install 2.7.8
$ pyenv global 2.7.8
$ python --version
Python 2.7.8

これで完了。

【広告】