気になったHPC・AI関係のニュース 2017/02/20
HPC関係
Tokyo Tech's TSUBAME3.0 Will Be First HPE-SGI Super
一番のニュースは，東工大のTSUBAME3.0スパコンの受注者と詳細スペックが決まったというニュースでしょう．受注者はHPE（Hewlett Packard Enterprise）で，厳密には日本法人のSGI Japanとなっています．同じ松岡教授が指揮する産総研のABCIの先行モデルとなると思われます．
ハードウェアスペックとしては，14コアのBroadwell CPU ×2（計28コア） ＋NVIDIAのP100GPUが4機 ＋ メモリはDDR4 256GB + ノードあたりのローカルストレージとしてSSDが2TBという超ファットノードのマシンで，Intel Omni Pathで接続されています．
全体では，倍精度演算性能12.5PFlops，NVIDIA P100 GPUを2160機となっています．
ノード構成としては，スペック的にはモンスターマシンであるものの，構成としては標準技術と既存技術の組み合わせです．冷却さえきちんとされれば安定した稼働が期待できそうです．
ポイントは，GPU同士のRDMA（Remote Direct Memory Access）がIntel Omni Pathで動くのかというところでしょうか．東大のOakleaf-PACSではOmni Pathが採用されていますがノードはXeon Phiで，ReedbushではP100 GPUが採用されていますがインターコネクトはInfinibandです．Omni Path + P100 GPUを組み合わせた大規模マシンは世界で初めてではないかと思います．
なお，ストレージはDDNです（いつもの）
現在と将来の OpenMP* API 仕様 | iSUS
OpenMP5.0の機能に関するまとめ．
Taskベースのプログラミングは，Intel TBBをはじめ，長らくライブラリとして提供されてきました．旧来のforループの並列化をベースとする機能では不十分な場面が多く，不規則な並列性が必要とされる場面ではタスクベースの並列化ライブラリは重宝します．
様々な機能がOpneMPに集約されていくのは良いことですね．おそらく，OpenACCとして定義されているアクセラレータ向けプログラミングも統合されていく流れになるでしょうから，そうなればOpenMPで様々な並列環境でのプログラミングが統一的に書けるようになるのかもしれません．
insideHPC Research Report Are FPGAs the answer to the “Compute Gap?” - insideHPC
InsideHPCによる，FPGAに関するWhite paper．読むためには 個人情報の送信が必要ですが．
6ページほどの文書で，長すぎず短すぎず，良い分量だと思います．メインとなる部分は「5 Myths About FPGAs」ということで，FPGAに関する誤解を解説するというスタイルで，残りの部分はIntelのFPGA（Arria 10）のスペック説明と宣伝となっています．
Intersect360 Offers Topside View of HPC Market | TOP500 Supercomputer Sites
HPCシステムの市場調査のまとめ．調査対象となったHPCシステムのベンダー別の受注割合がまとめられています．一位から順にDell EMC, HPE, Lenovo, SGIとなっています．本文にも書かれていますが，SGIはHPEの一部なので，これを合算するとHPEがダントツ一位という結果になりそうです．
インターコネクトはMellanoxのInfinibandが現状では多数を占めていますが，IntelのOmni Pathがこれからどの程度食い込んでくるでしょうか
なおストレージはDNN無双の模様
John Gustafson presents: Beyond Floating Point - Next Generation Computer Arithmetic - insideHPC
シンガポール国立大学のJohn Gustafson教授が，既存のIEEE754の浮動小数点に変わる新しい “posit” という演算フォーマットを提案しています．
まだ詳細を理解していないので中身については解説できないのですが，低精度でも十分な機械学習が隆盛を見せている今，浮動小数点についても考え直すいい機会なのかもしれません．
機械学習・AI関係
Chinese Firms Racing to the Front of the AI Revolution | TOP500 Supercomputer Sites
現在，人工知能技術（AI）を牽引しているのはGoogle, Facebook, Microsoftなどのアメリカ企業ですが，Baidu, Alibaba, Tencentなどの中国企業も猛烈にキャッチアップしているという記事です．
現在，AIはノウハウの蓄積＋計算パワーの戦いとなっており，HPCシステムで膨大な計算能力を持つ中国が本腰を入れると脅威となると思われます．中国は，技術の方向性が定まったあとの力技による猛追には定評がありますので，日本は頑張りたいところです
HPC分野における中国の躍進については Rise of China, Real-World Benchmarks Top Supercomputing Agenda がよいまとめとなっています．
ChainerMN による分散深層学習の性能について | Preferred Research
Prefered Networksが，MPIを利用した分散版 Chainerについて発表しています． 128GPUまで，ほぼ線形にスケールしているということなので，これから構築されるであろう産総研ABCI等での活用も期待されますね．
担当者である秋葉氏による動画の解説もあります
Deep learningフレームワークとMPIの関係については Pushing MPI into the Deep Learning Training Stack によくまとめられています．
その他
なぜこれが差別なの？ Cultural Appropriationとは？ 日本人女性の格好で撮影したモデルが謝罪 - Togetterまとめ
白人の女優が着物を着て日本文化をテーマにした写真を撮影したところ，それが差別にあたるとなって問題となった事案です．普通の日本人にとって（私も含む）これは直感的には理解しがたいことが多いと思いますが，これはCultral appropriationと呼ばれる問題と，representation（whitewashing）と呼ばれる問題の2つの見方があるそうです．解説は私の手に余りますが，以下に挙げる記事およびshrioさんの解説が参考になりました．
当事者不在ではなく実際にアジア系モデル/俳優から非難の声が出てる。これは国籍ではなくエスニシティの問題で、エスニックグループとしてアジア系がunderrepresentedであるという文脈の上に起きた騒動なので、日本民族がマジョリティである社会では理解されにくいかも。 https://t.co/hcFTbjLUlt
— Kilo Kawai (@anohana) 2017年2月16日
X高校に進学する生徒の大半は街にあるA中出身だが山間の小さなB中出身者もいる。このたびX高校では各地域の暮らしを織り込んだ演劇を上演することになった。ところがB中の地域出身という設定の役にもA中出身者が配役される。観客も街の人が多く知り合いの多いA中出身者の方が受けるから。続)
— Kilo Kawai (@anohana) 2017年2月16日
毎年毎年ずっとそう。なるほど脚本ではB中の地域のことはよく調べてあるし、配役された生徒も地域を訪れるなどして地域の文化を尊重している。でも、B中出身者が自分の地域を語る機会は与えられない。ケースバイケースでどっちがどっちをやってもいいんだけど、ずっと固定化してるのはおかしいんじゃ
— Kilo Kawai (@anohana) 2017年2月16日
文化は人が作るものなのに、衣装やら建築やら文化の形は珍重されるけれどその文化を作っている当事者がまるで存在していないかのように扱われる、っていうのがunderrepresentationってことなんだと思う。
— Kilo Kawai (@anohana) 2017年2月16日
