読者です 読者をやめる 読者になる 読者になる

本当は怖い情報科学

とあるHPC屋の趣味&実益ブログ

気になったHPC・AI関係のニュース 2017/02/20

HPC関係

Tokyo Tech's TSUBAME3.0 Will Be First HPE-SGI Super

一番のニュースは,東工大のTSUBAME3.0スパコンの受注者と詳細スペックが決まったというニュースでしょう.受注者はHPE(Hewlett Packard Enterprise)で,厳密には日本法人のSGI Japanとなっています.同じ松岡教授が指揮する産総研のABCIの先行モデルとなると思われます.

ハードウェアスペックとしては,14コアのBroadwell CPU ×2(計28コア) +NVIDIAのP100GPUが4機 + メモリはDDR4 256GB + ノードあたりのローカルストレージとしてSSDが2TBという超ファットノードのマシンで,Intel Omni Pathで接続されています.

全体では,倍精度演算性能12.5PFlops,NVIDIA P100 GPUを2160機となっています.

ノード構成としては,スペック的にはモンスターマシンであるものの,構成としては標準技術と既存技術の組み合わせです.冷却さえきちんとされれば安定した稼働が期待できそうです.

ポイントは,GPU同士のRDMA(Remote Direct Memory Access)がIntel Omni Pathで動くのかというところでしょうか.東大のOakleaf-PACSではOmni Pathが採用されていますがノードはXeon Phiで,ReedbushではP100 GPUが採用されていますがインターコネクトはInfinibandです.Omni Path + P100 GPUを組み合わせた大規模マシンは世界で初めてではないかと思います.

なお,ストレージはDDNです(いつもの)

現在と将来の OpenMP* API 仕様 | iSUS

OpenMP5.0の機能に関するまとめ.

Taskベースのプログラミングは,Intel TBBをはじめ,長らくライブラリとして提供されてきました.旧来のforループの並列化をベースとする機能では不十分な場面が多く,不規則な並列性が必要とされる場面ではタスクベースの並列化ライブラリは重宝します.

様々な機能がOpneMPに集約されていくのは良いことですね.おそらく,OpenACCとして定義されているアクセラレータ向けプログラミングも統合されていく流れになるでしょうから,そうなればOpenMPで様々な並列環境でのプログラミングが統一的に書けるようになるのかもしれません.

insideHPC Research Report Are FPGAs the answer to the “Compute Gap?” - insideHPC

InsideHPCによる,FPGAに関するWhite paper.読むためには 個人情報の送信が必要ですが.

6ページほどの文書で,長すぎず短すぎず,良い分量だと思います.メインとなる部分は「5 Myths About FPGAs」ということで,FPGAに関する誤解を解説するというスタイルで,残りの部分はIntelのFPGA(Arria 10)のスペック説明と宣伝となっています.

Intersect360 Offers Topside View of HPC Market | TOP500 Supercomputer Sites

HPCシステムの市場調査のまとめ.調査対象となったHPCシステムのベンダー別の受注割合がまとめられています.一位から順にDell EMC, HPE, Lenovo, SGIとなっています.本文にも書かれていますが,SGIはHPEの一部なので,これを合算するとHPEがダントツ一位という結果になりそうです.

インターコネクトはMellanoxのInfinibandが現状では多数を占めていますが,IntelのOmni Pathがこれからどの程度食い込んでくるでしょうか

なおストレージはDNN無双の模様

John Gustafson presents: Beyond Floating Point - Next Generation Computer Arithmetic - insideHPC

シンガポール国立大学のJohn Gustafson教授が,既存のIEEE754の浮動小数点に変わる新しい “posit” という演算フォーマットを提案しています.

まだ詳細を理解していないので中身については解説できないのですが,低精度でも十分な機械学習が隆盛を見せている今,浮動小数点についても考え直すいい機会なのかもしれません.

機械学習・AI関係

Chinese Firms Racing to the Front of the AI Revolution | TOP500 Supercomputer Sites

現在,人工知能技術(AI)を牽引しているのはGoogle, Facebook, Microsoftなどのアメリカ企業ですが,Baidu, Alibaba, Tencentなどの中国企業も猛烈にキャッチアップしているという記事です.

現在,AIはノウハウの蓄積+計算パワーの戦いとなっており,HPCシステムで膨大な計算能力を持つ中国が本腰を入れると脅威となると思われます.中国は,技術の方向性が定まったあとの力技による猛追には定評がありますので,日本は頑張りたいところです

HPC分野における中国の躍進については Rise of China, Real-World Benchmarks Top Supercomputing Agenda がよいまとめとなっています.

ChainerMN による分散深層学習の性能について | Preferred Research

Prefered Networksが,MPIを利用した分散版 Chainerについて発表しています. 128GPUまで,ほぼ線形にスケールしているということなので,これから構築されるであろう産総研ABCI等での活用も期待されますね.

担当者である秋葉氏による動画の解説もあります

www.youtube.com

Deep learningフレームワークとMPIの関係については Pushing MPI into the Deep Learning Training Stack によくまとめられています.

その他

なぜこれが差別なの? Cultural Appropriationとは? 日本人女性の格好で撮影したモデルが謝罪 - Togetterまとめ

白人の女優が着物を着て日本文化をテーマにした写真を撮影したところ,それが差別にあたるとなって問題となった事案です.普通の日本人にとって(私も含む)これは直感的には理解しがたいことが多いと思いますが,これはCultral appropriationと呼ばれる問題と,representation(whitewashing)と呼ばれる問題の2つの見方があるそうです.解説は私の手に余りますが,以下に挙げる記事およびshrioさんの解説が参考になりました.

なぜ白人が日本人の格好をすると批判されるのか

【広告】