IPDPS & HPDC 報告

2. 新井淳也, “IPDPS & HPDC 報告,” ビッグデータ基盤研究会, 2016年7月. Copyright© 2016 NTT Corp. All Rights Reserved. 2 自己紹介新井淳也（アライジュンヤ）日本電信電話（株）ソフトウェアイノベーションセンタ所属興味：並列分散処理頂点順序の最適化による高速なグラフ処理 • 昨年8月の BDI や IPDPS’16 等にて発表リモート DMA による「京」上の分散ファイルキャッシュ • 修論（東大石川裕研究室 ’13） Haskell プログラムの自動並列化 • 卒論（東大米澤明憲研究室 ’11）趣味：神社巡り, 旅行

3. 新井淳也, “IPDPS & HPDC 報告,” ビッグデータ基盤研究会, 2016年7月. Copyright© 2016 NTT Corp. All Rights Reserved. 3 最近の研究 Rabbit Order: Just-in-time Parallel Reordering for Fast Graph Analysis J. Arai (NTT) et al. IPDPS’16. グラフ処理の前に頂点を並び替えることで, メモリアクセスの局所性を向上させる手法の提案頂点の順序を最適化 Graph Algorithms セッションの様子→ • アクセスされるデータの場所がバラバラ • 同じデータの再利用が少ないキャッシュを活用できない！ • アクセスされるデータが密集 • データの再利用が多いキャッシュを活用できる！

5. 新井淳也, “IPDPS & HPDC 報告,” ビッグデータ基盤研究会, 2016年7月. Copyright© 2016 NTT Corp. All Rights Reserved. 5 IPDPS’16 概要並列分散処理・高性能計算 (HPC) 分野の一流国際会議 SC (Supercomputing) と IPDPS が HPC 分野で最も重要な会議正式名：30th IEEE International Parallel and Distributed Processing Symposium 開催地：Hyatt Regency Chicago, シカゴ, 米国開催日：5/23～27（23, 27 はワークショップ）論文数：114 (採択率 23%, 1 round) 参加者：約650名ほとんどが大学や研究機関の研究者日本からの参加組織：筑波大, 東大, 京大, 東工大, 名大, 成蹊大, 九州工大, 理研, NTT (合計12名*1) 会場外観 *1) 発表プログラムの確認と日本人参加者からの伝聞による算出

7. 新井淳也, “IPDPS & HPDC 報告,” ビッグデータ基盤研究会, 2016年7月. Copyright© 2016 NTT Corp. All Rights Reserved. 7 HPDC’16 概要並列分散処理・HPC 分野の一流国際会議 IPDPS と比べ小規模ながら質は高い正式名：25th ACM International Symposium on High Performance Distributed Computing 開催地：京都市国際交流会館, 京都, 日本開催日：5/31～6/4（5/31, 6/1 はワークショップ）論文数：20 full + 9 short (採択率 15.5%, 2 rounds) さらにポスター発表28件参加者：約150名ほとんどが大学や研究機関の研究者日本からの参加組織：東工大, 理研, 産総研, 京大, 東大, 北大, 九大, お茶大, …… (概ね人数順) ざっと見たところ日本人は参加者の約3割会場外観シングルトラックなので全ての発表を聴ける

9. 新井淳也, “IPDPS & HPDC 報告,” ビッグデータ基盤研究会, 2016年7月. Copyright© 2016 NTT Corp. All Rights Reserved. 9 HPC の研究分野 IPDPS における4区分 (HPDC のフォーカスも含む) アルゴリズム：数値計算, シミュレーション, 機械学習, リソース管理, 通信アプリケーション：計算科学 (自然科学シミュレーション等), ビッグデータ, クラウドアーキテクチャ：プロセッサ, メモリ, インタコネクト, ストレージ, 省電力, 耐故障ソフトウェア：プログラミング言語, ミドルウェア, OS, リソース管理ほとんどの論文が分散 or アクセラレータ (GPU, Xeon Phi) 関連 CPUによる共有メモリ型並列処理の論文は少数派実験では HPC クラスタ (スパコン) がよく用いられる大規模 (数十～十万ノード) 低遅延・広帯域のインタコネクト (InfiniBand, Gemini, Tofu, ...) 遅いファイルアクセス (ノード毎のローカルディスクと比べて) • 全ノード共有の並列ファイルシステム (Lustre 等) を使用するため

10. 新井淳也, “IPDPS & HPDC 報告,” ビッグデータ基盤研究会, 2016年7月. Copyright© 2016 NTT Corp. All Rights Reserved. 10 スポンサー http://www.ipdps.org/ipdps2016/2016_partners_exhibitors.html より引用 http://www.hpdc.org/2016/sponsorship/ より引用 IPDPS HPDC イリノイ州にあるBI企業

11. 新井淳也, “IPDPS & HPDC 報告,” ビッグデータ基盤研究会, 2016年7月. Copyright© 2016 NTT Corp. All Rights Reserved. 11 国別論文件数（第一著者の所属で判定）両会議とも同じ傾向：米が圧倒的多数, 2位は同数で中独 USA 70 China 8 Germany 8 6 3 3 2 Japan 2 2 211111111 USA China Germany France India Switzerland Italy Japan Singapore Spain Austria Brazil Canada Greece Ireland Netherlands Saudi Arabia Sweden IPDPS 114件 USA 22 China 2 Germany 2 1 1 USA China Germany India Switzerland HPDC 28件理研とNTT

12. 新井淳也, “IPDPS & HPDC 報告,” ビッグデータ基盤研究会, 2016年7月. Copyright© 2016 NTT Corp. All Rights Reserved. 12 ワークショップ（青字はビッグデータ関連） IPDPS 1. Heterogeneity in Computing Workshop (HCW) 2. Reconfigurable Architectures Workshop (RAW) 3. Workshop on High-Level Parallel Programming Models & Supportive Environments (HIPS) 4. Workshop on High Performance Computational Biology (HiCOMB) 5. Advances in Parallel and Distributed Computational Models (APDCM) 6. Accelerators and Hybrid Exascale Systems (ASHES) 7. Parallel Computing and Optimization (PCO) 8. Graph Algorithms Building Blocks (GABB) 9. NSF/TCPP Workshop on Parallel and Distributed Computing Education (EduPar) 10. High Performance Data Analysis and Visualization (HPDAV) 11. Variability in Parallel and Distributed Systems (VarSys) 12. High-Performance, Power-Aware Computing (HPPAC) 13. Workshop on Parallel and Distributed Scientific and Engineering Computing (PDSEC) 14. Dependable Parallel, Distributed and Network-Centric Systems (DPDNS) 15. Large-Scale Parallel Processing (LSPP) 16. Parallel and Distributed Computing for Large Scale Machine Learning and Big Data Analytics (ParLearning) 17. Workshop on Job Scheduling Strategies for Parallel Processing (JSSPP) 18. International Workshop on Automatic Performance Tuning (iWAPT) 19. Chapel Implementers and Users Workshop (CHIUW) 20. High-Performance Big Data Computing (HPBDC) 21. Monitoring and Analysis for High Performance Computing Systems Plus Applications (HPCMASPA) 22. Emerging Parallel and Distributed Runtime Systems and Middleware (IPDRM) 23. Parallel and Distributed Processing for Computational Social Systems (ParSocial) HPDC 1. Workshop on Fault-Tolerance for HPC at Extreme Scale (FTXS) 2. High Performance Graph Processing (HPGP) 3. Software Engineering Methods for Parallel and High Performance Applications (SEM4HPC) 4. Seventh International Workshop on Data-Intensive Distributed Computing (DIDC) 5. 6th International Workshop on Runtime and Operating Systems for Supercomputers (ROSS) 6. 7th Workshop on Scientific Cloud Computing (ScienceCloud) 多い

13. 新井淳也, “IPDPS & HPDC 報告,” ビッグデータ基盤研究会, 2016年7月. Copyright© 2016 NTT Corp. All Rights Reserved. 13 基調講演 IPDPS 1. 破壊的な技術とは何か, どうしたら生み出せるのか Disruptive Research and Innovation (Kai Li, Princeton U.) 2. HPC における今後のメモリ技術の方向性 Memory, Storage and Processing in Future Parallel and Distributed Processing Systems (Thomas Pawlowski, Micron) 3. 宇宙論研究のためのポータブルなソフトウェアの開発 Unlocking the Mysteries of the Universe with Supercomputers (Katrin Heitmann, Argonne National Lab.) HPDC 1. ムーアの法則の終焉という「第6の波」への対応 Preparing for Supercomputing’s Sixth Wave (Jeffrey Vetter, Oak Ridge National Lab.) 2. 今後のスーパーコンピュータの発展の方向性と研究課題 With Extreme Scale Computing the Rules Have Changed (Jack Dongarra, U. Tennessee) 3. 将来の計算機に必要なメモリの抽象化, NVM の活用 Implications of Heterogeneous Memories in Next Generation Server Systems (Ada Gavrilovska, Georgia Tech.)

14. 新井淳也, “IPDPS & HPDC 報告,” ビッグデータ基盤研究会, 2016年7月. Copyright© 2016 NTT Corp. All Rights Reserved. 14 基調講演 IPDPS 1. 破壊的な技術とは何か, どうしたら生み出せるのか Disruptive Research and Innovation (Kai Li, Princeton U.) 2. HPC における今後のメモリ技術の方向性 Memory, Storage and Processing in Future Parallel and Distributed Processing Systems (Thomas Pawlowski, Micron) 3. 宇宙論研究のためのポータブルなソフトウェアの開発 Unlocking the Mysteries of the Universe with Supercomputers (Katrin Heitmann, Argonne National Lab.) HPDC 1. ムーアの法則の終焉という「第6の波」への対応 Preparing for Supercomputing’s Sixth Wave (Jeffrey Vetter, Oak Ridge National Lab.) 2. 今後のスーパーコンピュータの発展の方向性と研究課題 With Extreme Scale Computing the Rules Have Changed (Jack Dongarra, U. Tennessee) 3. 将来の計算機に必要なメモリの抽象化, NVM の活用 Implications of Heterogeneous Memories in Next Generation Server Systems (Ada Gavrilovska, Georgia Tech.) 「ムーアの法則」の終焉に関連する話題が頻出

15. 新井淳也, “IPDPS & HPDC 報告,” ビッグデータ基盤研究会, 2016年7月. Copyright© 2016 NTT Corp. All Rights Reserved. 15 基調講演まとめ：「ムーアの法則」の終焉ムーアの法則：プロセッサの集積密度は約2年で倍増する性能向上と省電力化が同時に進行 (デナードスケーリング) 物理学的制約と経済的制約によってムーアの法則は終わるトランジスタ数∝消費電力に近づく (コア数2倍なら電力も倍) 集積度向上のためのコストが高騰し, 利益に対して割に合わなくなる 2020年半ばには計算機の性能向上が止まる (かも？) これまでの世界：FLOPS は勝手に上昇する • ただし並列化はソフトウェア側でうまくやる必要があるムーアの法則終焉後の世界：FLOPS も増えない • 消費電力の制約で性能を上げられなくなる

16. 新井淳也, “IPDPS & HPDC 報告,” ビッグデータ基盤研究会, 2016年7月. Copyright© 2016 NTT Corp. All Rights Reserved. 16 基調講演まとめ：「ムーアの法則」終焉への対策 (ハード) • 計算用途向けに特殊化したアーキテクチャ広義には GPU や FPGA も組込みでは Digital Signal Processor (DSP) などで以前からやっている • NVM や, HMC, HBM など低消費電力なメモリ • 3次元積層 (縦方向への回路の積み重ね) など高度な半導体技術 • 計算ノード間光インタコネクト • 脳を模したプロセッサ (IBM TrueNorth, SpiNNaker 等) • 量子計算

17. 新井淳也, “IPDPS & HPDC 報告,” ビッグデータ基盤研究会, 2016年7月. Copyright© 2016 NTT Corp. All Rights Reserved. 17 基調講演まとめ：「ムーアの法則」終焉への対策 (ソフト) • データ移動を減らすアルゴリズム設計演算よりもメモリアクセスのほうが多くの電力を消費する • 複雑なハードを効率的に扱えるシステムやプログラミングモデル深くなるメモリ階層や多様なアクセラレータの活用 64-bit multiply add  Read 64 bits from cache  Move 64 bits across chip  Execute and instruction  Read 64 bits from DRAM  HPDC Keynote 2 (by Jack Dongarra) より

18. 新井淳也, “IPDPS & HPDC 報告,” ビッグデータ基盤研究会, 2016年7月. Copyright© 2016 NTT Corp. All Rights Reserved. 18 セッション構成 (青字はビッグデータ関連) IPDPS 1. Graph Algorithms 2. Software Environments and Tools 3. Network Architecture 4. Application Optimization 5. Linear Algebra & Solvers 6. Fault Tolerance & Resilience 7. Modeling and Evaluation 8. Graph Applications 9. Cloud Resource Allocation 10. Memory Management 11. Scheduling and Resource Management 12. Scientific Applications (1) 13. Clustering & Partitioning 14. Accelerated Computing 15. Memory Hieracrchy 16. Optimization Techniques 17. Communication Efficiency & Avoidance Algorithms 18. Distributed Algorithms 19. I/O and Storage 20. Scientific Applications (2) 21. Numerical Algorithms 22. Graphs and Tensors 23. Runtime Systems 24. GPUs 25. Scheduling 26. System Software 27. Security & Fault Tolerance 28. Data Streaming HPDC 1. High Performance Networks 2. Parallel and Fault Tolerant algorithms 3. Big Data Processing and I/O 4. Systems, networks, and architectures for high-end computing 5. Cloud and resource management 6. Massively Multicore Systems 7. Graph Algorithms 8. Potpourri グラフが目立つが, 疎行列演算や SGD 等は数値計算系のセッションにも含まれる

19. 新井淳也, “IPDPS & HPDC 報告,” ビッグデータ基盤研究会, 2016年7月. Copyright© 2016 NTT Corp. All Rights Reserved. 19 論文タイトルのワードクラウド Parallel 23 Memory 16 Algorithm 16 Graph 12 Distributed 12 Data 12 出現回数上位5つ Aware 5 System 4 Performance 4 Memory 4 Graph 4 Distributed 4 出現回数上位5つ全体のワード数が少ないので浮上 IPDPS HPDC Distributed- /Shared- Memory 注目されている

20. 新井淳也, “IPDPS & HPDC 報告,” ビッグデータ基盤研究会, 2016年7月. Copyright© 2016 NTT Corp. All Rights Reserved. 20 グラフ関連研究の傾向多数の採択 (全体の約15%), 併催ワークショップなど関心が高い Graph Algorithms Building Blocks (GABB) ― IPDPS 併催 High Performance Graph Processing (HPGP) ― HPDC 併催アルゴリズムから実験・実測まで広範 • Subgraph counting アルゴリズムとその分散実装 [Chakaravarthy+ IPDPS’16], • MPI と OpenMP による簡潔な分散グラフ処理の実装 [Slota+ IPDPS’16] など HPC では単純な問題 (PageRank や BFS) の高速化が多い印象だが, IPDPS は多彩な問題を扱う傾向にある (subgraph counting, 極大マッチ, 彩色, ...) ワークショップでは実世界のタスクを意識した研究が多い特に動的グラフの管理と分析は GABB での発表の半数を占めた • 実世界のグラフ (ソーシャルネットワークや Web グラフ) は時間経過で変化する • HPGP でも IBM ワトソン研の鈴村氏より動的グラフの重要性が強調された会議本体よりも問題設定が DB 分野に近い印象

21. 新井淳也, “IPDPS & HPDC 報告,” ビッグデータ基盤研究会, 2016年7月. Copyright© 2016 NTT Corp. All Rights Reserved. 21 そのほかビッグデータ関連の発表 Spark 高速化 • 透過的に GPU を利用可能にするライブラリ [Grossman+ HPDC’16], • 動的なメモリ割当て最適化 [Xu+ IPDPS’16] など機械学習研究者に HPC クラスタの高い計算能力を提供したい Hadoop MapReduce に関する論文はゼロ (Spark に移行？) 機械学習 (ML) • マルチコア・メニーコアでの CNN 高速化 [Zlateski+ IPDPS’16 best paper], • 確率的勾配降下法 (SGD) の高速化 [Sallinen+ IPDPS’16] 世の中は AI ブームだが, 論文数は意外と少ない印象 ML を用いたスケジューリング [Ukidave+ IPDPS’16], エラー予測 [Vishnu＋ IPDPS’16] も DB 感のあるもの • RDMA と SSD を用いた Key-Value Store [Shankar+ IPDPS’16]

22. 新井淳也, “IPDPS & HPDC 報告,” ビッグデータ基盤研究会, 2016年7月. Copyright© 2016 NTT Corp. All Rights Reserved. 22 まとめ IPDPS と HPDC について俯瞰したどちらも HPC 分野で重要な国際会議 ムーアの法則の終焉について基調講演をまとめた消費電力問題を解決するためハードウェアとソフトウェア両面の取組みが必要 ビッグデータ関連の研究動向について紹介したグラフは依然注目を集めており, 機械学習に対しても足回りとして関係している