次の3件の論文を紹介しました:
swDNN: A Library for Accelerating Deep Learning Applications on Sunway TaihuLight
Accelerating Graph and Machine Learning Workloads Using a Shared Memory Multicore Architecture with Auxiliary Support for in-Hardware Explicit Messaging
MOCHA: Morphable locality and compression aware architecture for convolutional neural networks
4. 4
本日紹介する論文
新井淳也, "IPDPS'17 の機械学習系論文," 第3回システム系輪講会.
Data and Graph Analytics セッション
• swDNN: A Library for Accelerating Deep Learning Applications on Sunway TaihuLight
• 現在 TOP500 の1位である神威太湖之光における convolution 処理の最適化
Novel Architectures セッション
• Accelerating Graph and Machine Learning Workloads Using a Shared Memory Multicore
Architecture with Auxiliary Support for in-Hardware Explicit Messaging
• メニーコアプロセッサにコア間メッセージ交換の仕組みを導入することでグラフ処理や DNN を高速化
• MOCHA: Morphable locality and compression aware architecture for convolutional neural
networks
• CNN の推論においてメモリアクセスの局所性を高めデータ圧縮も行うプロセッサの提案
CNN 関連の論文を抽出. 深層学習関連では他に1本 (理論的解析に関するもの)
他の機械学習関連ではテンソル計算や Spark の高速化に関するものがある
CNN がベンチマーク向けのタスクとなりつつある?
5. 5
Data and Graph Analytics セッション
新井淳也, "IPDPS'17 の機械学習系論文," 第3回システム系輪講会.
swDNN: A Library for Accelerating Deep Learning Applications on
Sunway TaihuLight
• Jiarui Fang, Haohuan Fu, Wenlai Zhao, Bingwei Chen, Weijie
Zheng, Guangwen Yang
(Tsinghua U. & National Supercomputing Center in Wuxi)
20. 20
Novel Architectures セッション (1/2)
新井淳也, "IPDPS'17 の機械学習系論文," 第3回システム系輪講会.
Accelerating Graph and Machine Learning Workloads Using a
Shared Memory Multicore Architecture with Auxiliary Support for
in-Hardware Explicit Messaging
• Halit Dogan, Masab Ahmad, Farrukh Hijaz, Brian Kahne, Peter
Wilson, Omer Khan (U. Connecticut, USA & NXP Semiconductors,
USA)
22. 22
背景 (続き)
新井淳也, "IPDPS'17 の機械学習系論文," 第3回システム系輪講会.
バリア同期
in parallel
図出典: A. Krizhevsky, I. Sutskever, and G. E. Hinton. Imagenet
classification with deep convolutional neural networks. NIPS2012.
34. 34
Novel Architectures セッション (2/2)
新井淳也, "IPDPS'17 の機械学習系論文," 第3回システム系輪講会.
MOCHA: Morphable locality and compression aware architecture
for convolutional neural networks
Syed M. A. H. Jafri, Ahmed Hemani, Kolin Paul, Naeem Abbas (Royal Inst. of
Tech., Sweden & National U. of Sci. & Tech., Pakistan)