NVIDIA GPU 技術最新情報
•
6 likes•3,475 views
2017年6月13日に開催した「AI（人工知能）・Deep Learningの最前線」にて登壇された、エヌビディア合同会社 佐々木様の発表資料です
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (12)
Similar to NVIDIA GPU 技術最新情報
Similar to NVIDIA GPU 技術最新情報 (20)
More from IDC Frontier
More from IDC Frontier (20)
Recently uploaded
Recently uploaded (8)
NVIDIA GPU 技術最新情報
- 2. 2 エヌビディア AI コンピューティングカンパニー > 1993 年創業 > 創業者及び CEO ジェンスン ファン > 従業員 11,000 人 > 2017 会計年度売上高 69億ドル (約 7700 億円) > 時価総額 950億ドル (約 10兆円) “World’s Best Performing CEOs” — Harvard Business Review “World’s Most Admired Companies” — Fortune “America’s Greenest Companies” — Newsweek “50 Smartest Companies” — MIT Tech Review “Top 50 Best Places to Work” — Glassdoor
- 3. 3 SGEMM/W 2012 20142008 2010 2016 48 36 12 0 24 60 2018 72 Tesla Fermi Kepler Maxwell Pascal Volta GPU アーキテクチャコードネーム
- 4. 4 NVIDIA GPU 製品のおおまかな一覧 Kepler Maxwell Pascal Volta GeForceゲーミング Quadro プロフェッショナル グラフィックス Tesla HPC & Cloud M4 M40 M6000M5000K6000K5000 GTX 980GTX 780 HPC 用 GRID 用 K80K40K20 P100 P40P4DL 用 M60 M6 M10 GP100P5000 K2 K520 K1 GTX 1080 TITAN X V100
- 5. 5 GPU コンピューティング 10年の歩み 2006 2008 2012 20162010 2014 Fermi: 世界初の HPC 用 GPU オークリッジ国立研究所の世界最速 GPU スーパーコンピュータ 世界初の HIV カプシドの 原子モデルシミュレーション GPU AI システムが碁の 世界チャンピオンを破る スタンフォード大学が GPU を 利用した AI マシンを構築 世界初のヒトゲノムの 3次元マッピング CUDA 発表 世界初の GPU Top500 システム Google が ImageNet で 人間を超える H1N1 の異変の 仕組みを解明 GPU を利用した AlexNet が圧勝
- 6. 6 様々な分野で AI が効果を発揮 碁で名人に勝利 ゲームをプレイ 画家のスタイルで画像生成 音声合成 映像を文章で説明 ロボットの動作を洗練 歩行を自己学習 自動運転
- 7. 7 エンタープライズのための SAP AI SAP から提供される最初の商業的 AI オファリング Brand Impact、Service Ticketing、 Invoice-to-Record アプリケーション DGX-1 と AWS で NVIDIA GPU を利用
- 8. 8 エンタープライズのための SAP AI SAP から提供される最初の商業的 AI オファリング Brand Impact、Service Ticketing、 Invoice-to-Record アプリケーション DGX-1 と AWS で NVIDIA GPU を利用 VIDEO: SAP Brand Impact
- 10. 10 2006年当時の状況 ここ数年、新しいモデル表現の提案、機械学習法の進歩、 計算機の高速化などにより、急速に研究が進展しており、 現在は 101 種類の対象に対して 6 割程度の精度で認識が可能となってきている。 「山」「椅子」「ラーメン」などの我々にとって馴染み深い対象が写った画像を 計算機によって自動的に検出することは、現状では極めて困難である。 https://ipsj.ixsq.nii.ac.jp/ej/?action=repository_uri&item_id=52152
- 12. 12 ディープラーニングによるブレークスルー エラー率: 5.98%, 2015/1/13, Baidu 4.94%, 2015/2/6, Microsoft 4.82%, 2015/2/11, Google 精度 % 2010 201420122011 2013 74% 84% ディープラーニング 従来手法 72% 人間と同等以上の精度に到達
- 13. 13 畳み込みニューラルネットワークと GPU Luckily, current GPUs, paired with a highly-optimized implementation of 2D convolution, are powerful enough to facilitate the training of interestingly-large CNNs, 幸運なことに、最新の GPU と高度に最適化された 2D 畳み込み 処理の組み合わせは、大きな畳み込みニューラルネットワークを トレーニングするのに十分な能力がある https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf
- 14. 14 畳み込みニューラルネットワークと GPU All of our experiments suggest that our results can be improved simply by waiting for faster GPUs and bigger datasets to become available. 単純にもっと速い GPU と今より大きなデータセットさえあれば、 さらに良い結果が得られるであろう https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf
- 15. 15 ディープラーニングを加速する3要因 ディープ ニューラル ネットワーク GPUビッグデータ 1分間に100 時間の ビデオがアップロード 日々3.5億イメージ がアップロード 1時間に2.5兆件の 顧客データが発生 TORCH THEANO CAFFE MATCONVNET PURINEMOCHA.JL MINERVA MXNET*
- 16. 16 年々複雑さを増すモデル 2016 — Baidu Deep Speech 22015 — Microsoft ResNet 2017 — Google NMT 1.05 垓回の計算量 87 億パラメータ 2000 京回の計算量 3 億パラメータ 700 京回の計算量 6000 万パラメータ
- 17. 17 発表 Tesla V100 AI と HPC のための大きな飛躍 Tensor コアを搭載した Volta アーキテクチャ 210 億トランジスタ | TSMC 12nm FFN | 815mm2 5120 CUDA コア 7.5 FP64 TFLOPS | 15 FP32 TFLOPS 120 Tensor TFLOPS 総レジスタファイル 20MB | 16MB キャッシュ 900 GB/s の 16GB HBM2 300 GB/s NVLink
- 18. 18 新開発 Tensor コア CUDA Tensor 演算命令 及び データフォーマット 4x4 行列処理配列 D[FP32] = A[FP16] * B[FP16] + C[FP32] ディープラーニングに最適化 アクティベーション入力 重み入力 出力結果
- 19. 19 P100 V100 Ratio トレーニングの高速化 10 TOPS 120 TOPS 12x 推論の高速化 21 TFLOPS 120 TOPS 6x FP64/FP32 5/10 TFLOPS 7.5/15 TFLOPS 1.5x HBM2 バンド幅 720 GB/s 900 GB/s 1.2x NVLink バンド幅 160 GB/s 300 GB/s 1.9x L2 Cache 4 MB 6 MB 1.5x L1 Caches 1.3 MB 10 MB 7.7x Pascal / Volta GPUの性能比較
- 20. 20 Volta 対応フレームワーク 時間 CNN トレーニング (ResNet-50) 時間 NCCL 2.0 を利用したマルチノード トレーニング (ResNet-50) 0 5 10 15 20 25 64x V100 8x V100 8x P100 0 10 20 30 40 50 V100 P100 K80 時間 LSTM トレーニング (ニューラル機械翻訳) 0 10 20 30 40 50 8x V100 8x P100 8x K80
- 21. 21 発表 Tesla V100 搭載 NVIDIA DGX-1 AI 研究に必須の道具 960 Tensor TFLOPS | Tesla V100 8基 | NVLink ハイブリッドキューブ TITAN X で 8 日かかる計算が 8 時間に CPU サーバー 400台分の性能がワンボックスに ご注文は: nvidia.com/DGX-1
- 22. 22 480 Tensor TFLOPS | Tesla V100 4基 NVLink 全結合 | 3つの DisplayPort 1500W | 水冷 ご注文は: nvidia.com/DGX-Station 発表 NVIDIA DGX Station パーソナル DGX
- 23. 23 コンテナ、データセット、 事前学習済モデルの レポジトリ NVIDIA GPU クラウド CSP 発表 NVIDIA GPU クラウド NVDocker のコンテナとして提供 | フルスタックで最適化 常に最新 | エヌビディアによって完全にテストおよびメンテナンス | 7月にベータ提供 ディープラーニングに最適化された GPU で加速されたクラウドプラットフォーム
- 24. 24 TOP500 で 28 位の AI スーパーコンピュータ 4.9 ペタフロップスの理論性能 (倍精度: FP64) 19.6 ペタフロップスの理論性能 (半精度: FP16) 13 ノードで TOP500 にランクイン可能 最もエネルギー効率に優れたスパコン Green500 で第１位 9.5 ギガフロップス per Watt ‘Cancer Moonshot’ のためのロケット CANDLE Development Platform Common platform with DOE labs – ANL, LLNL, ORNL, LANL NVIDIA DGX SATURNV エクサスケールへ向けた大きな前進
- 25. 25 NVIDIA DGX-1 を 124 ノード ノードあたり 8 基、全体で 992 基の NVIDIA Tesla P100 GPU NVLINK キューブメッシュ 2 基の Intel Xeon 20 コア CPU 512TB DDR4 システムメモリ SSD – 7 TB スクラッチ領域 + 0.5 TB システム領域 Mellanox 36 ポート EDR L1, L2 スイッチ ノード毎に 4 ポート Partial Fat tree トポロジ Ubuntu 14.04, CUDA 8, OpenMPI 1.10.3 NVIDIA GPU BLAS + Intel MKL (NVIDIA GPU HPL) NVIDIA DGX SATURNV DGX-1 の 124 ノード DGX-1 クラスター nvidia.com/dgx1
- 26. 26 2016 年11 月の Green500 で首位を獲得！ Green500.org Top500.org SATURNV produced groundbreaking 9.4 GF/W at full scale --> Sets the stage for future Exascale class computing
- 27. 27 世界初の GPU スパコン - TSUBAME 1.2 2008 年 11 月の TOP500 で 29 位にランクイン NVIDIA Tesla S1070 搭載 実効性能 77.5 TFLOPS
- 28. 32nm 40nm >400GB/s Mem BW 80Gbps NW BW ~1KW max >1.6TB/s Mem BW >12TB/s Mem BW 35KW Max >600TB/s Mem BW 220Tbps NW Bisecion BW 1.4MW Max TSUBAME2.0 2010年11月1日稼働開始 世界最小のペタフロップス・省電力スパコン 各種基礎研究がベース メーカーと新規共同開発 • 大規模なGPU採用による高性能と低電力の両立 • 最小の設置面積(200m2程度)、高いコストパフォーマンス • 高性能にマッチした光ネットワーク、SSDストレージ
- 29. TSUBAME2.0⇒2.5 計算ノードの進化(2013/9) • 全 4224GPU を最新のKepler GPUに ほぼ運用中断なく交換 • 幾つかの技術上・運用上の問題を メーカーと共同で克服 • 低コスト・短期間でマシンの能力を2-3 倍に向上に成功 NVIDIA Fermi M2050 1039/515GFlops 3GBメモリ NVIDIA Kepler K20X 3950/1310GFlop s 6GBメモリ
- 30. TSUBAME-KFC: ウルトラグリーン・スパコン研究設備 （文部科学省概算要求・2011-2015・約2億円) 高温冷却系 冷媒油 35~45℃ ⇒ 水 25~35℃ (TSUBAME2は7~17℃) 冷却塔： 水 25~35℃ ⇒ 自然大気へ 液浸冷却＋高温大気冷却＋高密度実装＋電力制御のスパコン技術を統合 TSUBAME3.0のプロトタイプ コンテナ型研究設備 20フィートコンテナ(16m2) 無人自動制御運転 将来はエネルギー回収も 高密度実装・油浸冷却 210TFlops (倍精度) 630TFlops (単精度) 1ラック 2013年11月/2014年6月 Green500ランキング 世界一位(日本初) 2015アップグレード 500TFlops (倍精度) 機械学習等1.5PFlops (単精度) 世界最高性能密度 (やはり1ラック=>7ラックで京相当)
- 31. 31 TSUBAME 3.0 のシステム概要 フルバイセクションバンド幅の インテル® Omni-Path® 光ネットワーク 432 Terabits/秒 双方向 全インターネット平均通信量の2倍 DDNのストレージシステム （並列FS 15.9PB+ Home 45TB） 540 の計算ノード SGI ICE® XA インテル®Xeon® CPU×２＋NVIDIA Tesla P100 GPU×４ 256GB メモリ、２TB の NVMe 対応インテル®SSD 47.2 AI ペタフロップス, 倍精度: 12.1 ペタフロップス 2017 年 8 月本稼働
- 32. TSUBAME3.0 冷却システム系統図 32℃の自然大気冷却水による高効率高温冷却 計算ノード （SGI ICE XA system） I/O , File system 自然大気 水冷冷却塔 Air conditioner 周辺機器用チラー 分岐ヘッダー 【１F-屋外】 【B１F】 【RF】 【１F-１１４室】【１F-１１４室】 分岐ヘッダー 【EPS】 分岐ヘッダー 分岐ヘッダー 空冷冷却 (22℃) システム発熱量10～15% + 環境潜熱 水冷冷却 (往き：約14℃) 水冷冷却 (還り：約21℃) 水冷冷却 (往き：約32℃) 水冷冷却 (還り：約40℃) 熱交換機 冷却補助回路(200kW) 水冷冷却 (往き：約14℃)水冷冷却 (還り：約21℃) 水冷冷却 (還り：約40℃) 水冷冷却 (往き：約32℃) ※RF or B1F設置
- 33. TSUBAME3.0 世界トップクラスの冷却効率 TSUBAME 3.0 PUE 予測 (900KW消費仮定) 2013 ~ 2015 年の天候データを元に計算 1月 2月 3月 4月 5月 6月 7月 8月 9月 10月 11月 12月 年間 平均 冷却設備 平均消費電力 [ｋW] 28.83 28.83 28.83 28.83 29.21 30.06 30.06 32.00 30.06 29.21 28.83 28.83 29.465 PUE 1.032 1.032 1.032 1.032 1.032 1.033 1.033 1.036 1.033 1.032 1.032 1.032 1.033 PUEは冷却のオーバーヘッドを表す。1.0に近いほど良い PUE = ｛（計算ノードの消費電力）＋（計算ノードの冷却に必要なすべての設備消費電力）｝ ／ （計算ノードの消費電力） • 通常のデータセンター：PUE = 2～3 (冷却の方がマシンより電気を食っている) • 最新の空冷データセンター、TSUBAME1：PUE = 1.4～1.6 • TSUBAME2.0：PUE = 1.28 • TSUBAME-KFC：PUE = 1.09 TSUBAME3.0の計算ノードの年間PUE平均値は『1.033』 世界トップクラス
- 34. 34 自動運転
- 35. 35 NVIDIA DRIVE — AI カープラットフォーム コンピュータビジョンライブラリ OS 認識 AI CUDA、cuDNN、TensorRT 自己位置推定 パスプランニング 1 TOPS 10 TOPS 100 TOPS DRIVE PX 2 Parker Level 2/3 DRIVE PX Xavier Level 4/5
- 36. 36
- 37. 37 VIDEO: BB8
- 38. 38 認識 DNN のサンプル 複数のディープ ニューラル ネットワーク DriveNet LaneNet OpenRoadNet 車線の検出 多クラス分類: 乗用車、トラック、歩行者、 二輪車、信号や標識 走行可能空間の検出
- 42. 42 CONNECT NVIDIA をはじめ世界各国から 集まる GPU の専門家と交流 LEARN 数百に及ぶセッションと研究成果 のポスター展示、ハンズオンラボ で学びを深める DISCOVER A I や 自 動 運 転 と い っ た 重 要 な 領域でのブレークスルーに GPU が 果たしている様々な役割を発見 INNOVATE 新進気鋭のスタートアップによる 破壊的イノベーシ ョンに 注目 世界最大の GPU 技術イベントにぜひご参加ください GTC Japan 2017 は 2017年12月12 ~ 13日に東京で開催 2017/5/8~11 | サンノゼ | #GTC17 www.gputechconf.com