SlideShare a Scribd company logo
1 of 65
Download to read offline
ソニーネットワークコミュニケーションズ株式会社 / ソニー株式会社
シニアマシンラーニングリサーチャー
小林 由幸
身近になったAI開発
「Neural Network Console」のご紹介
2
自己紹介
小林 由幸
1999年にソニーに入社、2003年より機械学習
技術の研究開発を始め、音楽解析技術「12音
解析」のコアアルゴリズム、認識技術の自動
生成技術「ELFE」などを開発。近年は
「Neural Network Console」を中心にディー
プラーニング関連の技術・ソフトウェア開発
を進める一方、機械学習普及促進や新しいア
プリケーションの発掘にも注力。
こばやし よしゆき
3
28.2 25.8 26.1
16.4
11.7
6.7
3.57
2.99
2.25
1
10
2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 2020
Top-5ErrorRate[%]
Year
Deep Learning従来型
機械学習
圧倒的な認識性能を示すDeep Learning
従来の性能限界を打ち破り、数々の課題で人を超える性能を達成しつつある
人の認識誤差
?
画像認識における精度向上
年率50%に迫る
誤差の改善
4
圧倒的な認識性能を示すDeep Learning
従来の性能限界を打ち破り、数々の課題で人を超える性能を達成しつつある
音声認識
• 2011年 音声認識にDeep Learningを適用し、音声認識誤差を30%前後改善
スマートフォン等で音声認識が一般化する契機に
• 2016年10月 Microsoftは音声認識技術において人間並みの性能を実現したと発表
https://arxiv.org/pdf/1610.05256v1.pdf
囲碁
• 2015年10月 Google傘下のDeep Mindが開発したDeep Learningによる囲碁プログラム
Alpha Goがプロ棋士に勝利
• 2016年3月 世界最強棋士の一人である李セドル九段に勝利
• 2017年5月 世界棋士レート一位の柯潔に三局全勝
https://ja.wikipedia.org/wiki/AlphaGo
5
人の認識性能を超えたことで、機械学習の実用化が急加速
人の認識性能
認識
性能
2015 20182012
実用化
機械学習を使えば自動化できるが、
人の品質にはかなわない。
適用できるシーンは限定的。
Deep Learningを用いるほうが
人が作業するよりも高品質、
さらに速くて安い。
相転移
6
Deep Learningとは
脳の学習機能をコンピュータでシミュレーションするニューラルネットワークを用いた技術
神経細胞
人工ニューロン
x1
x2
x3
…
y
𝑦 = 𝑓 𝑤𝑖x𝑖 + b
ニューラルネットワーク
(1960~1990頃)
Deep Learning
(2006~)
0
1
入力層
中間層
出力層
…
…
…
1~2層の中間層
…
…
…
…
…
…
…
入力層 出力層
3層~1000以上の中間層
数十M規模のニューロン数
大規模なニューラルネットワークの
学習が可能になり、大幅に性能向上
7
Deep Learningを用い、認識機を作成するために必要な作業
…
…
…
…
…
…
…
画像認識機
(Neural Network)
Input:画像 Output:画像認識結果
「2」
1. データセットを用意する
入力と、期待する出力のペアを多数用意
(教材の準備に相当)
2. ニューラルネットワークの構造を
設計する(脳の構造設計に相当)
3. 用意したデータセットで、設計した
ニューラルネットワークを学習する
従来の機械学習手法と比較して、高い性能を実現できると同時に扱いやすい技術でもある
… 「0」
… 「1」
… 「2」
… 「3」
… 「4」
… 「5」
… 「6」
… 「7」
… 「8」
… 「9」
8
入出力次第で無限に広がるDeep Learningの応用
Deep Learningは汎用技術。応用開発人材の育成と、活用の促進が求められる
…入力 出力
実現する機能 入力 出力
画像認識 画像 カテゴリ
文章の自動仕分け 文章 文章カテゴリ
音声認識 音声 文字列
機械翻訳 英単語列 日単語列
人工無能(チャット) 入力発話の単語列 期待応答の単語列
センサ異常検知 センサ信号 異常度
ロボット制御 ロボットのセンサ ロボットのアクチュエーター
…
実現する機能
9
事例:Visual Question Answering
画像と、画像に対する質問の2つの入力を元に、質問に対する答えを推定する問題
入力1
画像
入力2
質問文
Sunny
What is the
weather like?
出力
質問に対する答え
入力と出力のペアからなる教示のみを元にニューラルネットワークを学習することで、
(ルールも知識表現もなく)相当複雑な機能を獲得できる
論文:「Multimodal Compact Bilinear Pooling for Visual
Question Answering and Visual Grounding」
Akira Fukui, Dong Huk Park, Daylen Yang, Anna Rohrbach,
Trevor Darrell, Marcus Rohrbach
https://arxiv.org/abs/1606.01847
…
ニューラルネットワーク
10
Deep Learningにより大きく変わる機能開発の概念
従来
機能をモジュールに分解して開発
Deep Learning時代
End-to-end学習
• 必要な機能をモジュールに分解(設計)
• プログラムにより各モジュールを実装
実現できる機能の複雑さ∝プログラム量
• 入力から出力を得る機能をデータからの
学習で直接獲得
実現できる機能の複雑さ∝データ量
高機能、高性能を実現するために求められるものは、設計ノウハウからデータに
構文解析
Visual Question Answering
文章認識画像認識
質問意味理解
回答推定
11
ワークフローの比較
従来の技術開発
• 仕様策定
• 設計(機能ブロックに分解)
• 実装
• デバッグ
• コンパイル
• パラメータ調整
• QA
Deep Learningベースの技術開発
• 仕様策定
• 入出力・ネットワークアーキテクチャ設計
• データ収集
• データ収集、ラベルミス修正
• 学習
• データ収集
• テストデータで評価
12
データに取り組まずして、競争力ある性能は実現し得ない時代に
Deep Learningにおけるデータの重要性
Deep Learningにおいて、データの量と質は性能に直結
データ収集には、アルゴリズム検討と同等かそれ以上にコストを割く価値がある
Exploring the Limits of Weakly Supervised Pretraining
(2018/5/2 Facebook)
https://arxiv.org/abs/1805.00932
※Instagramの35億枚画像から学習し、従来の128万枚
での学習と比較し大幅な性能向上を達成
(ImageNet-1kのTop-5 ErrorでNASNetA 3.8%→2.4%)
2010年当時の128万枚から、年率2.7倍のペースでデー
タ数が増加した計算
log(データ数)に対し線形に性能が向上
13
Deep Learningのもたらすゲームチェンジと課題
• Deep Learningは簡単。知的処理の開発は、一般の技術者でも十分可能に
• Deep Learningは汎用。画像認識以外にも様々な機能を実現できる
• 機能分解型の設計から、End-to-End学習による機能開発へ
• Deep Learningにおいて、性能を決定づけるのはノウハウではなくデータ
課題
• Deep Learningの本質を理解して取り組める技術者が大幅に不足
• Deep Learning研究開発の効率化
• 大幅に不足するDeep Learning人材の垂直立ち上げ
データ
ソフトウェ
ア環境
計算環境 人材 応用促進 …
14
ソニーのDeep Learningへの取り組みと活用事例
15
ソニーのDeep Learningに対する取り組み
Neural Network Libraries / Consoleにより、効率的なAI技術の研究開発、人材育成を実現
2000年以前~ 機械学習の研究開発
2010年~ Deep Learningの研究開発
2011年~
初代コアライブラリ 2013年~
第二世代コアライブラリ 2016年~ 第3世代コアライブラリ
Neural Network Libraries
2015年~ GUIツール
2010年~ Deep Learning開発者向けソフトウェアの開発
Deep Learningを用いた認識技術等の
開発者が用いるソフトウェア群
技術開発効率、習得効率を
圧倒的に向上
Neural Network
Console
17/8/17 Windows版無償公開
18/5/9 クラウド版正式サービス開始
17/6/27 オープンソースとして公開
16
Neural Network Libraries / Consoleとは
Neural Network Libraries
・Deep Learning研究開発者向けオープンソースフレーム
ワーク(他社製既存Deep Learning FWに相当)
・コーディングを通じて利用→高い自由度
・最先端の研究や製品への実装にも柔軟に対応
Neural Network Console
・研究や、商用レベルの技術開発に対応したDeep
Learningツール
・様々なサポート機能→高い開発効率
・GUIによるビジュアルな操作→敷居が低い
主なターゲット
・じっくりと研究・開発に取り組まれる方
・プログラミング可能な研究、開発者
import nnabla as nn
import nnabla.functions as F
import nnabla.parametric_functions as PF
x = nn.Variable(100)
t = nn.Variable(10)
h = F.tanh(PF.affine(x, 300, name='affine1'))
y = PF.affine(h, 10, name='affine2')
loss = F.mean(F.softmax_cross_entropy(y, t))
主なターゲット
・特に開発効率を重視される方
・はじめてDeep Learningに触れる方
研究開発における課題を解決し、Deep Learningの研究開発を効率化するソフトウェア
学習エンジンとして
Neural Network Librariesを利用
17
Neural Network Libraries / Consoleのソニーグループ内活用事例
画像認識 ソニーのエンタテインメントロボット“aibo”(アイボ)『ERS-1000』の
画像認識にNeural Network Librariesが使用されています。aiboの鼻先の魚眼レンズによ
る画像認識においての人物判定から顔トラッキング、充電台認識、一般物体認識などで
積極的に活用され、多彩なセンサーを搭載することで状況に応じたふるまいの表出を可
能にしています
ジェスチャー認識 ソニーモバイルコミュニケーションズの「Xperia Ear」の
ヘッドジェスチャー認識機能にNeural Network Librariesが使用されています。「Xperia
Ear」に搭載されているセンサーからのデータを元に、ヘッドジェスチャー認識機能に
より、首を縦や横に振るだけで、「Xperia Ear」に搭載されているアシスタントに対し
て「はい/いいえ」の応答や、着信の応答/拒否、通知の読み上げキャンセル、次/前
のトラックのスキップを行えます
価格推定 ソニー不動産の「不動産価格推定エンジン」に、Neural Network
Librariesが使用されています。この技術を核として、ソニー不動産が持つ査定ノウハウ
やナレッジをベースとした独自のアルゴリズムに基づいて膨大な量のデータを解析し、
不動産売買における成約価格を統計的に推定する本ソリューションが実現されました。
本ソリューションは、「おうちダイレクト」や、「物件探索マップ」「自動査定」な
ど、ソニー不動産の様々なビジネスに活用されています。
既にソニーグループ内で多数の商品化実績。業務効率化にも積極活用
18
Neural Network Libraries
研究者・開発者向けオープンソース(Apache2.0 License)プログラミングライブラリ
設計・学習・推論(実行)ロジックをプログラミング(Python/C++)で柔軟記述
nnabla.org
C++で実装されたコンパクト、高速かつ移植性の高いコアと、
利便性に優れたPython APIからなるライブラリ
# 自動微分用の変数コンテナ
from nnabla import Variable
# ニューラルネットワークの関数ブロック
import nnabla.functions as F
# パラメタ付きの関数ブロック
import nnabla.parametric_functions as PF
19
Neural Network Librariesの特長1:洗練された文法構造
Convol
ution
MaxPo
oling
ReLU
Convol
ution
MaxPo
oling
ReLU
Affine ReLU Affine
例)手書き数字認識で典型的なモデル(LeNet)
def lenet(x):
'''Construct LeNet prediction model.'''
h = PF.convolution(x, 16, (5, 5), name='c1')
h = F.relu(F.max_pooling(h, (2, 2), inplace=True))
h = PF.convolution(h, 16, (5, 5), name='c2')
h = F.relu(F.max_pooling(h, (2, 2), inplace=True))
h = F.relu(PF.affine(h, 50, name='f3'))
h = PF.affine(h, 50, name='f4')
return h
h = PF.convolution(x, outmap, filter_size, name='conv1')
パラメタ付き関数を簡単に記述
x h
conv1/W
conv1/b
conv
# パラメタ付き関数の定義
self.conv1 = Convolution(inmap, outmap, filter_size)
...
# パラメタ付き関数の利用
h = self.conv1(x)
このような事前の定義はいらない(Linear code!)
書きやすく読みやすい、デバッグ、メンテナンス性に優れた文法
わずか6行
20
Neural Network Librariesの特長1:洗練された文法構造
• CPU→GPUへの切り替え
以下のコードをネットワーク定義前に追加するのみでCUDA/cuDNNが利用できる
• Static Network (Define and run)→Dynamic Network (Define by run)の切り替え
• Multi GPUを用いた学習
わずかなコードの追加(ネットワークのコードは修正不要)で各種機能を利用可能
from nnabla.ext_utils import get_extension_context
nn.set_default_context(get_extension_context('cudnn'))
# 動的NNモードに変更
nn.set_auto_forward(True)
for i in range(max_iter):
…
loss.backward(clear_buffer=True)
# デバイス間でパラメタを交換
grads = [x.grad for x in nn.get_parameters().values()]
comm.allreduce(grads, division=False, inplace=False)
solver.update()
学習コード中の変更は2行
※CPU/GPU間の転送は必要な時に自動で行われる
(意図的に行わせることも可能)
21
Neural Network Librariesの特長2:プラグインでデバイス追加
宣言一つで、APIやコア部分はそのままに、特定デバイス用のコードを利用
High-level API
•Python API
•C++ API
•CLI
•Utils
CPU Implements
•Array
•Function
•Solver
•Communicator
Core
•Variable
•CoputationGraph
•…
nnabla
nnabla-ext-cuda
CUDA Implements
•Array
•Function
•Solver
•Communicator
from nnabla.ext_utils import get_extension_context
nn.set_default_context(get_extension_context('cudnn'))
宣言一つで、
APIやコア部分はそのままに、
特定デバイス用のコードを利用○○ Implements
•Array
•Function
•Solver
•Communicator
nnabla-ext-cudaをフォークし
社内独自チップ等、
特定デバイス用実装を開発可
nnabla-ext-○○
プラグインに実装がない関数は
自動的にCPUにフォールバック
22
Neural Network Librariesの特長3:学習結果はC++で組み込み可
Framework
A
Exchange
format
Runtime
software B
サーバー学習 組み込み推論
“レイヤー zzz がありません”NNLのC++ APIはコアが同じなので大丈夫!
C++ core
Python API C++ API
学習済
モデル
推論エンジンへの組み込みでよくある躓きポイント
学習時に使ったコアをそのままデバイス上で利用するため、実装がスムーズ
23
Neural Network Console
商用クオリティのDeep Learning応用技術(画像認識機等)開発のための統合開発環境
コーディングレスで効率の良いDeep Learningの研究開発を実現
クラウド版(CPU 10時間まで無償)Windows版(無償)
dl.sony.com
インストールするだけ、もしくはサインアップするだけで本格的なDeep Learning開発が可能
成果物はオープンソースのNeural Network Librariesを用いて製品、サービス等への組み込みが可能
24
Neural Network Console
Demonstration
25
Neural Network Console
Demonstration
26
Neural Network Libraries/Console開発コンセプト
• 大幅に不足していると言われるDeep Learningの研究開発者を育成する
• これからDeep Learningを始ようとするユーザにとっての敷居をとことん下げる
• 使っている間に、いつのまにかDeep Learningのエキスパートへ
• Deep Learningの研究開発者に、目的達成のためのハイウェイを提供する
• 最先端研究・商用レベルの技術開発に必要なツールを提供する
• Deep Learningの研究開発における面倒を機能で徹底的に解決し、高い開発効率を実現する
初心者にとってもエキスパートへのショートカットとして機能する
27
人材育成
Deep Learningは「習うより慣れろ」。直観的理解が活用促進につながる
昨年度時点でグループ内1000人以上の社員がNeural Network Libraries/Consoleを活用。
その後も急速にユーザが増えつつある。 ※社内Deep Learning講習会の様子
2018/9/18より、企業向けにもハンズオンセミナーの提供開始(スターターパック)
28
Neural Network Libraries/Console
優れたDeep Learningの開発環境を提供し、需要の急拡大するAI技術の普及・発展に貢献
Neural Network Libraries
https://nnabla.org/
Neural Network Console
https://dl.sony.com/
import nnabla as nn
import nnabla.functions as F
import nnabla.parametric_functions as PF
x = nn.Variable(100)
t = nn.Variable(10)
h = F.tanh(PF.affine(x, 300, name='affine1'))
y = PF.affine(h, 10, name='affine2')
loss = F.mean(F.softmax_cross_entropy(y, t))
実現
• Deep Learning技術者の迅速な育成
• 効率的なDeep Learning応用技術の研究開発~実用化
様々な特長を兼ね備えた最新世代のDeep Learningフレームワーク 商用クオリティのDeep Learning応用技術開発を実現する統合開発環境
29
Neural Network Console 機能紹介
30
Neural Network Console 機能・特長紹介
• 簡単セットアップ
• ドラッグ&ドロップによるニューラルネットワークの設計
• グラフとブロックが融合した直観的なネットワーク編集
• デバッグを容易にするリアルタイムなエラーの表示
• パラメータ数、演算量等の自動計算
• ボトルネックの分析を容易にするレイヤー毎の統計値表示
• ワンクリックで学習・評価を実行
• 試行錯誤の履歴管理機能
• 「Open Learning Curve for Comparison」でLearning Curveを重ねて表示
• 「Open in EDIT Tab」で好きなタイミングに戻って再編集
• 係数の可視化
• 構造自動探索
• 様々なタスク、データ、ネットワークに対応
31
セットアップ:クラウド版
新規アカウントを作成し、ログインするだけで利用の準備が完了
1. アカウントを作成 2. 作成したアカウントでログイン
32
セットアップ:Windows版
1. zipファイルをダウンロード
2. 適当なフォルダに解凍
ダウンロードしたzipファイルを解凍するだけで基本的なセットアップは完了
日本語マニュアル Neural Network Consoleアプリ
※Neural Network Consoleは2バイト文字に対応していないため、漢字等の含まれないフォルダへの解凍が必要
※Visual Studio 2015の再頒布パッケージがインストールされていない場合はインストール
※NVIDIAのGPUを用いる場合、GPUドライバを最新のものにアップデート
33
ドラッグ&ドロップによる
ニューラルネットワークの設計
34
パラメータ数、演算量等の自動計算
各レイヤーの右に
ニューロン数が
グラフ表示される
(他の指標にも
切り替え可能)
演算量/メモリ量の
ボトルネックが
一目瞭然!
ネットワーク全体の
統計値も自動計算!
ネットワークコンパクト化作業の際のボトルネック発見などに威力を発揮
35
ワンクリックで学習を実行
学習曲線
(縦軸誤差、横軸学習世代)
学習進捗
(コアエンジンのログ出力)
学習進捗状況
Windows版Cloud版
36
ワンクリックで評価を実行
Accuracy=分類精度
Windows版Cloud版
37
試行錯誤の履歴管理機能
38
試行錯誤の履歴管理機能
現在選択中の学習結果を、比較対象として読み込む
学習履歴のネットワーク構造を、EDITタブに読み込み直す
⇒ 2つの学習結果のグラフを重ねて比較表示できる
⇒思いのままに様々なネットワークを試行錯誤し、
必要ならいつでも過去に戻ってやり直すことができる
39
係数の可視化
TRAININGタブのOverviewにて
係数を可視化したい
レイヤーをダブルクリック
40
構造自動探索機能
41
様々なタスク、データセットに対応
例)セグメンテーション 例)センサの波形認識
画像はもちろん、複数フレームの画像、行列、ベクトルで表現可能な様々なデータに対応
複数種類データの入出力、画像、音声、ベクトル等の混在も自在
42
様々なネットワークに対応
43
最新機能のご紹介
44
pptx, htmlレポート出力機能
学習の設定、学習・評価結果をPower Point ® 形式のレポートとして出力できる機能
※PowerPoint®は米国Microsoft Corporationの米国およびその他の国における登録商標です。
LeNet
dataset-require=MNIST
pptxレポート出力機能を用いて出力した実際のレポート
Dataset : Training
• Number of data : 60,000
– Variable : x (image)
• Type : Image
• Shape : 1, 28, 28
– Variable : y (label)
• Type : Scalar
pptxレポート出力機能を用いて出力した実際のレポート
Dataset : Examples of variable x in "Training"
pptxレポート出力機能を用いて出力した実際のレポート
Dataset : Validation
• Number of data : 10,000
– Variable : x (image)
• Type : Image
• Shape : 1, 28, 28
– Variable : y (label)
• Type : Scalar
pptxレポート出力機能を用いて出力した実際のレポート
Dataset : Examples of variable x in "Validation"
pptxレポート出力機能を用いて出力した実際のレポート
Network Architecture : Main
Type Value
Output 26,929
CostParameter 70,054
CostAdd 21,920
CostMultiply 3,144
CostMultiplyAdd 700,904
CostDivision 10
CostExp 110
CostIf 13,124
pptxレポート出力機能を用いて出力した実際のレポート
Training Procedure : Optimizer
• Optimize network "Main" using "Training" dataset.
– Batch size : 64
– Solver : Adam
• Learning rate(Alpha) : 0.001
• Beta1 : 0.9
• Beta2 : 0.999
• Epsilon : 1e-08
– Weight decay is not applied.
pptxレポート出力機能を用いて出力した実際のレポート
Experimental Result : Learning Curve
pptxレポート出力機能を用いて出力した実際のレポート
Experimental Result : Evaluation
• Evaluate network "MainRuntime" using "Validation" dataset.
• Variable : y
– Accuracy : 0.9931
– Avg.Precision : 0.9930
– Avg.Recall : 0.9929
– Avg.F-Measures : 0.9929
pptxレポート出力機能を用いて出力した実際のレポート
References
• Sony Corporation. Neural Network Console : Not just train and evaluate. You can design neural
networks with fast and intuitive GUI. https://dl.sony.com/
• Sony Corporation. Neural Network Libraries : An open source software to make research,
development and implementation of neural network more efficient. https://nnabla.org/
• BatchNormalization - Ioffe and Szegedy, Batch Normalization: Accelerating Deep Network
Training by Reducing Internal Covariate Shift. https://arxiv.org/abs/1502.03167
• Convolution - Chen et al., DeepLab: Semantic Image Segmentation with Deep Convolutional
Nets, Atrous Convolution, and Fully Connected CRFs. https://arxiv.org/abs/1606.00915, Yu et al.,
Multi-Scale Context Aggregation by Dilated Convolutions. https://arxiv.org/abs/1511.07122
• ELU - Clevart et al., Fast and Accurate Deep Network Learning by Exponential Linear Units (ELUs).
http://arxiv.org/abs/1511.07289
• Adam - Matthew D. Zeiler. ADADELTA: An Adaptive Learning Rate Method.
https://arxiv.org/abs/1212.5701
pptxレポート出力機能を用いて出力した実際のレポート
55
マルチGPU環境の提供(Cloud版)
• ニューラルネットワークの学習には膨大な演算が必要
• 必要な演算量は主に扱うデータの量とニューラルネットワークの
構造に依存
• GPU、マルチGPUを用いると、学習完了までの時間を
大幅に短縮できる
• ネットワークにもよるが、10倍~数百倍高速に学習できる
• 同じ開発期間でより多くの試行錯誤を行うことが可能に
• 環境のセットアップ、メンテナンス作業不要で豊富な
GPUリソースを利用可能
• 開発者はDeep Learningの開発作業に集中できる
最先端研究者と同等の環境(1ジョブあたり8GPU×無制限の並列利用)をGUI環境から利用可能
※計算リソース利用料は
学習・評価実行中のみの従量課金
56
利用方法 実行環境 言語 GPUの利用 メリット デメリット
1. NNabla Python
CLI
Neural Network
Libraries
Python
(CLI)
Yes 最も簡単 低速
2. NNabla Python
API
Python Yes 比較的容易
3. NNabla C++
Runtime
C++ Yes 推論時にPython不要
4. NNabla C
Runtime
C No 非常にコンパクトに組
み込み可能
環境に合わせた最
適化が必要
5. ONNX 対応ソフ
トウェア、ハード
ウェア
各社の提供する
ONNX対応Runtime
環境によ
り様々
環境により
様々
環境により様々 現状は互換性の問
題が生じることも
作成したモデルを利用する方法は5通り
※ NNabla C++ Runtimeからの実行方法 https://github.com/sony/nnabla/tree/master/examples/cpp/mnist_runtime
※ NNabla C Runtimeからの実行方法 https://github.com/sony/nnabla-c-runtime
※ ONNXへのコンバート方法 https://nnabla.readthedocs.io/en/latest/python/file_format_converter/file_format_converter.html
目的に合わせて最適な利用方法を選択
57
IoTでのDeep Learning活用を加速するSPRESENSE
https://www.sony.co.jp/SonyInfo/News/Press/201805/18-044/
https://developer.sony.com/develop/spresense/
・IoT向けスマートセンシングプロセッサ搭載ボード
・乾電池で動作する低消費電力
・ソフトウェアはArduino IDE、Eclipse IDEにて開発可能
CPU ARM® Cortex®-M4F x 6
cores
Maximum Clock
Frequency
156 MHz
SRAM 1.5 MB
Flash Memory 8 MB
NNabla C Runtimeを用いることで、例えば学習したニューラルネットワークを
SPRESENSE上で動作させることができる
58
NNCはDeep Learningを用いた開発における様々な課題を解決
課題 Neural Network Console
環境構築が大変 簡単セットアップ
入門の敷居が高い Python不要なGUIベース開発環境
処理に時間がかかる Neural Network Librariesによる高速処理
デバッグやフットプリントの
見積もりが大変
実装と同時に視覚的にエラー箇所やフット
プリントを確認
試行錯誤が大変 GUIで試行錯誤に集中。構造自動探索機能も
簡単に使える環境は制約が大きい 商用クオリティーかつ多様な開発に対応
製品・サービスへの実装が大変
Python, C/C++, ONNX等を通じた実行に対
応
情報共有が大変 html等の出力機能で簡単に情報共有
59
お客様応用事例
60
お客様応用事例: 群馬県蚕糸技術センター様・群馬産業技術センター様
産卵台紙※1上の複数の蚕種の中から不良卵を一度に分類できるエンジンを開発し、
蚕品種育成環境へフィードバックし孵化率の向上を目指す
蚕種製造業者導入先
蚕種の中から不良卵を分類
複数の蚕種の中から一度に不良卵を抽出・分類するエンジンを
開発。蚕品種育成環境へフィードバックすることで孵化率の向
上に寄与。
概要
蚕種の孵化率向上目的
不良卵の分類モデル
データ
画像(産卵台紙※1上の蚕種)
Deep Learning エンジン サービスイメージ
入力
※1 産卵台紙:カイコに卵を産みつけさせる厚手の紙
※2 催青死卵: 「催青」とは、蚕種を適切に管理された環境に置き孵化させることを意味し、「催青死卵」は催青中に死んだ蚕種を指す。
「蚕種(カイコの卵)の不良卵分類(一般財団法人大日本蚕糸会貞明皇后助成金事業)」
蚕種製造業者
不良卵の分類エンジン
孵化率向上↑
蚕品種育成環境へフィードバック
蚕種
■不受精卵: 49
■普通死卵: 14
■催青死卵: 1
カテゴリー(不良卵の種類)
数値(位置座標)
出力
不受精卵
(10,13),(12,15)
・・・
拡大図
普通死卵
(8,9),(110,11)
・・・
催青死卵
(13,5),(15,7)
61
お客様応用事例:三恵技研工業株式会社様・群馬産業技術センター様
-ロボットアームへの応用
画像認識による位置座標検出と分類を組み合わせることでロボットビジョンを構築し、ピッキング
作業などを自動化するロボットアームへの応用をご検討。
製造業 など導入先 画像認識によるロボットビジョンの実現
画像をインプットに対象物の認識・分類と位置座標の検出を組
み合わせることで、ロボットビジョンを実現。
概要
ピッキング作業などの自動化目的
画像認識モデル
データ
数値(位置座標)
カテゴリ(対象物の分類)
画像(生産ラインなど)
Deep Learning エンジン サービスイメージ
入力 出力
(10,30), (50,90)
カード(スペード,A)
▲位置座標を元に対象物
をピックアップ
▲対象物の分類ごとに
仕分け
62
まとめ
Deep Learningは圧倒的に高い性能を実現するだけではなく、簡単で汎用。
既にソフトウェア環境は整いつつあり、今後急速な活用・普及拡大が予想される
Deep Learningの開発はデータトリブンなEnd-to-end学習。
高い性能を実現するためには膨大なデータと高速な計算環境が求められる
ソニーではNeural Network Libraries/Consoleを社内に展開することで、
効率的なDeep Learning人材の育成と応用技術の開発、実用化を実現してきた
Deep Learningの本質の理解のためには「まず使ってみること」が重要
Deep Learningを積極活用し、より豊かな社会の実現を
63
参考資料 (1/2)
Neural Network Console
https://dl.sony.com/ja/
Neural Network Consoleスターターパック(企業向け研修プログラムとテクニカルサポート)
https://dl.sony.com/ja/business/
Neural Network Libraries
https://nnabla.org/ja/
Twitter(Neural Network Libraries / Consoleに関する最新情報など)
@NNC_NNL_jpn
YouTube(デモ動画など)
https://www.youtube.com/channel/UCRTV5p4JsXV3YTdYpTJECRA
64
参考資料 (2/2)
CQ出版社より発売のインターフェイス誌 2019年1月号の特集、
「小型リアルタイム組み込み人工知能」第一部にて、Neural Network
Libraries / Consoleを使った認識機の学習から、SPRESENSEほか小型マ
イコンで動作させるまでの流れが解説されています。
組み込み用途での利用を検討されている方にお勧めです。
リックテレコム社より発売の「ソニー開発のNeural Network Console入
門 --数式なし、コーディングなしのディープラーニング」が改訂され、
クラウド対応版になりました。
Neural Network Consoleを用いた異常検知、文章分類の方法についても
紹介されています。
SONYはソニー株式会社の登録商標または商標です。
各ソニー製品の商品名・サービス名はソニー株式会社またはグループ各社の登録商標または商標です。その他の製品および会社名は、各社の商号、登録商標または商標です。

More Related Content

What's hot

20190316_Let's try low power-consumption ai with sony's spresense hands-on
20190316_Let's try low power-consumption ai with sony's spresense hands-on20190316_Let's try low power-consumption ai with sony's spresense hands-on
20190316_Let's try low power-consumption ai with sony's spresense hands-onSony Network Communications Inc.
 
DeNAにおける先端AI技術活用のチャレンジ
DeNAにおける先端AI技術活用のチャレンジDeNAにおける先端AI技術活用のチャレンジ
DeNAにおける先端AI技術活用のチャレンジYusuke Uchida
 
ゲーム体験を支える強化学習の実応用について
ゲーム体験を支える強化学習の実応用についてゲーム体験を支える強化学習の実応用について
ゲーム体験を支える強化学習の実応用についてJun Okumura
 
非技術者でもわかる(?)コンピュータビジョン紹介資料
非技術者でもわかる(?)コンピュータビジョン紹介資料非技術者でもわかる(?)コンピュータビジョン紹介資料
非技術者でもわかる(?)コンピュータビジョン紹介資料Takuya Minagawa
 
ディープラーニングの最新動向
ディープラーニングの最新動向ディープラーニングの最新動向
ディープラーニングの最新動向Preferred Networks
 
ICLR読み会 奥村純 20170617
ICLR読み会 奥村純 20170617ICLR読み会 奥村純 20170617
ICLR読み会 奥村純 20170617Jun Okumura
 
Software for Edge Heavy Computing @ INTEROP 2016 Tokyo
Software for Edge Heavy Computing @ INTEROP 2016 TokyoSoftware for Edge Heavy Computing @ INTEROP 2016 Tokyo
Software for Edge Heavy Computing @ INTEROP 2016 TokyoShohei Hido
 
Depth from Videos in the Wild: Unsupervised Monocular Depth Learning from Unk...
Depth from Videos in the Wild: Unsupervised Monocular Depth Learning from Unk...Depth from Videos in the Wild: Unsupervised Monocular Depth Learning from Unk...
Depth from Videos in the Wild: Unsupervised Monocular Depth Learning from Unk...Kazuyuki Miyazawa
 

What's hot (10)

2018/06/22 Neural Network Console Tutorial
2018/06/22 Neural Network Console Tutorial2018/06/22 Neural Network Console Tutorial
2018/06/22 Neural Network Console Tutorial
 
2018/6/26 deep learning Neural Network Console hands-on
2018/6/26 deep learning Neural Network Console hands-on2018/6/26 deep learning Neural Network Console hands-on
2018/6/26 deep learning Neural Network Console hands-on
 
20190316_Let's try low power-consumption ai with sony's spresense hands-on
20190316_Let's try low power-consumption ai with sony's spresense hands-on20190316_Let's try low power-consumption ai with sony's spresense hands-on
20190316_Let's try low power-consumption ai with sony's spresense hands-on
 
DeNAにおける先端AI技術活用のチャレンジ
DeNAにおける先端AI技術活用のチャレンジDeNAにおける先端AI技術活用のチャレンジ
DeNAにおける先端AI技術活用のチャレンジ
 
ゲーム体験を支える強化学習の実応用について
ゲーム体験を支える強化学習の実応用についてゲーム体験を支える強化学習の実応用について
ゲーム体験を支える強化学習の実応用について
 
非技術者でもわかる(?)コンピュータビジョン紹介資料
非技術者でもわかる(?)コンピュータビジョン紹介資料非技術者でもわかる(?)コンピュータビジョン紹介資料
非技術者でもわかる(?)コンピュータビジョン紹介資料
 
ディープラーニングの最新動向
ディープラーニングの最新動向ディープラーニングの最新動向
ディープラーニングの最新動向
 
ICLR読み会 奥村純 20170617
ICLR読み会 奥村純 20170617ICLR読み会 奥村純 20170617
ICLR読み会 奥村純 20170617
 
Software for Edge Heavy Computing @ INTEROP 2016 Tokyo
Software for Edge Heavy Computing @ INTEROP 2016 TokyoSoftware for Edge Heavy Computing @ INTEROP 2016 Tokyo
Software for Edge Heavy Computing @ INTEROP 2016 Tokyo
 
Depth from Videos in the Wild: Unsupervised Monocular Depth Learning from Unk...
Depth from Videos in the Wild: Unsupervised Monocular Depth Learning from Unk...Depth from Videos in the Wild: Unsupervised Monocular Depth Learning from Unk...
Depth from Videos in the Wild: Unsupervised Monocular Depth Learning from Unk...
 

Similar to 20190313_Introduction of ai development neural network console which became familiar

IoTに活用!センサの基礎セミナー
IoTに活用!センサの基礎セミナーIoTに活用!センサの基礎セミナー
IoTに活用!センサの基礎セミナーshimane-itoc
 
2020/05/18 Alibaba cloud AIソリューションセミナー
2020/05/18 Alibaba cloud  AIソリューションセミナー2020/05/18 Alibaba cloud  AIソリューションセミナー
2020/05/18 Alibaba cloud AIソリューションセミナー寛之 松浦
 
PKSHA Security Package for Credit
PKSHA Security Package for CreditPKSHA Security Package for Credit
PKSHA Security Package for CreditMasatoMinami2
 
コミュニケーションソフトウェアを創るということ
コミュニケーションソフトウェアを創るということコミュニケーションソフトウェアを創るということ
コミュニケーションソフトウェアを創るということKazuho Oku
 
Final present
Final presentFinal present
Final presentLoc Huynh
 
Device WebAPI 20160407
Device WebAPI 20160407Device WebAPI 20160407
Device WebAPI 20160407陽平 山口
 
『Mobageの大規模データマイニング活用と 意思決定』- #IBIS 2012 -ビジネスと機械学習の接点-
『Mobageの大規模データマイニング活用と 意思決定』- #IBIS 2012 -ビジネスと機械学習の接点- 『Mobageの大規模データマイニング活用と 意思決定』- #IBIS 2012 -ビジネスと機械学習の接点-
『Mobageの大規模データマイニング活用と 意思決定』- #IBIS 2012 -ビジネスと機械学習の接点- Koichi Hamada
 
gumi - 「HTML5×スマートフォン」時代のソーシャルゲーム戦略セミナー
gumi - 「HTML5×スマートフォン」時代のソーシャルゲーム戦略セミナーgumi - 「HTML5×スマートフォン」時代のソーシャルゲーム戦略セミナー
gumi - 「HTML5×スマートフォン」時代のソーシャルゲーム戦略セミナーKatsuaki Sato
 
エッジヘビーコンピューティングと機械学習
エッジヘビーコンピューティングと機械学習エッジヘビーコンピューティングと機械学習
エッジヘビーコンピューティングと機械学習Preferred Networks
 
DRIVE CHARTを支えるAI技術
DRIVE CHARTを支えるAI技術DRIVE CHARTを支えるAI技術
DRIVE CHARTを支えるAI技術Yusuke Uchida
 
スタートアップが始める機械学習はじめの一歩
スタートアップが始める機械学習はじめの一歩スタートアップが始める機械学習はじめの一歩
スタートアップが始める機械学習はじめの一歩Kimitaka Nakazawa
 
リアルタイムトレンド抽出飛び込み用
リアルタイムトレンド抽出飛び込み用リアルタイムトレンド抽出飛び込み用
リアルタイムトレンド抽出飛び込み用DMM.com
 
ドライブレコーダの動画を使った道路情報の自動差分抽出
ドライブレコーダの動画を使った道路情報の自動差分抽出ドライブレコーダの動画を使った道路情報の自動差分抽出
ドライブレコーダの動画を使った道路情報の自動差分抽出Tetsutaro Watanabe
 
基調講演「データのグループウェア化」
基調講演「データのグループウェア化」基調講演「データのグループウェア化」
基調講演「データのグループウェア化」Cybozucommunity
 
201203 smb Facebook Cloud
201203 smb Facebook Cloud201203 smb Facebook Cloud
201203 smb Facebook CloudYuichi Morito
 
これからのIT人材のためのワーク・シフト
これからのIT人材のためのワーク・シフトこれからのIT人材のためのワーク・シフト
これからのIT人材のためのワーク・シフトDaisuke Masubuchi
 
JP - ReAppi Sales deck
JP - ReAppi Sales deckJP - ReAppi Sales deck
JP - ReAppi Sales deck拓也 三浦
 
モバイルが モーションセンサーに 出会ったら
モバイルがモーションセンサーに出会ったらモバイルがモーションセンサーに出会ったら
モバイルが モーションセンサーに 出会ったらAkira Hatsune
 

Similar to 20190313_Introduction of ai development neural network console which became familiar (20)

IoTに活用!センサの基礎セミナー
IoTに活用!センサの基礎セミナーIoTに活用!センサの基礎セミナー
IoTに活用!センサの基礎セミナー
 
2020/05/18 Alibaba cloud AIソリューションセミナー
2020/05/18 Alibaba cloud  AIソリューションセミナー2020/05/18 Alibaba cloud  AIソリューションセミナー
2020/05/18 Alibaba cloud AIソリューションセミナー
 
PKSHA Security Package for Credit
PKSHA Security Package for CreditPKSHA Security Package for Credit
PKSHA Security Package for Credit
 
コミュニケーションソフトウェアを創るということ
コミュニケーションソフトウェアを創るということコミュニケーションソフトウェアを創るということ
コミュニケーションソフトウェアを創るということ
 
MISO20200530
MISO20200530MISO20200530
MISO20200530
 
Final present
Final presentFinal present
Final present
 
Device WebAPI 20160407
Device WebAPI 20160407Device WebAPI 20160407
Device WebAPI 20160407
 
『Mobageの大規模データマイニング活用と 意思決定』- #IBIS 2012 -ビジネスと機械学習の接点-
『Mobageの大規模データマイニング活用と 意思決定』- #IBIS 2012 -ビジネスと機械学習の接点- 『Mobageの大規模データマイニング活用と 意思決定』- #IBIS 2012 -ビジネスと機械学習の接点-
『Mobageの大規模データマイニング活用と 意思決定』- #IBIS 2012 -ビジネスと機械学習の接点-
 
gumi - 「HTML5×スマートフォン」時代のソーシャルゲーム戦略セミナー
gumi - 「HTML5×スマートフォン」時代のソーシャルゲーム戦略セミナーgumi - 「HTML5×スマートフォン」時代のソーシャルゲーム戦略セミナー
gumi - 「HTML5×スマートフォン」時代のソーシャルゲーム戦略セミナー
 
エッジヘビーコンピューティングと機械学習
エッジヘビーコンピューティングと機械学習エッジヘビーコンピューティングと機械学習
エッジヘビーコンピューティングと機械学習
 
DRIVE CHARTを支えるAI技術
DRIVE CHARTを支えるAI技術DRIVE CHARTを支えるAI技術
DRIVE CHARTを支えるAI技術
 
スタートアップが始める機械学習はじめの一歩
スタートアップが始める機械学習はじめの一歩スタートアップが始める機械学習はじめの一歩
スタートアップが始める機械学習はじめの一歩
 
リアルタイムトレンド抽出飛び込み用
リアルタイムトレンド抽出飛び込み用リアルタイムトレンド抽出飛び込み用
リアルタイムトレンド抽出飛び込み用
 
ドライブレコーダの動画を使った道路情報の自動差分抽出
ドライブレコーダの動画を使った道路情報の自動差分抽出ドライブレコーダの動画を使った道路情報の自動差分抽出
ドライブレコーダの動画を使った道路情報の自動差分抽出
 
基調講演「データのグループウェア化」
基調講演「データのグループウェア化」基調講演「データのグループウェア化」
基調講演「データのグループウェア化」
 
自然言語処理紹介(就職編)
自然言語処理紹介(就職編)自然言語処理紹介(就職編)
自然言語処理紹介(就職編)
 
201203 smb Facebook Cloud
201203 smb Facebook Cloud201203 smb Facebook Cloud
201203 smb Facebook Cloud
 
これからのIT人材のためのワーク・シフト
これからのIT人材のためのワーク・シフトこれからのIT人材のためのワーク・シフト
これからのIT人材のためのワーク・シフト
 
JP - ReAppi Sales deck
JP - ReAppi Sales deckJP - ReAppi Sales deck
JP - ReAppi Sales deck
 
モバイルが モーションセンサーに 出会ったら
モバイルがモーションセンサーに出会ったらモバイルがモーションセンサーに出会ったら
モバイルが モーションセンサーに 出会ったら
 

Recently uploaded

20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directoryosamut
 
プレイマットのパターン生成支援ツールの評価
プレイマットのパターン生成支援ツールの評価プレイマットのパターン生成支援ツールの評価
プレイマットのパターン生成支援ツールの評価sugiuralab
 
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptxIoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptxAtomu Hidaka
 
PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000Shota Ito
 
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ       2024/04/12の勉強会で発表されたものです。新人研修のまとめ       2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。iPride Co., Ltd.
 
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。iPride Co., Ltd.
 
プレイマットのパターン生成支援ツール
プレイマットのパターン生成支援ツールプレイマットのパターン生成支援ツール
プレイマットのパターン生成支援ツールsugiuralab
 

Recently uploaded (7)

20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory
 
プレイマットのパターン生成支援ツールの評価
プレイマットのパターン生成支援ツールの評価プレイマットのパターン生成支援ツールの評価
プレイマットのパターン生成支援ツールの評価
 
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptxIoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
 
PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000
 
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ       2024/04/12の勉強会で発表されたものです。新人研修のまとめ       2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
 
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
 
プレイマットのパターン生成支援ツール
プレイマットのパターン生成支援ツールプレイマットのパターン生成支援ツール
プレイマットのパターン生成支援ツール
 

20190313_Introduction of ai development neural network console which became familiar

Editor's Notes

  1. http://jpx20150019.ifs.sony.co.jp:32768/