meetup app tokyo@2 での発表資料 CNTK. Published by 得上 竜一. 1 View, 0 Likes on Docs.com. #cntk #Cognitive...

1. 2016.12.16

2. $ docker run -it microsoft/cntk:1.7.2-cpu-only
# cd /cntk/Examples/Image/MNIST/Data
# wget https://raw.githubusercontent.com/Microsoft/CNTK/master/Examples/Image/DataSets/MNIST/install_mnist.py
# wget https://raw.githubusercontent.com/Microsoft/CNTK/master/Examples/Image/DataSets/MNIST/mnist_utils.py
# python install_mnist.py
# cd ../Configcntk configFile=01_OneHidden.cntk
# tail -f ../Output/01_OneHidden_bs_out

3. about me
2002年4⽉ 東京⼯業⼤学⼯学部附属⼯業⾼等学校卒業後、東京電⼒株式会社に⼊社。
2005年7⽉ 家電激安店にて、家電製品・パソコンの⾃動価格収集・分析・⾃動価格算出
システムの開発を担当。
2005年10⽉ ⽶国法⼈MiningBrownie,Inc.を設⽴し代表取締役に就任。
2006年10⽉ ⽇本法⼈株式会社設⽴し代表取締役に就任。
ウェブページ解析装置およびウェブページ解析用プログラム
得上 ⻯⼀ - Ryuichi Tokugami
twitter @tottokug (Rinna conversation service)
Microsoft MVP for Data Platform

4. CNTKThe Microsoft Cognitive Toolkit

5. Compatibility
最も表現⼒豊かで使いやすいアーキテクチャを提
供します。 C ++やPythonのようなあなたが知って
いる⾔語やネットワークを使って作業すれば、組
み込みのトレーニングアルゴリズムをカスタマイ
ズしたり、独⾃のトレーニングアルゴリズムをカ
スタマイズすることができます。
Speed & Scalability
精度を維持しながら、CPUからGPU、複数のマシ
ンまで、さまざまな環境で効率的にスケーリング
することにより、他の利⽤可能なツールキットよ
りも深い学習アルゴリズムをより迅速にトレーニ
ングおよび評価します。
Commercial-Grade Quality
洗練されたアルゴリズムとプロダク
ションリーダーで構築され、⼤量の
データセットで確実に動作します。
Skype、Cortana、Bing、Xbox、およ
び業界をリードするデータ科学者は
すでに、使⽤して商⽤AIを開発して
います。

6. Reader
Learner
NetworkBuilder
3つのコンポーネント

7. 2つの
model version
v1 , v2
model-creation model-v1 model-v2
CNTK.EXE (BrainScript) YES NO
CNTK-library (Python, C++) deprecated YES
model-evaluation model-v1 model-v2
CNTK.EXE (BrainScript) YES NO
EvalDLL (C++, C#, ASP and Azure) YES NO
CNTK-library (Python, C++) YES YES

8. CNTK workflowTrain
TopLevel configuration
NetworkBuilder configuration
Learner configuration
Evaluation
use Model
Reader configuration

9. Top Level configuration
traceGPUMemoryAllocations
forceDeterministicAlgorithms
hyperCompressMemory
stderr
deviceId
excludedDevices
precision
numCPUThreads
traceLevel
rootDir = "..”
configDir = "$rootDir$/Config”
dataDir = "$rootDir$/Data”
outputDir = "$rootDir$/Output”
modelDir = "$outputDir$/Models”
deviceId = -1
command = Simple_Demo_Train:Simple_Demo_Test
precision = "float”
traceLevel = 1
modelPath = "$modelDir$/simple.dnn"

10. Reader configuration
CNTK Text Format Reader
HTKMLF Reader
LM sequence reader
LU sequence reader
UCI Fast Reader (deprecated)
reader = [
readerType = "CNTKTextFormatReader”
file = "$DataDir$/Train-28x28_text.txt”
input = [
features = [
dim = 784
format = "dense”
]
labels = [
dim = 10
format = "dense”
]]]

11. SimpleNetworkBuilder = [
# 2 inputs,
# 2 hidden layers with 50 element
nodes each,
# 2 outputs
layerSizes = 2:50*2:2
trainingCriterion =
"CrossEntropyWithSoftmax”
evalCriterion = "ErrorPrediction”
layerTypes = "Sigmoid”
applyMeanVarNorm = true
]
NetworkBuilder configuration
Simple NetworkBuilderBrainScript NetworkBuilder
BrainScriptNetworkBuilder = {
# macros are just defined inline
SigmoidNetwork (x, W, b) = Sigmoid (Plus (Times
(W, x), b)) # or: Sigmoid (W * x + b)
# network description
feat = Input {13}
...
ce = CrossEntropyWithSoftmax (labels, z,
tag="criterion")
}

12. Training process control
Learning rate and momentum control
Gradient control
Information display
Gradient Check
Learner configuration

13. CNTK workflowTrain
TopLevel configuration
NetworkBuilder configuration
Learner configuration
Evaluation
use Model
Reader configuration

14. DEMONSTRATION
CNTK