More Related Content
More from Takuya Tachibana (20)
Amazon ML(あるいは他社のサービス)の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いてほしいですね
- 8. Amazon ML 4つの概念
About Amazon Machine Learning
ML Models
Datasourcesのデータを使って、
機械学習のモデルを作成する。
Datasources
機械学習に利用するデータを用意する。
S3、RedShift、(RDS)に入っている必
要がある。このデータは学習にも検証に
も使われる。
Evaluations
Datasourcesのデータを利用して、
モデルの精度を検証する。
Prediction
作成されたML Modelを利用して
予測を行う。
バッチとAPIでのリアルタイムの2種
類が行える。
Datasource作成:ただのデータのままではなくて、機械学習で扱える形で保存する。
ML Modelの作成:Datasourceのデータの特徴を見つけ出し、利用できる形にする。
Evalution: ML Modelの精度をテストデータを用いて検証する。
Prediction: ML Modelを使って予測を行う。
Amazon ML 利用の流れ
- 10. Datasource 4つのColumn
TypeAbout Amazon Machine Learning
Categorical
数値や文字列のように、不特
定多数の値ではなく、
特定多数(少数)の値が入って
くる。型は文字列でも数値で
も可。
Text
文字列のデータ
予測の対象(Target)には使えな
い。
Binary
2種類のみ許される。
(Yes or No)
Numeric
数値型のデータ
- 11. ML model
typeAmazon Machine Learningでは
3種類の予測モデルを作成出来る。
1. Regression(Numeric)
2. Multiclass
Classification(Categorical)
3. Binaryclass Classificatoion (Binary)
DatasourceのTargetのTypeによって自動
で変わる。
ML Modelの作成
About Amazon Machine Learning
- 12. ML Model
About Amazon Machine LearningRegression
数値型の予測
TargetがNumericの時に作られるモデル。
ビールの売上予測
売上
湿度
Aug 9 -
2015
Aug 30 -
2015
TO DONE
- 18. Amazon ML 4つの概念
About Amazon Machine Learning
ML Models
Datasourcesのデータを使って、
機械学習のモデルを作成する。
Datasources
機械学習に利用するデータを用意する。
S3、RedShift、(RDS)に入っている必
要がある。このデータは学習にも検証に
も使われる。
Evaluations
Datasourcesのデータを利用して、
モデルの精度を検証する。
Prediction
作成されたML Modelを利用して
予測を行う。
バッチとAPIでのリアルタイムの2種
類が行える。
Datasource作成:ただのデータのままではなくて、機械学習で扱える形で保存する。
ML Modelの作成:Datasourceのデータの特徴を見つけ出し、利用できる形にする。
Evalution: ML Modelの精度をテストデータを用いて検証する。
Prediction: ML Modelを使って予測を行う。
Amazon ML 利用の流れ
- 20. Maximum number of data
passes
Regularization [type |
ammount ]
Recipe
チューニング方法
チューニングの方法
About Amazon Machine Learning - tuning
Amazon ML でのチューニング
- 30. recipe
Recipeのフォーマット
Amazon Machine Learning
{ "groups": {
"NUMERIC_VARS_QB_100": "group('RecordID')",
"NUMERIC_VARS_QB_20": "group('CostBeforeTax',
'UsageQuantity','TotalCost','BlendedRate','TaxAmount')",
"NUMERIC_VARS_QB_10": "group('RateId')" },
"assignments": {},
"outputs": [ "ALL_CATEGORICAL",
"quantile_bin(NUMERIC_VARS_QB_100,100)",
"quantile_bin(NUMERIC_VARS_QB_20,20)",
"quantile_bin(NUMERIC_VARS_QB_10,10)",
"ALL_TEXT”
]
}
- 31. Amazon ML 4つの概念
About Amazon Machine Learning
ML Models
Datasourcesのデータを使って、
機械学習のモデルを作成する。
Datasources
機械学習に利用するデータを用意する。
S3、RedShift、(RDS)に入っている必
要がある。このデータは学習にも検証に
も使われる。
Evaluations
Datasourcesのデータを利用して、
モデルの精度を検証する。
Prediction
作成されたML Modelを利用して
予測を行う。
バッチとAPIでのリアルタイムの2種
類が行える。
Datasource作成:ただのデータのままではなくて、機械学習で扱える形で保存する。
ML Modelの作成:Datasourceのデータの特徴を見つけ出し、利用できる形にする。
Evalution: ML Modelの精度をテストデータを用いて検証する。
Prediction: ML Modelを使って予測を行う。
Amazon ML 利用の流れ
Editor's Notes
- 機械学習はなんとなーくわかってて、Amazon ML(あるいは他社のサービス)の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いて欲しいですね
- 機械学習はなんとなーくわかってて、Amazon ML(あるいは他社のサービス)の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いて欲しいですね
ほら、やったことない人ばっかりだ。
ターゲット明確にしたけど、やっぱりやったことない人だらけ
それでいいんですよ。それが普通です
- メールの振り分けとかね
- 使いはじめる前に
本当に満足行く精度が一発で出ることなんてほとんど無い。
使い物にするためには、チューニングが必要。
- チューニングは3種類
選ぶだけで精度が出るかもしれないチューニング、
最後にお金で解決するチューニング。
努力で解決するチューニング
- もし、検証の段階ではいい感じなのに、実運用に乗せてみたらうまくいかないなと思ったら、
レギュラリゼーションを試してみる。
おそらくデモデータで試しているうちは使う必要無い。
- // Orthogonal Sparse Bigram
- 使いはじめる前に
本当に満足行く精度が一発で出ることなんてほとんど無い。
使い物にするためには、チューニングが必要。