[ICML2019読み会in京都] (LT)Bayesian Nonparametric Federated Learning of Neural Networks
•
3 likes•2,864 views
ICML2019読み会in京都でのLT資料です。 IBM社によるFederated-Learningの論文紹介をします。
![ICML’2019 読み会in京都
[LT発表]
Bayesian Nonparametric Federated Learning of Neural Networks
2019/08/04 Yamato OKAMOTO](https://image.slidesharecdn.com/roadrollerbayesiannonparametricfederatedlearningofneuralnetworks-190804070640/85/ICML2019-in-LT-Bayesian-Nonparametric-Federated-Learning-of-Neural-Networks-1-320.jpg)
Recommended
Recommended
More Related Content
Similar to [ICML2019読み会in京都] (LT)Bayesian Nonparametric Federated Learning of Neural Networks
Similar to [ICML2019読み会in京都] (LT)Bayesian Nonparametric Federated Learning of Neural Networks (20)
More from Yamato OKAMOTO
More from Yamato OKAMOTO (20)
[ICML2019読み会in京都] (LT)Bayesian Nonparametric Federated Learning of Neural Networks
- 1. ICML’2019 読み会in京都 [LT発表] Bayesian Nonparametric Federated Learning of Neural Networks 2019/08/04 Yamato OKAMOTO
- 2. What is Federated Learning?? 機械学習を非集中環境で実行する技術（Google社が2017年に提唱） 1. クラウドに１つだけ親モデルを保有して、クライアント端末に配布 2. クライアントは端末上で自らのデータによる機械学習をする 3. クライアントは算出したモデル更新パラメタ（ΔW）をクラウドに送信 4. クラウドはΔWを集約してから、データ量に応じた重みを付けてモデル更新 引用元: https://proandroiddev.com/federated-learning-e79e054c33ef ④親モデルを更新 ①配布 ② 機械学習を 端末で実行 ③ΔWを集約 ※kはクライアント番号、nkはクライアントkのデータ数、Wはモデルパラメータ
- 3. ICMLで発表された論文 Agnostic Federated Learning (Google) クライアントの保有するデータ量やデータ分布に偏りがあると、 学習がうまくいかない場合があると指摘。そのような条件下で、 全クライアントに対してモデル性能を確保する学習方法を提案。 Bayesian Nonparametric Federated Learning of Neural Networks (IBM) Federated-Learningにおけるモデル更新パラメタの集約＆更新を、 ノンパラメトリックな手法で”もっとええ感じ”にする手法。 Analyzing Federated Learning through an Adversarial Lens (IBM) 悪意あるパラメータ共有によってモデル汚染できることを証明した研究。 現存のアルゴリズムでは完全に汚染を防ぐことは難しいと問題提起した。 さっき 紹介した 論文 これから 紹介する 論文
- 4. 論文情報 IBM社のWatson AIチームによる論文 （最近どうやらIBM社がFederated Learningに注目している様子） 引用元: https://icml.cc/media/Slides/icml/2019/halla(12-14-00)-12-15-15-4958-bayesian_nonpar.pdf
- 7. Bayesian Nonparametric Federated Learning Hidden LayerにおけるNeuronの数を事前に固定しない 独自の特徴量を抽出していそうなNeuronは残して、 他Neuronと類似する特徴量を抽出するNeuronはマージする Client1 Client2 Client3 引用元: http://proceedings.mlr.press/v97/yurochkin19a/yurochkin19a.pdf
- 8. Bayesian Nonparametric Federated Learning Hidden LayerにおけるNeuronの数を事前に固定しない 独自の特徴量を抽出していそうなNeuronは残して、 他Neuronと類似する特徴量を抽出するNeuronはマージする マージするかどうかの判断にはHungarian algorithmを利用 引用元: http://proceedings.mlr.press/v97/yurochkin19a/yurochkin19a.pdf
- 9. 実験結果 全結合層のNeural Networkで、MNISTとCifer10で実験 モデルサイズ 学習回数学習回数 Accuracy 『(青)通常のFederated Learning』を『(赤)提案手法』が上回った 100neuronから スタートして 数が減っていく 引用元: http://proceedings.mlr.press/v97/yurochkin19a/yurochkin19a.pdf