2018年全環研東海近畿北陸支部共同調査越境大気汚染情報交換会資料at福井

1. 大気環境研究における
機械学習の活用について
名古屋市環境科学調査センター
久恒 邦裕
全環研協議会
東海・近畿・北陸支部共同調査研究（越境/広域大気汚染）
情報交換会(2018/10/25~26 ) 資料
Ver. 3

2. 自己紹介
・学生時代
専攻：物理化学 （溶液中のイオンの安定性の評価、溶媒和の構造解析）
・民間メーカー勤務（6年）
R&Dセンターで、塗料（建築材料・電子材料）の研究開発。
混ぜて、塗って、剥がして・・・・の日々。
（クレーマーに夜中まで軟禁されたり、楽しい経験有り）
・名古屋市環境科学調査センター勤務（2009年～）
PM2.5のイオン成分・金属成分の分析
酸性雨調査（以前に、イオン分析）
有害大気モニタリング（以前に、アルデヒド分析）
環境省エコ調査（大気系のLC/MS/MS分析）
と、いうわけで・・・・

3. おことわり
統計学は完全独学なので
難しいことは自身が発展途上中です。
間違いを見つけた方は、優しく指摘してください。
☆というわけで、二次配布はご遠慮ください。 誰もこんな資料
配らねーよ

4. 参考文献 （今日、寝ちゃっても、これさえ読んどけば
大丈夫）
• 「機械学習入門」 大関真之著
オーム社
機械学習について、その概念をかなり分かりやすく解説しています。まずはこれを読む
ことで、大まかな考え方の流れをつかめます。数式を使わない解説書として、まずはお
薦め。マジで面白い。
• ゼロから作るDeep Learning 斎藤 康毅著
オライリージャパン
題名通り、自分で機械学習のプログラムを０から作るための本。Pythonでのプログラ
ムだが、なにがどう動いているかを理解するためには、有用っぽい。というか、今後機械
学習をやるなら、Phthonは不可避。
• Rによる機械学習 Brett Lantz著 長尾高弘訳
翔泳社
Rを使った機械学習の手法を、具体的な例で様々に紹介している。数式眺めるのは苦
手だが、とにかく、まずは手を動かしてイロイロな手法を体験したい人には、お薦め。手
書き文字の自動認識、とかも体験できます。

5. いま、人工知能（AI)が熱い！
・人工知能（AI)がどうしたこうした、と
いうニュースがよく耳に入ってくる昨今。
〇チェス、将棋で人間に勝った。
〇自動車の運転をする。
〇話しかけると答えてくれる。
（エアコン消したり、キッチンペーパー注文したり）
〇人間の仕事が奪われる。
〇人類と対立して、人類を滅ぼす（予定）。

6. 人工知能の歴史（かなりざっくり）
1960年前後・・・・・第1次ブーム
1990年前後・・・・・第2次ブーム
そしていま、第3次ブームが勃発！！

7. そんな、人工知能の世界へ
ご招待・・・
なんて・・・・・・・

8. 本日の流れ
• 人工知能の予備知識
• ニューラルネットワークの概念
• 実際の例を基に

9. 言葉の説明
人工知能（AI)
機械学習
ニューラル
ネットワーク
ディープ
ラーニング
決定木
クラスター
分析
SVM
回帰分析
ナイーブ
ベイズ

10. 機械学習のできること
機械学習とは
＜機械が、自動的に、学習＞
＜データからパターンを見つけて
その法則を元に、分類や予測などを行う。
コンピュータがね！＞
分類 or 予測

11. 機械学習の実績
・・・・・・これは、枚挙に暇がないので、Webで
調べてみてください。
〇購買履歴から、興味ありそうなWeb広告を表示
〇血液検査や画像診断の結果から、病名を判断
〇クレジットカードの利用パターンから、不正使用を判定
〇膨大な写真の中から、自分が写ったものを抽出

12. 大気環境への機械学習の応用例
• 荒木, et.al., 大気環境学会年会, 2017
土地利用情報や、道路長、排出データや気象データから機械学習を用いて、NO2濃度を予
想。
• D.J.Lary, et.al., Environmental Health Insights, 41-52, 2015
PM2.5の濃度をエアロゾルの光学的厚さと気象データのセットから推定。その結果を疫学
的な調査と照らし合わせて、PM2.5の影響を推定
• Y. Zhan, et.al,. Atmos. Env., 129-139, 2017
エアロゾル光学的厚さと気象データでPM2.5濃度を推定
• B. Pass, et.al., Environments, 1-25, 2017
騒音の測定結果と周辺のPM濃度および気象データから、粒径別のPMの濃度を推定。
• J. K. Deters, et.al., J. Elect. Comp. Eng., 1-14, 2017
気象データをもとにPMの濃度を推定。
• Yi-C. Wu, et.al., Science & Applications, 1-12, 2017
特殊な可搬式の顕微鏡のデータに機械学習のメソッドを適用することで、費用対効果の高
いPM2.5測定の方法を提案。

13. 機械学習について
• 機械学習は、大きく2つの系統に分かれます。
〇教師なし学習
PM2.5の成分濃度のデータを読み込み
⇒データを３つに分けるように指示。分かれたデータを（人間が）検討した結果、
＜越境汚染高濃度＞＜地域汚染高濃度＞＜低濃度＞の3つに分類されたと判
明した。
〇教師あり学習
PM2.5の成分濃度のデータから、越境かどうかを判定
⇒越境のパターンと、越境ではないデータをインプットして法則を機械が自動的に
学習。結果が未知の成分濃度データを見て、越境のデータかどうかを判定

14. 機械学習について
• 機械学習は、大きく2つの系統に分かれます。
〇教師なし学習
PM2.5の成分濃度のデータを読み込み
⇒データを３つに分けるように指示。分かれたデータを（人間が）分析した結果、
＜越境汚染高濃度＞＜地域汚染高濃度＞＜低濃度＞の3つに分類されたと判
明した。
〇教師あり学習
PM2.5の成分濃度のデータから、越境かどうかを判定
⇒越境のパターンと、越境ではないデータをインプットして法則を機械が自動的に
学習。結果が未知の成分濃度データを見て、越境のデータかどうかを判定

15. 教師なし学習：クラスター分析
データの位置関係から
類似したものをグループ分けする。

16. 教師なし学習：クラスター分析
クラスター数をいくつに
するかは、分析者が独
断で決定する。
⇒因子分析の因子数
のような悩み

17. クラスター分析
• 今回の例だと、正解
は４。
• ということで、実はクラ
スター数についても、
何らかの方法で見積
もろうという手法が提
案されている。

18. K-mean法（従来の方法）
• 古典的な手法。しかし、近年話題の＜機械学習＞
の１手法として用いられてきている。
• Rだと ＜kmean(でーた、クラスター数)＞で計算で
きる。
【結果】 Ⅰ、Ⅱ、Ⅲ、Ⅳに属するそれぞれ30個の
データがどう分類されたか
A B C D
Ⅰ ０ ３０ ０ ０
Ⅱ ３０ ０ ０ ０
Ⅲ ０ １ ０ ２９
Ⅳ １ ０ ２９ ０

19. X-mean法（k-mean法改良版）
• クラスター数の選定まで自動でやってくれる。
• その判断はBIC（ベイズ情報量基準）に基づく
BIC ＝ f(データの当てはまり) － f(パラメータの数
（クラスター数）)
• Rでの計算プログラムが無料で公開（論文に載って
る）ので、使い放題。
A B C D E
Ⅰ ０ ３０ ０ ０ ０
Ⅱ ２９ ０ ０ ０ １
Ⅲ ０ ０ ０ ２９ １
Ⅳ ０ ０ ２８ ０ ２
ref.石岡, クラスター数を自動決定するk-meansアルゴリズムの拡張について, 2000, 計算機統計学, 18(2006), 3-13

20. モデル_クラスター分析（mclust
法）
• これまでの２つの方法とはまるっきり異なるアプローチ
での検討（やりたいことは同じ）
• Rのプログラムは、以下の通り
library(mclust)
BIC = mclustBIC(でーた)
mod1 = Mclust(でーた, x = BIC)
A B C D
Ⅰ ０ ３０ ０ ０
Ⅱ ３０ ０ ０ ０
Ⅲ ０ ０ ０ ３０
Ⅳ ０ ０ ３０ ０
正解！

21. 機械学習について
• 機械学習は、大きく2つの系統に分かれます。
〇教師なし学習
PM2.5の成分濃度のデータを読み込み
⇒データを３つに分けるように指示。分かれたデータを（人間が）分析した結果、
＜越境汚染高濃度＞＜地域汚染高濃度＞＜低濃度＞の3つに分類されたと判
明した。
〇教師あり学習
PM2.5の成分濃度のデータから、越境かどうかを判定
⇒越境のパターンと、越境ではないデータをインプットして法則を機械が自動的に
学習。結果が未知の成分濃度データを見て、越境のデータかどうかを判定

22. 教師あり学習（一般論）：判別
判定 PM2.5 SO4
2- NO3
- Na+ Ca2+
越境汚染 38 17 5 0.5 0.1
越境汚染 28 11 3 0.5 0.2
越境汚染 31 10 2 0.7 0.1
地域汚染 14 5 3 0.2 0.1
地域汚染 17 9 4 0.1 0.1
地域汚染 8 3 1 0.1 0.1
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
??? 25 10 3 0.3 0.1
機械学習プログラムで学習

23. 教師あり学習（一般論）：数値予測
PM2.5 SO4
2- NO3
- Na+ Ca2+
38 17 5 0.5 0.1
28 11 3 0.5 0.2
31 10 2 0.7 0.1
14 5 3 0.2 0.1
17 9 4 0.1 0.1
8 3 1 0.1 0.1
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
??? 10 3 0.3 0.1
機械学習プログラムで学習
ん？
回帰分析？

24. ざっくりというなら・・・・・
• まずは、回帰分析をイメージ。
• それが、高度になった感じ。
• そうそう、こういうのありますよね。
マスクロージャ―モデル*
PM2.5 = 1.375[SO4
2-] + 1.29[NO3
-] +
2.5[Na+] + 1.7[OC] + [EC] + [SOIL]
([SOIL] = 9.19[Al] + 1.40[Ca] + 1.38[Fe] + 1.67[Ti])
ちなみに、上の式は
右のようにも表現します ⇒⇒⇒⇒⇒⇒⇒
*微小粒子状物質曝露影響調査報告書,環境省,2007
SO4
2-
NO3
-
Na+
OC
EC
SOIL
PM2.5
1.375
1.29
2.5
1.7
1
1

25. というわけで
• ニューラルネットワークとは何ぞや？ とのお話に。
• なぜ、回帰よりも利用価値が高いのか？
X1
X2
Y
X1 X2 Y
0 0 0
1 0 0
0 1 0
1 1 1
w1
w2
【問】
右の表を満たすw1,w2が
存在するでしょうか？
X1・w1 + X2・w2 = Y

26. そもそも、ニューラルネットワーク
とは？
• ニューラルネットワークの翻訳は、「神経回路網」
• もとは、脳の情報伝達ネットワークを模式化したも
の。
刺激が弱いときは、次の神経細胞へ
刺激が伝わらない

27. そもそも、ニューラルネットワーク
とは？
• ニューラルネットワークの翻訳は、「神経回路網」
• もとは、脳の情報伝達ネットワークを模式化したも
の。
刺激が強い（一定以上の）ときは、次の神経細胞へ
刺激が伝わる

28. パーセプロトン
X1
X2
Y0
w1
w2
Y
X1・w1 + X2・w2 = Y0
もし、Y0 ≧ S なら Y=1
Y0 < S なら Y=0
閾値：S
X1 X2 Y
0 0 0
1 0 0
0 1 0
1 1 1
右の表を実現できるw1, w2, S の組み合わせを探す。

29. パーセプトロン（ANDゲート）
X1
X2
Y0
w1
w2
Y
X1・w1 + X2・w2 = Y0
もし、Y0 ≧ S なら Y=1
Y0 < S なら Y=0
閾値：S
X1 X2 Y
0 0 0
1 0 0
0 1 0
1 1 1w1 w2 S
0.5 0.5 0.7
1 1 1.1
2 3 4
ANDゲート

30. パーセプトロン（ANDゲート）
X1
X2
1
1
0 1

31. パーセプトロン（ANDゲート）
X1
X2
1
1
0 1
0.5・X1 + 0.5・X2 = 0.7
1.4
1.4

32. パーセプトロン（ANDゲート）
X1
X2
1
1
0 1
2・X1 + 3・X2 = 41.33
2

33. パーセプトロン（NANDゲート）
X1
X2
Y0
w1
w2
Y
X1・w1 + X2・w2 = Y0
もし、Y0 ≧ S なら Y=1
Y0 < S なら Y=0
閾値：S
X1 X2 Y
0 0 1
1 0 1
0 1 1
1 1 0w1 w2 S
-0.5 -0.5 -0.7
-1 -1 -1.1
-2 -3 -4
NANDゲート

34. パーセプトロン（NANDゲート）
X1
X2
1
1
0 1
-0.5・X1 + -0.5・X2 = -0.7
1.4
1.4
ちなみに、NANDゲートだけで、コンピュータが行う処理を再現できます。
（NANDゲートだけでテトリスを作ることができるのだとか・・・・）

35. パーセプトロン（ORゲート）
X1
X2
Y0
w1
w2
Y
X1・w1 + X2・w2 = Y0
もし、Y0 ≧ S なら Y=1
Y0 < S なら Y=0
閾値：S
X1 X2 Y
0 0 0
1 0 1
0 1 1
1 1 1w1 w2 S
0.5 0.5 0.3
1 1 1
-2 -3 -4
ORゲート

36. パーセプトロン（ORゲート）
X1
X2
1
1
0 1
0.5・X1 + 0.5・X2 = 0.3
0.6
0.6

37. 人工知能の第1次ブーム
• このような判別器を用いることで機械学習が可能
ではないのか！？ と盛り上がる。
• しかし、ある人が下のようなお題を出した。
X1・w1 + X2・w2 = Y0
もし、Y0 ≧ S なら Y=1
Y0 < S なら Y=0
X1 X2 Y
0 0 0
1 0 1
0 1 1
1 1 0

38. パーセプトロン（XORゲート）
X1
X2
1
1
0 1
解けねぇ！
？

39. パーセプトロン（XORゲート）
X1
X2
1
1
0 1
直線ではなく、左のような
曲線じゃないと、分けるこ
とができない。
線形分離不可能！！
そして、第1次ブームは
終焉へ・・・・・

40. パーセプトロン（XORゲート）
【解決策】
多層化してみては、どうだろう？
X1
X2
Y
OR
NAND
AND
X1 X2 Y
0 0 0
1 0 1
0 1 1
1 1 0
＊：簡単のために、全ての重みは１
で、閾値も１として考えます。

41. パーセプトロン（XORゲート）
0
0
0
OR
NAND
AND
1
0
0
1
1
OR
NAND
AND
1
1

42. パーセプトロン（XORゲート）
1
0
1
OR
NAND
AND
1
1
1
1
0
OR
NAND
AND
0
1

43. 多層化が開いた扉
• このように、組み合わせによって複雑な処理も行うことがで
きるとわかり、非線形な概念を表現することができるように
なった。
• 簡単のために、入力と出力を1 or 0、重み1、閾値1にしたが、
これを他の数字も扱えるようにすることで、応用範囲が広
がる。
• 重みや閾値が、なにであれば適切か、を自動的に学習す
る。
• これがニューラルネットワーク(neural network : NN)とか人
工ニューラルネットワーク(artificial neural network : ANN)と
呼ばれるもの
• ニューラルネットワークを多層化することで深層学習（Deep
Learning)が可能だと期待された。

44. Deep Learning実践（1)
• BMIって、知ってます？
• BMI ＝ 体重（ｋｇ） ／ 身長（ｍ）２
• BMI を 体重×a + 身長×b のような
関係式で推測できるのか？
（つまり、正解では身長が2乗されているが、そうと
は知らないまま、体重と身長の関数だ、ということだ
けでBMIを推測できるか？）

45. 架空のデータを準備
• 架空の1000人のデータを準備
（身長が平均170、標準偏差5として乱数を発生
体重が平均70、標準偏差10として乱数を発生）
• それぞれを組み合わせる。
• 1000人のデータは⇒ ⇒ ⇒ ⇒
• まずは
BMI を 体重×a + 身長×b
としてaとbを推定する。
【推定方法】
1000人のうち、ランダムに選んだ850人の身長、体重、BMI（計算値）を使って、
規則性（法則）を学習させる。
次に、学習した規則性（法則）をつかって、残り150人の身長、体重からBMIを
予測。計算した正解のBMIと比較して、学習が上手くいっているかを確認する。
1.55 1.60 1.65 1.70 1.75 1.80 1.85
405060708090
身長（ｍ）
体重（ｋｇ）

46. 線形回帰による推定
BMI ＝ （体重 × ０．８９） ＋
（身長 × －０．３３） ＋
０．１９
0.2 0.4 0.6 0.8
0.30.50.7
実測値
予測値
相関係数：０．９７５７
0.2 0.4 0.6 0.8
0.20.40.60.8
身長
BMI
0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9
0.20.40.60.8
体重
BMI

47. ANNによる推定
BMI_model <-
neuralnet(BMI ~ Hei + Wei, data = data_train, hidden = 2)
相関係数：０．９９９８！！
1.4444
-1.33809
Wei
-1.32671
-0.80888Hei
1.73822
-1.40576
BMI
-0.54784
-0.27051
1
0.09421
1
Error: 0.003697 Steps: 4493 0.2 0.4 0.6 0.80.20.40.60.8
実測値
予測値
関係性のあるデータを指定するだけで
実際の式が分かっていなくても
BMIの数字を、ほぼ正確に予測！

48. Deep Learning実践(2)
• それでは、実際の解析がどのように行われるのか
を例示します。
• テーマは＜PM2.5時間値の予想＞
• 任意の時間のPM2.5の値を、1時間前のデータか
ら予想。（正直、ゆるい条件ですが・・・・・・）
• 使うのは、2018年7月・八幡中学校＠名古屋市の
常時監視データ。気象データなども活用。

49. 準備したデータの形式
常時監視データ
From そらまめ君
気象データ
From 気象庁HP

50. まずは、単純な考え
最も単純なモデル
予測値 = 説明変数 ＋ 誤差
説明変数が1つのモデル。 さて・・・・・なにを説明変数にしようか？？
PM2.5の時間値は時系列データなのでよくある例は1時間前の値。
時刻 ｔ におけるPM2.5濃度（予測）
＝ 時刻(t-1)におけるPM2.5濃度 (＋ 誤差)
この予測の、正しさを評価する方法としては
予測値と実測値の相関係数を用いる。
この場合、相関係数は0.676 ・・・・・結構高いネ。
0.1 0.2 0.3 0.4
0.10.20.30.4
実測値
予測値

51. 単純なモデル
• 「3時のPM2.5濃度が15µg/m3だったから、次の4時
の濃度も15µg/m3だよね」と語る人の説明力は、
0.676程度（１が最大：完全に信じられる、として）
・・・・・・・という解釈（やや、乱暴ながら）
今から、他の方法を使って予測値を計算し
この単純なモデルからどれだけ改善できるかを
見ていく。

52. データの前処理
• データを、機械に学習させるためのデータと、予測
のためのデータに分ける。
データ全体
このデータを使って機械に法則
（パターン）を学習させる
：7月1日～27日
学習した法則（パターン）にこちら
のデータを入力して、出力を得る。
：7月28日～31日
*さらに、最小値０、最大値１の正規化を行っています。

53. 重回帰分析
時刻ｔにおけるPM2.5濃度（予測）
＝ 時刻(t-1)におけるPM2.5濃度 +
気温 + 風速 + 気圧 + 相対湿度 + NO2濃度 + Ox濃度
＊話の都合上、多重共線性は、無視しております♪
Rプログラム
regPM_model <- lm(PM_pre ~ PM + temp +
windS + press + hum +
NO2 + Ox, data = PM_train)
0.1 0.2 0.3 0.4
0.10.20.30.4
実測値
予測値
相関係数：0.697 ちょっと改善

54. 重回帰分析の結果
時刻ｔにおけるPM2.5濃度（予測）
＝ 0.777*時刻(t-1)におけるPM2.5濃度 +
0.09*気温 - 0.09 * 風速 + 0.01 * 気圧 + 0.105 * 相対湿度 +
0.005 * NO2濃度 + 0.156 * Ox濃度 – 0.037
• 「3時のPM2.5濃度や常時監視濃度、気象データから、
次の4時の濃度を重回帰で予想したよ」と語る人の信頼
感は、0.697程度
・・・・・・・という解釈（やや、乱暴ながら）

55. ニューラルネットワーク（単層）
時刻ｔにおけるPM2.5濃度（予測）
＝ 時刻(t-1)におけるPM2.5濃度 + 気温 + 風速 + 気圧 + 相対湿度 +
NO2濃度 + Ox濃度
＊話の都合上、多重共線性は、無視しております♪
Rプログラム
PM_model <- nuralnet(PM_pre ~ PM + temp +
windS + press + hum +
NO2 + Ox, data = PM_train)
相関係数：0.697 重回帰と変わらず！？
0.1 0.2 0.3 0.4
0.150.200.250.300.350.400.45
実測値
予測値

56. ニューラルネットワーク（多層）
時刻ｔにおけるPM2.5濃度（予測）
＝ 時刻(t-1)におけるPM2.5濃度 + 気温 + 風速 + 気圧 + 相対湿度 +
NO2濃度 + Ox濃度
＊話の都合上、多重共線性は、無視しております♪
Rプログラム
PM_model2 <- nuralnet(PM_pre ~ PM + temp +
windS + press + hum +
NO2 + Ox, data = PM_train, hidden = 4)
相関係数：0.751 けっこう改善！！
0.1 0.2 0.3 0.4
0.100.150.200.250.300.350.40
実測値
予測値

57. ニューラルネットワーク（多層）
相関係数：0.606相関係数：0.735 相関係数：0.724
相関係数：0.740
単純に、複雑化すれば
いいというわけではない。
複雑化して改善しないのは
なんらかの理由があり
その調整技術も開発され続けている。

58. PM2.5の予測精度
単純モデル ＜
重回帰 ≒
単層ニューラルネットワーク ＜
多層ニューラルネットワーク
（Deep Learning)
今回は、実測値と予測値の相関係数で予測精度としましたがもっと確認すべき部分とか
あります。そういうのは、書籍やWebで出ているんで、参考にしてください。
また、計算手法についても、様々な人が提案しており、今回はそのうちの一つを
採用しただけです。他の手法も存在します。
そのため、手法を変えれば結果が変わる可能性もあります。

59. 判別分析も可能
• 今回は、数字の予測に用いたが、同様の概念で
判別を行うことも可能。
• 判別分析は特に、答えのある＜学習データ＞を質
良く集められるか・・・・・・・
成
分
デ
ー
タ
越
境
地
域
低
濃
度
画
像
デ
ー
タ
風景
人物
魚

60. ニューラルネットワークの問題
• 回帰や判別の道筋（考え方）がブラックボックス的
で、その根拠が不明。（他の機械学習の手法だと
“なぜ、そのような分類を行ったのか？”の部分が、
もう少し明示される）
• データ数が少ないと、過学習を起こしてしまい、予
測精度が落ちる。
• 細かい技術は、まだ発展途上であり、メリットデメ
リットは、ちゃんと勉強しないといけない（これは、
どんな解析でも同じだけど）

61. 最後に
• 古典的な統計手法は、正規分布などの前提があ
るが、フィールドデータでは、その前提が成り立た
ないことが多い。
• 近年の理論的発展や、コンピュータの高性能化で、
現実の複雑なデータを処理する技術が発展してき
た。
• （そこそこ）お手軽に、無料で統計を自由に行う環
境が整いつつある（RとかPythonとか）。
• 機械学習は、強力なツールです。ぜひ、活用して
いきましょう。