金門大學資訊工程系 陳鍾誠 2018年4月20日

1. 人工智慧與神經網路
( 還有深度學習的進展 )
陳鍾誠
2018 年 4 月 20 日
金門大學資訊工程系金門大學資訊工程系
本文衍生自維基百科

2. 人工智慧
● 想讓電腦做有智慧的事情
● 這些事情通常是人才會做的 ...

3. 而且
● 常常和人體器官有密切關係 ...

4. 像是
● 影像辨識 – 眼睛
● 語音辨識 – 耳朵
● 機器翻譯 – 嘴巴、耳朵、手
● 機器人 –眼耳手腳

5. 人工智慧的方法
１、比對法
２、推理法
３、搜尋法
４、統計法
５、優化法

6. 比對法
● 紀錄問題與答案配對後，
直接從表格內查出來

7. 像是 Eliza 交談系統
https://mdbookspace.com/view/ai/eliza.md

8. 看起來好像很神奇
● 其實用的就只是比對法而已 ...
https://mdbookspace.com/view/ai/eliza.md

9. 推理法
● 撰寫規則後，電腦根據規則推論

10. 專家系統用的就是推理法

11. 可以幫助你進行決策
老虎 <= 哺乳類 & 吃肉 & 條紋 .
哺乳類 <= 有毛 .
?- 有毛
?- 吃肉
? - 條紋
食肉類 <= 哺乳類 & 吃肉 .

12. 搜尋法
● 對所有可能的結果進行系統式
的列舉，然後看看有沒有答案！

13. 像是拼圖
https://mdbookspace.com/view/ai/search_bfs_puzzle.md

14. 還有下棋
https://mdbookspace.com/view/ai/chess.md

15. 用的通常就是搜尋法
https://mdbookspace.com/view/ai/chess_minmax.md

16. 統計法
● 根據統計資訊，找出最有可
能的那個答案
● 有可能會結合推理搜尋 ...

17. 統計的目的
● 通常是尋找機率最大的那個解答

18. 例如我們可以用統計法算圓周率
https://zh.wikipedia.org/wiki/%E8%92%99%E5%9C%B0%E5%8D%A1%E7%BE%85%E6%96%B9%E6%B3%95
如果樣本是用亂數產生的，
通常會被稱為是蒙地卡羅法 ...

19. 我們可以輕易用電腦亂數
驗證中央極限定理

20. 或用貝氏定理
● 進行機率式推論 ...

21. 很多語音辨識
● 還有機器翻譯系統
● 都是用統計法

22. 最後一個方法
● 是所謂的優化法 ...

23. 優化法
● 對每個可能的解答，都會給一個分數，
尋找分數最好的那個解答！

24. 優化法涵蓋面很廣

25. 可以說
● 一切皆優化 ...

26. 只要
● 有辦法判斷解答的好壞
● 就可以使用優化法
● 因為我們總希望選擇最好的答案！

27. 不管是
● 電腦下棋
● 機器翻譯
● 影像辨識
● 語音辨識

28. 我們都會希望
● 電腦給我們最好的答案！

29. 所以前輩們設計了下列方法
● 爬山演算法
● 遺傳演算法
● 期望 - 最大化算法 (EM)
● 神經網路 ...

30. 爬山演算法
● 是一種很簡單的優化方法
https://en.wikipedia.org/wiki/Hill_climbing

31. 方法是
● 看到附近有更高的就往那邊爬
https://mdbookspace.com/view/ai/hillClimbing.md

32. 如果是山脊
● 那就會沿著陵線爬 ...
https://en.wikipedia.org/wiki/Hill_climbing#/media/File:Ridge.png

33. 但是如果有很多山峰
爬山演算法不一定會到最高的山峰 ( 會停在任何山頂 )
https://en.wikipedia.org/wiki/Hill_climbing#/media/File:Local_maximum.png

34. 但是
● 對於很多優化問題
● 爬山演算法常常就很夠用了！

35. 神經網路
● 也是一種優化法

36. 模仿人腦神經網路結構
● 但簡化了很多，只留下《點 + 線 + 閘》 ...

37. 每個神經元
● 都會用開關函數來控制

38. 傳統神經網路
● 以《多層感知器》為主要模型

39. 採用《梯度下降法 + 反傳遞演算法》

40. 所謂的梯度
● 就是斜率最大
的那個方向

41. 梯度下降法
就是利用微積分計算梯度，每次都朝最陡的方向下坡
https://mdbookspace.com/view/ai/backprop.md

42. 而反傳遞算法
● 則是套用微積分裡的鏈鎖規則
● 從後一層反推前一層的梯度
這樣才能調整前一層的參數

43. 梯度下降法
● 仍然是在優化
● 目標是尋找能量的最低點
能量通常就是錯誤率

44. 統計和線性代數裏
● 有個最小平方法
● 其實就是一種
優化問題的解法

45. 神經網路
● 也可以透過反傳遞算法
● 尋找最符合的線型 ...

46. 新一代的神經網路
● 由於層數較多較深，因此被稱為
《深度學習》！

47. 深度學習的神經網路
● 除了多層感知器之外，還加入了：
– 卷積神經網路 CNN
– 循環神經網路 RNN, LSTM
– 生成對抗網路 GAN
– 強化學習機制 Reinforcement Learning

48. 卷積神經網路 CNN
● 通常被用來《辨認影像》

49. 像是這樣
https://medium.com/ai-saturdays/aisaturdaylagos-basic-overview-of-cnn-cd354470e2bb

50. 其中的卷積層 CONV
● 是一種遮罩函數，檢查有沒有符合遮罩的點

51. 像是有些遮罩可以取出邊緣
https://medium.com/ai-saturdays/aisaturdaylagos-basic-overview-of-cnn-cd354470e2bb

52. 有些遮罩可以區分深淺
https://www.html5rocks.com/en/tutorials/canvas/imagefilters/

53. 而池化層 Pool
● 其實就只是取最大值，可以用來降低維度
https://medium.com/ai-saturdays/aisaturdaylagos-basic-overview-of-cnn-cd354470e2bb

54. 卷積網路中的 ReLU 層
則是一種開關，讓高於某個門檻的訊號通過

55. 最後加上傳統的全連接層
卷積網路就可以辨識影像達到頗高的正確率
https://medium.com/ai-saturdays/aisaturdaylagos-basic-overview-of-cnn-cd354470e2bb

56. 循環神經網路 RNN
● 最常被用來處理語言
● 像是機器翻譯系統

57. RNN 的神經網路有循環
● 可以用來儲存一些《狀態》
● 於是相同的輸入，不見得會有相同的輸出
● 因為和目前狀態有關

58. 如果把網路根據時間展開
● 就可以看出這種概念的用途
基本上就是可以處理時間序列
http://colah.github.io/posts/2015-08-Understanding-LSTMs/

59. 但是簡單的 RNN 不穩定
● 只能記住短期的事情 ...

60. 所以有人發展出長短期記憶網路
● 簡稱為 LSTM
http://colah.github.io/posts/2015-08-Understanding-LSTMs/

61. 循環神經網路
● 很常被用來學習語言的語法
● 學完之後該網路就會《亂講話》
但是卻講得《人模人樣》的 ...

62. 如果看完莎士比亞之後
就會產生像莎士比亞風格的文章
http://karpathy.github.io/2015/05/21/rnn-effectiveness/

63. 看完一堆 Tex 格式的論文
http://karpathy.github.io/2015/05/21/rnn-effectiveness/
就會產生一堆很像 Tex 格式的論文

64. 而且還可以用 LaTex 轉換成 PDF
看起來比我寫的論文還要好 ...
http://karpathy.github.io/2015/05/21/rnn-effectiveness/

65. 接著看完 Linux 作業系統的原始碼
結果就可以寫出一堆看來很像樣的 C 語言程式了
http://karpathy.github.io/2015/05/21/rnn-effectiveness/

66. 現在的 Google 翻譯系統
● 使用的就是 LSTM 類型的循環神經網路技術
效果比之前的版本好很多 … .
https://translate.google.com.tw/?hl=zh-TW

67. 接著讓我們看一種最新型的神經網路
● 稱為《生成對抗網路》
● 簡稱 GAN

68. 生成對抗網路 GAN
● 採用《偽造者與鑑賞家》對抗的方式，
讓雙方能夠在對抗過程中能力愈來愈
強！

69. GAN 最擅長《模仿他人的風格》
或者將《素描》轉換成《擬真照片》
https://phillipi.github.io/pix2pix/

70. 簡單的幾筆畫
也可以被轉換成逼真的風景照
https://github.com/junyanz/iGAN http://www.k4ai.com/cgan/

71. 如果讓 GAN 學習人臉
https://devblogs.nvidia.com/photo-editing-generative-adversarial-networks-2/

72. 你就可以透過調整參數
https://devblogs.nvidia.com/photo-editing-generative-adversarial-networks-2/

73. 得到合成的改造臉
https://devblogs.nvidia.com/photo-editing-generative-adversarial-networks-2/

74. 因為 GAN 的網路參數
● 通常都會對應到某些意義
● 像是有沒有鬍子、男或女、年紀大小、頭髮顏色等等

75. 這種技術還可以用來造假
● 所以既使有影片為證都不太能相信
https://www.youtube.com/watch?v=ttGUiwfTYvg

76. 最後讓我們看強化學習機制

77. 強化學習機制
● 常常透過《探索或自我對打》，找到好的
策略來進行決策！
● 像是 AlphaGo 圍棋程式就是《機率模型
+ 強化學習 + 神經網路》結合得到的結果！

78. 強化學習可以用在機器人上
像是讓掃地機器人學習房間打掃的方式
https://en.wikipedia.org/wiki/Reinforcement_learning

79. 當機器人走到有垃圾的地方
掃到垃圾就算得了一分，這得分會視為獎勵
https://www.slideshare.net/ckmarkohchang/alphago-in-depth

80. 於是會將該路徑走法加分
https://www.slideshare.net/ckmarkohchang/alphago-in-depth

81. 前年的 AlphaGo 圍棋程式
也是用強化學習 + 神經網路 + 蒙地卡羅搜尋

82. 結果五戰四勝贏李世石之後
隔年又三戰全勝大贏世界排名第一的柯潔

83. AlphaGo 採用了兩組神經網路
策略網路和價值網路
https://medium.com/@karpathy/alphago-in-context-c47718cb95a5

84. AlphaGo 會向幾千萬局的棋譜學習
● 也有採用自我對打的方式強化

85. 後來的進化版 AlphaGo Zero
● 完全不向棋譜學習
● 只靠自我對打 …
● 而且只有一套神經網路
● 結果棋力比 AlphaGo 更強 ...

86. 接著 AlphaGo 的創造者 DeepMind 公司
● 又創造出更強的 AlphaZero
● 不只能下圍棋，而且只要有確定規則
的棋類，都能透過自我對打成為高手。

87. 這種武功
● 應該算是《左右互博之術》吧！

88. AlphaGo,AlphaGo Zero,Alpha Zero
● 分別登上了一次 Nature 期刊
● 總共上了三次 …

89. 以上
● 就是神經網路和深度學習的基本概要！

90. 想要知道更多資源請看
● 李宏毅 - 深度學習課程
– http://speech.ee.ntu.edu.tw/~tlkagk/courses.html
● 周莫烦– Python 深度學習課程
– https://www.youtube.com/channel/UCdyjiB5H8Pu7aDTNVXTTpcg
● Andrej Karpathy - 網誌
– https://medium.com/@karpathy
– https://cs.stanford.edu/people/karpathy/
– http://karpathy.github.io/

91. 謝謝聆聽！