2017/3/22 應邀「線上讀書會」演講 影片網址：https://youtu.be/TibVlaJAIY4

1. +
漫談人工智慧
Jason Tsai (蔡志順) 2017.03.22

2. +
神經元 (neuron) 示意圖

3. +
神經元間的溝通之處
突觸 (synapse)

4. +
跳耀式傳導 (saltatory conduction)

5. +
動作電位 (action potential)

6. +
皮質柱 (Cortical Column)
相同的接受域 (receptive field)

7. +
皮質訊息傳送

8. +
視覺皮質傳導路徑

9. +
Hierarchical Sparse Distributed
Representations

10. +
長期增益作用
(long-term potentiation, LTP)
刺激輸入神經元而發生在突觸前神經元和突觸後
神經元信號傳輸產生一種持久的增強現象。

11. +
海柏學習法則
(Hebb’s learning rule)
突觸前神經元向突觸後神經元持續重複的刺激，
使得神經元之間的突觸強度增加。

12. +
第一／二代人工神經元模型

13. +
激活函數 (activation function)

14. +
感知機 (perceptron) 模型

15. +
多層感知機
(multi-layer perceptron)

16. +
卷積神經網路
(convolutional neural networks)

17. +
卷積神經網路
ConvNet / DeconvNet

18. +
卷積神經網路
Convolutional layer
 Depth (D): filter (或稱 kernel) 組數
 Stride (S): 每一次 kernel 移動的間隔
 Zero padding (P): 每一輸入邊緣填 0 的
寬度
若以 W 表示輸入寬度大小，F 表示
filter 寬度大小， 卷積運算後 feature
map 的寬度大小公式為：
D 個 [(W - F + 2P) / S] + 1

19. +
卷積神經網路
Convolutional layer

20. +
卷積神經網路
Pooling layer

21. +
卷積神經網路 Local receptive field,
Sparse connectivity

22. +
卷積神經網路
Weight sharing
 此處 w1 = w4 = w7, w2 = w5 = w8, w3 = w6 = w9
 具有 translational invariance 的特性

23. +
Deformable Convolutional Networks

24. +
Deep residual networks (ResNet)
Highway networks:
y = H(x,WH)⋅T(x,WT)+x⋅C(x,WC), C(⋅)=1−T(⋅)
Residual networks:
T(⋅)=C(⋅)=1, y = H(x,WH)+x (同上圖 F(x)+x)

25. +
ResNet in recurrent form

26. +
Loopy neural networks

27. +
DenseNet

28. +
Feedback networks

29. +
Sparsity: Sparse Coding (稀疏編碼) /
Sparse Representation / Dropout

30. +
第三代人工神經元模型
Spiking Neural Networks (脈衝神經網
路)
SDTP (spike-timing-dependent plasticity)

31. +
人工智慧大未來
Q & A