深度學習實作上的各種卡關
•
14 likes•3,374 views
學習過基本深度學習的概念, 也會一些建構神經網路方便的工具如 Keras 之後, 我們總覺得馬上就可以用深度學習的方法做點東西出來, 但往往不如我們預想中的順利。這個演講中我們會先複習基本神經網路的架構, 接著分享在實務應用上經歷過的種種卡關, 以及克服這些障礙的方式。
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 深度學習實作上的各種卡關
More from Yen-lung Tsai
More from Yen-lung Tsai (19)
深度學習實作上的各種卡關
- 3. 深度學習的理論並不是太複雜, ⽽ 現在⼜有 Keras 等⽅便⼯具可以讓 你把時間花在思考解決問題的⽅式, ⽽不是花很多時間學習、撰寫程式。
- 6. 深度學習就是學個函數
- 9. f(⽇期 x) = 某股票 x 當天的收盤價 [例⼦] 股票點數預測 這可能不是最好的描述法。也許我們比 較想要⽤用之前的情況預測我們的想知道 的那天。也就類似是上⾯面這樣的函數。
- 10. 假設我們把⼈分成若⼲型, 例如 9 型 (九型⼈ 格), 16 型 (Myers-Briggs) 等等。於是我們想 看這是哪⼀型的⼈, 就是找這個函數: [例⼦] 你是那種類型的⼈? 你怎麼「輸入」⼀一個⼈人呢? 在此例例通常 是經過⼼心理理測驗, 得到⼀一串串數字, 那些 數字我們就可以代表這個⼈人。 f(某⼈ x) = x 這個⼈的⼈格類型
- 11. f(x, y) = x, y 這兩個⼈的速配指數 [例⼦] 速配指數 我們再度碰到要把⼈人變成⼀一串串描述他的 數字。很多可以⽤用, 比如星座、⾎血型、 興趣、學歷等等我們都可想辦法轉數字。
- 12. f( ) = 6 [例⼦] 圖形辨識 其實這裡有兩兩個問題要討論: 1. 輸入圖形很⼤大的時候呢? 2. 輸出是 0.2, 代表什什麼呢? 28x28
- 13. 暗⿊魔法 Hidden Layer Output LayerInput Layer
- 15. ⼗年前開始在政⼤主持數 理資訊學程, ⽤現代的術語, 就是帶同學⽤ Python 做 數據分析。 本⾝研究主題還是純數學。 有點困擾的是正課、研究、 帶研究⽣、帶數理資訊學 程同學寫程式, 基本上是完 全分開的。
- 16. 2016 年 5 ⽉的 TWSIAM, 聽台⼤李宏 毅⽼師介紹 Deep Learning, 覺得很有意 思, 開始投⼊研究。
- 17. 神經網路的基本概念
- 18. 標準 NN CNN RNN Reinforcement Learning GAN VAE Capsule ? 重要的深度學習架構
- 20. 每個神經元動作基本上是⼀樣的!
- 22. 輸⼊做 weighted sum。 wi xi i =1 3 ∑
- 23. 加上 bias wi xi i =1 3 ∑ + b
- 24. 再 apply activation function 即為輸出。 ϕ( wi xi i =1 3 ∑ + b) = h
- 25. 幾個 activation functions ReLU Sigmoid Gaussian
- 26. 當⼀個神經網路結構決定、activation functions 也決 定, 那可以調的就是 weights, biases。我們把這些參數 的集合叫 , 每⼀個 就定義⼀個函數, 我們把它看成⼀個 集合。 固定結構神經網路的函數空間
- 28. ⼀層 hidden layer 的神經網路就是 universal approximator!
- 29. filter 1 filter 2 input 每個 filter 看⼀個特徵, 掃過每⼀個 點, 紀錄該點附近的「特徵強度」。 Convolutional Neural Network (CNN)
- 30. Recurrent Neural Network (RNN) ht 1 = σ (w1 xt 1 + w2 xt 2 + w3 h3 t−1 + w4 h4 t−1 + b1 ) 會加⼊上⼀次的 outputs 當這次的 inputs。
- 31. 建⽴第⼀個神經網路
- 33. 資料輸⼊問題 這其實是件⼩事, 但往往我們需要花 些時間去做對。 ⽐如只有⼀個 feature 的輸⼊... x_train = [x1, x2, …]
- 34. 資料輸⼊問題 這其實是件⼩事, 但往往我們需要花 些時間去做對。 結果這樣才正確! x_train = [[x1], [x2], …]
- 36. 無⽌盡的評估 Keras 太簡單! 要直接⽤ TensorFlow? 聽說 PyTorch 更好! MXnet? CNTK?
- 37. Karras-Aila-Laine-Lehtinen NVIDIA 團隊最近很有名的⽂章 ⽤ Theano (不是快退出了), Python 2, 單 GPU Progressive Growing of GANs for Improved Quality, Stability, and Variation
- 38. 重回神經網路的第⼀個例⼦
- 39. 資料⾃⼰⽣, 就⽤ y = sin(x) + o.4x + 0.3× noise
- 40. 1 維輸⼊, 1 維輸出 200 筆訓練資料 2 層 hidden layers 每層 20 個神經元 activation function ⽤ sigmoid 隨便做都會成啦! 信⼼滿滿
- 41. 現場直播 深受打擊
- 43. ⽼師結果很差
- 45. xk+1 , yk+1xk , yk x1 , y1 xn , yn 訓練資料 測試資料 資料區分為兩部份 實際拿去訓練 測試訓練結果
- 46. 訓練資料學不成 增加學習次數 (epoch) 更換優化⽅式 ⽤「複雜」⼀點的神經網路架構 有可能的話增加學習資料 重新問你的問題 learning rate 改⼩ 訓練資料誤差⼤不要跳到下⼀步!
- 48. 問個好問題
- 51. 第 t-1 年 [Age, G, PA, AB, R, H, 2B, 3B, HR, RBI, SB, BB, SO, OPS+, TB] 15 個 features 第 t 年全壘打數 f
- 52. 運⽤ LSTM, 輸⼊ 10 年的資料猜下⼀年 只有⼀層 LSTM 層!
- 53. 不要猜精確數⽬, 猜 區間即可! 分五段: 0-9, 10-19, 20-29, 30-39, 40+
- 54. Mike Trout (LAA) 預測 30-39 實際 33 Mookie Betts (BOS) 預測 20-29 實際 24 Jose Altuve (HOU) 預測 20-29 實際 24 Kris Bryant (CHC) 預測 30-39 (第⼆⾼ 20-29) 實際 29 Daniel Murphy (WSH) 預測 20-29 實際 23 Corey Seager (LAD) 預測 20-29 實際 22 2017 預測結果 (今年 6 ⽉預測)
- 56. 選定⼀⽀ ETF 開始 20,000 美⾦ 經過⼀年 (最後⼿上還有 ETF 就全賣) 使⽤ reinforcement learning * ETF 資料由全球智能提供
- 57. 過去 20 天的資料 (20x6 的矩陣) f 1 2 3 4 5 買 20 單位 買 10 單位 不做交易 賣 10 單位 賣 20 單位 五種 actions
- 58. CDQN 無腦法 CDQN 無腦法 ETF1 17.71% 10.89% ETF11 10.76% 5.26% ETF2 16.53% 12.6% ETF12 10.19% 13.17% ETF3 16.3% 0.35% ETF13 7.8% 1.42% ETF4 14.4% 13.25% ETF14 6.23% 3.56% ETF5 14.3% 12.7% ETF15 5.73% 4.61% ETF6 13.91% 13.37% ETF16 3.78% -12.76% ETF7 13.17% 10.52% ETF17 2.85% 5.83% ETF8 12.35% 17.07% ETF18 1.59% -4.45% ETF9 11.68% 10.81% ETF19 1.07% -18.09% ETF10 11.09% 8.14% ETF20 -0.59% -0.75% 交易結果
- 59. 領域專家還是 AI 專家為主 要提出問題 (需求) 的⼈?
- 60. 中⽂基本字的 encoding 中⽂約有 300 個基本字型 (感謝 justfont 專業指導) 我們想做這 300 字「適合的」標碼 之後⽤這 300 字可⽣所有字
- 61. Chinese Character Embedding using Invariant GAN with ⽅宜晟、陳先灝、⿈平、林澤佑
- 62. ⽤ VAE 做出 300 個字編碼
- 63. ⿂ ⽷ ⽺ ⻘
- 64. 訓練資料不⾜
- 66. Xception VGG16 VGG19 ResNet50 InceptionV3 InceptionResNetV2 MobileNet Keras 提供的 pre-trained model
- 67. 使⽤ VGG19 做的畫⾵移轉
- 68. Variational Grid Setting Network 有時也有意外 with 莊喻能, ⿈梓育 (IALP 2017)