More Related Content Similar to 【1110ROS社群開講】如何打造與人一起學習的機器檯燈_鄭凱文 (20) More from MAKERPRO.cc (20) 1. 和 ⼈人 ⼀一 起 學 習 的 機 器 檯 燈
K E V I N C H E N G
5. O P E N S O U R C E
注 意 ！ 仍 在 建 置 中 ！
6. 關 於 我
• ⼤大學唸物理理，但⼤大三就放棄
• FabAcademy 2016 畢業
• Taipei Hackerspace 有鑰匙的管理理員
• ROS.Taipei 很少管版的版主
21. 機 器 檯 燈
會 動
有 知 覺
（視 覺、聽 覺）
24. 設 計 理理 念念
• 容易易在各個 makerspace 中製造
• ⽬目標使⽤用者剛是 makers
• 材料好取得
• 低成本
31. 機 構 演 算 法
電 腦 視 覺
運 動 學
語 ⾳音 處 理理
機 器 學 習
32. 機 構 演 算 法
電 腦 視 覺
運 動 學
語 ⾳音 處 理理
機 器 學 習
34. 遇 到 的 問 題
• 運算能⼒力力
• 基礎的⼯工具和套件
• fine-tuning
• 準確率
36. 機 構 演 算 法
電 腦 視 覺
運 動 學
語 ⾳音 處 理理
機 器 學 習
37. 運 動 學
• 正向、逆向
• 矩陣運算
• 同時要整合視覺辨識？
• 可能還會有更更多 input？
39. 機 構 演 算 法
電 腦 視 覺
運 動 學
語 ⾳音 處 理理
機 器 學 習
40. 機 構
電 腦 視 覺
運 動 學
語 ⾳音 處 理理
機 器 學 習
演 算 法
43. 沒 有 扎 實 的 程 式 背 景
只 有 殘 弱 的 英 ⽂文 能 ⼒力力
50. 檯 燈 是 不 ⼀一 樣 的 學 習 途 徑
51. 建 環 境
模 擬
（ 玩 烏 ⿔龜 ）
操 縱 別 ⼈人 做
好 的 機 器 ⼈人
52. 建 環 境
⾃自 ⼰己 設 計
機 器 ⼈人
模 擬 （ ？ ）
操 縱 ⾃自 ⼰己 做
好 的 機 器 ⼈人
53. 模 擬 怎 麼 了了
• 檯燈是 closed-loop chain 的四連桿（four-bar
linkage）機構
• URDF 內建解析運動的 library 為 KDL，只⽀支援樹狀狀結構
• 多數⼈人不會遇到，所以架構也不會幫你解決
54. 從 C A D 到 機 器 ⼈人 描 述 檔
• 機器⼈人是在 Fusion 360 畫的
• 關節和連結很多，要怎麼輸出成檔案，讓模擬環境看得
懂我的機器⼈人？
• 好險有⼈人做出 plug-in
• Fusion 360 https://github.com/syuntoku14/fusion2urdf
• SolidWorks http://wiki.ros.org/sw_urdf_exporter
57. 變 通 辦 法
• 使⽤用 URDF，但不利利⽤用內建的 KDL forward kinematics
去模擬，⾃自⼰己寫 Kinematics！
• 不要使⽤用 URDF，改⽤用 SDF 描述機器⼈人，並搭配
Gazebo 模擬，找找有沒有⼯工具（e.g. [Gazebo2Rviz]
(http://wiki.ros.org/gazebo2rviz)）可以串串回 Rviz。
• 研究 SRDF?
58. 硬 體 架 構
Raspberry Pi 3 B+
I2C
CSI
Adafruit 16-Channel 12-
bit PWM/Servo HAT
5 servos
Raspberry Pi
camera v2.1WiFi
ComputerWiFi
/servo_pwm_pi_listener
/raspicam_node/compressed
59. R O S 架 構
Raspberry Pi 3 B+
master
node (servo_pwm_pi_listener)
node (raspicam_node)
Computer
node
/servo_pwm_pi_listener
/raspicam_node/compressed
61. 接 下 來來 的 坑 計 畫
• 成功建立模擬環境
• 掃描初次⾒見見到的物體，照片餵入 fine-tuning
• 語⾳音控制，加入麥克風
• Reinforcement Learning Kinematics
62. 更更 多 機 器 學 習
• https://blog.openai.com/robots-that-learn/
• https://medium.freecodecamp.org/an-open-sandbox-
for-robot-grasping-cee467a3fabb
