ROS勉強会第7回で発表した資料です。

1. 自律型生活支援ロボットMini
@ken_demu 出村 賢聖 2015-10-4

2. 自己紹介：出村 賢聖
● DKT Robotics代表
● 明聖高等学校サイバー学習国3年
● 金沢工業大学ＦＭＴ研究所SROP Researcher
● シリコンバレーのロボットシード企業 Adawarp
Robot Engineer

3. ロボカップ@ホーム世界大会初出場！
マシントラブルありましたが
なんとか世界9位になりました！
応援ありがとうございました！

4. Miniの自己紹介
一人暮らしのお年寄りと一人っ子のために作られ
た自律型生活支援ロボット

5. ハードウエア

6. かわいい

7. 軽い 5kg / 7kg
2～3か月
軽い 5kg / 7kg

8. 収納性
このスーツケース１つで収まります

9. のびます 90~140cmまで
https://youtu.be/AuMytE3bv5U

10. ものつかめます ペイロード500g

11. 台車はkobuki
耐久性がある、ソフト開発が簡単
Kobukiでつくばチャレンジの秋の道
なんとか走行可能です

12. NVIDIA GPGPU搭載（ノートＰＣ用）
高速な学習・科学計算が可能、かつ省エネ

13. センサ
● ＨＯＫＵＹＯ LIDAR
● Xtion pro live(RGB-Dカメラ）
● kobuki内蔵センサ（ジャイロ、エンコーダなど）
● Olympusガンマイク

14. ソフトウエア

15. 開発ツール
Caffe NLTK

16. インフラ
● UnityのＵＩだとNVIDIA X serverがクラッシュするた
めXubuntu 14.04LTSを採用
● USBの挿し順番を間違えると音や音声入力が聞か
なくなる
（音声周りをhot plug化するには/proc/asound以下
をいじらないといけないためudevが面倒）
● ALSAの設定~/.asound.confの設定情報を有効化
するためにpulseaudioをremoveする

17. 画像処理・画像認識

18. 顔追跡
複数のHaarCascade学習器＋Flat Clusteringに
よるノイズ除去

19. 性別認識
NVIDIA DIGITS + NVIDIA Caffe
LeNet + Nesterov Accelerated Gradient
１カテゴリ700枚の画像で学習
女性の認識率が高い（ＦＰはほぼ０％）
男性のＦＰは40%（特にアジア系の判定が弱い）
CVで75%の認識率
推論時間0.03~0.05秒

20. ＯＣＲ
640x480解像度で10.5pxの活字文章を正確に推
定可能
アルゴリズム: binarization → line segmentation
→ Long Short Term Memory
※ Long Short Term MemoryはOCRで最高の認
識率を持つRecurrent Neural Networkのアルゴリ
ズム

21. 姿勢認識
45°ＦＯＶのxtionのＲＧＢカメラだけでConvNet(LeNet)
を使って姿勢推定しようとしたが・・・・・・
ー人が倒れるときカメラの視界に入らなくなる
->高視野のカメラが必要
ー人が倒れる動作は立つ->倒れるなので立っていると
きの画像だけを入力にするとどうしても推論結果がお
かしくなる
->動画（時系列）の入力にするか繰り返し推論して状
態変化を観察する

22. 自己位置推定/SLAM
gmapping

23. 人間追跡
LIDAR pointcloud →深さ２Ｄ画像変換 →
ルールベース追跡
https://youtu.be/2QPGgHWVzUU

24. 音声認識
音声エンジン統合クライアント : Sirius
音声の文章：Kaldi
Deep Neural Network
wikiの11GBのデータセットから学習
コンパイル最適化＋GPGPUで3~5秒で推論
高精度音声認識
音声の単語：PocketSphinx
高速な推論が可能
主に音声の文章入力受付のトリガーとして使う

25. 自然言語処理
NLTK
登録されていない質問・音声命令
Kaldiでspeech to text(ROS topic)
→ taggerで品詞推定→
品詞の配列による文型マッチングから意味となる単語を抽出
照応解析：文型のマッチングから意味リストを作って代名詞の直前
の意味リストインデックスを参照
※自己参照：生活支援ロボットMini
登録されている質問・音声命令
Kaldiでspeech to text → ChatterbotでN-gramベースマッチング

26. https://github.com/demulab

27. ご清聴ありがとうございました！