Google TensorFlow勉強会(4)で発表したロボットアームNEKONOTEによる唐揚げ盛り付けデモの資料です。唐揚げの認識にTensoFlowを使っています。

1. TensorFlow唐揚サーバーロボット
株式会社アールティ

2. アールティについて
• アールティは創立以来、イノベーターを顧客として成長してきた企業である。技術的には、移
動機構、屋内・屋外センサー統合技術、2足歩行ロボット、ドローン、室内ヘリ、対話、イベ
ント等、様々な知見、ノウハウを蓄積している。人型ロボットをコンパクトに作る技術にかけ
てはアールティが世界一である。端的に言って、アールティは、先端技術を実現可能にし、世
界をリードできる基礎技術を蓄積してきている。
• Google I/Oに2年連続出展（2011年、2012年）
※Google I/OはGoogle本社が米国サンフランシスコで行う開発者会議。
世界中から選抜された技術的なリーディングカンパニー/グループが招待される。
Page : 2

3. 開発実績2 協働型ロボット関連技術
国際ロボット展2013にて協働型ロボットアームを展示。
国際ロボット展2015にてIoT/Industry 4.0のデモを展示。 IROS2014にて研究用双腕ロボットを展示。
ロボットとWEBを統合して人との協働動作を実現。
基板設計、メカ設計、力制御まですべて自社開発可能。
Page : 3

4. 開発実績3 受託開発紹介
Pepperプロトタイプ開発
（2012年12月~2013年2月)
NTT Data様向け
かえるちゃん
Google 向け
RIC Android
2011年
HAYABUSA様(KDDI向け)
見守りロボット「カリコキャット」
2013年
フジテレビ系アニメ
Robotics; Notes 2013年ON Air
タネガシマシン3
（プロモーション用実機）
アスラテック様
Softbankグループ
ASRA C1
2013年
RIC90ベース
サムソンイベントGalaxy X’masでロボット
を30日間動かし、3000人以上とHug
2011年
Page : 4
いろんなロボットの開発・提供実績。

5. ロボットショップ「ロボットアイル」
秋葉原駅電気街口下車徒歩30秒
ロボットアイルではネコ店長※が
世界中からのお客様をお出迎え
※身長120㎝人型ロボット
WEBショップ
アールティロボットショップ
http://www.rt-shop.jp/
Page : 5

6. 当社の取り組む人工知能
機械
学習
形式
知
身体
知
ロボット本体
モーター
センサー
メカ
データベース
クラウド
解析
会話
音響処理
音声認識
画像処理
情景理解
感情感性処理

7. 今日の発表者
中川 友紀子
株式会社アールティ 代表取締役
1971年生まれ
1995年法政大学大学院修士課程修了 工学修士
1995年東京工業大学 大学院総合理工学研究科 助手
1998年科学技術振興機構ERATO北野共生システムプロジェクト研究員
2001年日本科学未来館展示サブリーダー
ロボットベンチャー等を経て
2005年株式会社アールティを創業
2006年初自社製品発売開始
パワーポイントと連動する教育用アームロボット
2007年アールティオフィスを秋葉原電気街に移転
以下、社歴参照 https://www.facebook.com/RTnetjp/
Page : 7
著書
日経Roboticsコラム連載（2015年8月号から）
ロボットのいるくらし（単行本・共著、2007年、日刊工業新聞社）
入門 Bluetooth(単行本・共著、2000年、技術評論社)
専門分野
動画像処理、マルチモーダル情景理解、ニューラルネットワーク、ファ
ジィ知識工学、GA、自然言語処理、UNIX系ネットワークスーパーユー
ザー(基幹ネットワークからサーバー立ち上げまでフルスタックで対応可
能)、科学館展示、ロボットを通じた科学技術教育
2015年より日本知能情報ファジィ学会副会長
近年のロボット関連の取材でインタビュー、講演等
2015年 日本経済新聞社講演会にて講師
2015年 世界で知るべきロボット業界の女性25人に選出
（ロボハブ シリコンバレーロボティクスのWEBメディア）
2015年 日本経済新聞7月17日夕刊2面で紹介
2015年 日経MJでロボットパイオニアフォーラムの紹介記事掲載
(2014年以前の講演、論文、受賞多数のため割愛)

8. ロボットで食品を扱う
ロボット分野において、最後に残されたフロンティアと言われるくらい、
難しい。対象が自然物のため、見分けにくい、柔らかいなど技術的にとて
も難しい要素を秘めている。

9. はじめに
•TensorFlow唐揚サーバーロボットは、
エンジニアに唐揚げを与えるための
新鮮なネタです。
おいしいんだから！

10. お願い(-人-)
エチケット
•食べ物を使った実験をしている映像、写
真等、SNSに上げるときは、実験した唐
揚げはスタッフ＆参加者がおいしくいた
だきましたとお書き添えください。
ご協力お願い
します。

11. むずかしさ(ロボット編)
• 柔らかいものをつかむの大変!!
• このロボットアームはJSONコードで動いてる!?
• 持ち出してポンと使えるようなロボットアーム開発は実は難しい。
• 力制御と重力補償で動いてる（柔らかくて安全）。
• 本日のロボットアームの名前は
NEKONOTE
(ネコノテ)
と言います。
猫の手も借りたいときに使います。

12. むずかしさ(データ作成編)
•ネットには単品唐揚げの画像がほぼない
•データ用の唐揚げを揚げる
•2度揚げするとおいしい
•冷凍した鶏肉を揚げると生焼け
画像データを
クラウド（天国）へ

13. むずかしさ(画像処理編)
• そもそも唐揚げと他のものって区別しにくいみたい…
• 唐揚げとグーの手とか区別できない。
• どこが唐揚げの境目なのかわからない
• 高さが分からない
• 形は一定ではない（人間なら見ればわかるのに…）
似ているとかいないとか？w

14. システム構成
NEKONOTE
(ロボットアーム)
WEBカメラ
鶏の唐揚げ
Linux PC
ROS
(Robot
Operating
System)
アーム制御
（逆運動学）
画像
処理

15. ROS(Robot Operating System)
• ロボット用のミドルウェア（OSではない）
ライブラリ 視覚化ツール
メッセージ通信 パッケージ管理

16. フローチャート
画像処理
• 皿が置かれたのを認識してselective search開始
• 唐揚げらしき領域を探す
TensoFlow
• TensorFlowで学習したデータと切り出した画像が唐揚げか
を判定
• 唐揚げなら、XY座標と大きさを出す
ロボット
アーム
• ロボットが位置をもらって、手先を動かし掴む
• お皿に載せる

17. そこでTensorFlow
• 唐揚げ画像を撮って切り出し
• データ作成はとにかく揚げる、撮る、食べるの繰り返し。
• 学習には正解350枚不正解が750枚くらいの画像を使っている
• イタレーションはとりあえず2万回くらいでロスがなくなった。
• それでも、げんこつに握った手と唐揚げはよく似ている…

18. 唐揚げピックアップデモ
•今回の唐揚げはGoogleに準備していただ
きました！（皆さん拍手！）
•当日に作られた唐揚げなので学習はでき
ません。（当たり前？）
•唐揚げらしきものをピックアップするデ
モになっています。
•サーブされた唐揚げをおいしく召し上
がって下さい

19. エンドロール
• 発案者＆唐揚げ担当：中川友紀子（アールティ）
• ソフト担当：平間翔大（千葉工大）
• メカ担当：中川範晃（アールティ）
• 励まし担当＆監修：上田隆一（千葉工大）
• 出ると決めてから、1.5か月（活動は週1日）
• 食べられた唐揚げ：100個以上。
結論
• 唐揚げ山盛りはまだ画像だけじゃ難しい。
• 皆さんも試してみてください！

20. ありがとうございました。
唐揚げをお楽しみください。