人の行動をモデル化して予測する -調理作業支援を題材とした行動予測と情報提示-
•Download as PPTX, PDF•
3 likes•1,345 views
Smart Kitchenに関する講演資料@日本鉄鋼協会，です． サーベイ部分の写真等は，各論文等の著者に帰属しています． 他に，こんなスマートキッチン研究もあるよ，という情報があれば，ぜひご連絡ください．
Recommended
More Related Content
Similar to 人の行動をモデル化して予測する -調理作業支援を題材とした行動予測と情報提示-
Similar to 人の行動をモデル化して予測する -調理作業支援を題材とした行動予測と情報提示- (20)
More from Atsushi Hashimoto
More from Atsushi Hashimoto (17)
人の行動をモデル化して予測する -調理作業支援を題材とした行動予測と情報提示-
- 2. 自己紹介 ~2013.3 博士(情報学)@京都大学 - 机上作業を対象とした画像処理 ~2018.3 助教@京都大学 - 作業ガイダンス 2018.4~ OMRON SINIC X 株式会社 シニアリサーチャー
- 3. OMRON SINIC X(OSX)について 近未来をデザインし，自ら実現することを目的とした会社 2018.4設立 Jiaxin Ma 栗原 聡 (慶應大) 橋本 敦史 Felix von Drigalski 片岡 裕雄 (産総研) 米谷 竜 (東大) 諏訪 正樹 小西 光春 井尻 善久 牛久 祥孝 松原 崇充 (NAIST)
- 4. 本シンポジウムの開催案内より • 鉄鋼業は(…中略…) 設備の点検・メンテナンス，製品の検査など， 人手でしか行えない作業も多くあります．そのため(…中略…) 人による作業の自動化，効率化は製造業全体の課題であります． スマートキッチンと鉄鋼業の共通点・相違点 • 人手の作業 • 手順書がある． • 材料の加工=ものづくり • しばらく前にやったことが後に影響 • 加熱など，制御系機器との協調作業 頭の体操と思いながら，聞いていただければ幸いです．
- 8. 何をしたくないのか？ 作業以外の余計な操作を増やしたくない 必要な人に直ぐに情報を提供したい 情報を全表示したくない(必要なタイミングで小出しにする） わかりやすいローストビーフの作り方 1. 牛肉400gに予め塩小さじ2/3，胡椒適量 で下味をつける 小さじ2/3は，小さじすり切り1杯から2mm 下の高さ．適量とは，味見をしながら好みの 味付けにせよとの指示．この場合，生の牛肉 の状態では味見ができないので，何度か作っ て好みを見つけてください． 2. フライパンにオリーブオイル大さじ1， 牛肉を入れて中火で炒める． 液体で大さじ1を計る場合，表面張力でスプー ンから盛り上がる程度に入れる．中火とは鍋 底に火が当たるくらい．焼き加減は，肉の表 面にメイラード反応が十分に起こり，内部に 火が通り過ぎない程度とする．メイラード反 応は165℃程度でおき，香ばしい香りと，肉 の色味の変化（いわゆるきつね色の状態)で 確認できる．内部は55℃以上で火が通り， 65℃以上で火が通り過ぎてしまう． 2. 上下を返してさらに1分ほど焼く． 表面にメイラード反応を起こすだけで良い． 3. アルミホイルにつつんで寝かせる 長時間に渡って肉の内部を55℃以上に保つ ことにより，ミオシンの変性を促し，内部が 柔らかくなるようにする．
- 9. 適切なタイミングでの情報提示 • 例) カーナビゲーション • 交差点に侵入して，実際に曲がるよりも前に（しかし，他の交差点と は勘違いしにくいタイミングで）情報を提示 ©Google map S G 札幌駅 札幌ドーム ©Google street view
- 10. 料理/製品組み立てにおけるナビとは？ Slice cut into ¼ put into bowl Add seasonings Dress in the seasonings 自由度を許すなら，本質的には順序は複数通りある • 許さない場合はナビゲーションは比較的容易 • 許すとすれば，意図の推定が必要となる（やる前に情報提示）
- 11. より網羅的なナビゲーション⇢オートメーション? • ノーマンによる「行為の7段階モデル」(誰のためのデザイン?1988) 1. ゴール の形成 2. 意図の 形成 3. 行為の 詳細化 4. 行為の実行 （観測可能な物理的行為） 5. 状況の 知覚 6. 状況の 解釈 7. 結果の 評価 - 十分細かく切れた - まだ半分ある このまま続ける？ z o) 脳神経回路を介した身体への指示 a) 道具や対象を探す （視線の変化） b) それらへ腕を伸ばす （筋電等の初期動作） c) それらに接触する （領域の交差） d) それらに変化を加える （一般的な動作認識対象） これまでの成果 = c)を手がかりに 4.から2.を推定
- 12. スマートキッチン@京都大学 流量センサ（上下⽔道） 荷重とその重⼼を 計測できる天板 俯瞰カメラ 消費電⼒計 カメラC カメラA & 深度カメラ カメラB & 熱画像カメラ
- 15. 各種センサから予測される行動の例2 （サーモカメラ)カメラB & 熱画像カメラ 多くの加熱は均一な熱媒体 の中で行われる． - 煮る，揚げる，蒸す ⇢ 制御の問題に落ちる 食材の温度を不均一に加熱 - 炒める ⇢ 人の介入を考慮する必要 100℃で停滞 ⇢ 煮る or 蒸す 160℃以上で温度が均一 ⇢ 揚げる 温度が不均一 ⇢ 炒める
- 21. 様々な調理支援システム(サーベイ) スマートキッチンシステム 入力 次へ AR 外部知識 インターフェース操作 要約映像， キャプション 直接投影 調理記録 (カロリー, その他栄養， 廃棄量, 消費資源量, etc.) 行動観測 音声 タッチ (接触/非接触) ジェスチャ 視線 ARマーカ 荷重 映像 センサ化された 調理器具 情報提示 作業ログ 食事記録 自動生成レシピ レシピ 映像，音声 出力 データベース(栄養， 味・香り，消費資源) DB
- 22. Cook’s Collage: Déjà vu Display for a Home Kitchen (Georgia Institute of Technology, 2005)
- 23. Points of Déjà vu Display • Count “how many times you did it” and Show. • 人間の短期記憶を補助 • 研究手法として WOZ法を利用している． • WOZ: Wizard of Oz (オズの魔法使い) Observer Subject System
- 24. CounterActive(MIT Media lab, 2001) • プロジェクタによる手かざしスイッチ & 直接的な情報の投影 • 机上の物体配置に合わせた動的なイン ターフェイス • 作業空間の直ぐ側に情報を直接投影⇢顔 をあげずに情報を参照できる．
- 25. eyeCOOK (Queen’s University, Canada, 2003) Eye Tracker Head Set • 視線追跡 + 音声認識 • 手を使わず操作できるレシピ閲覧イン ターフェイス • 視線=マウスカーソルの位置 • 音声=クリック • 詳細表示と概要表示を画面との距離で 自動的に切り替え． • 画面の直ぐ近くにいる⇢詳細表示 • 離れている⇢概要表示
- 26. Kitchen of the Future (Ochanomizu Univ. Japan, 2006) • フット・スイッチ • 認識技術を使うよりはるかに簡便で正確な入力が可能 • 複雑な入力操作は不可能
- 27. • 頻出する行動パターンを学習 • ショートカットメニューをプロジェ クタで投影 • 手かざしスイッチで操作 • 例) 冷凍庫から取り出す⇢電子レン ジで解凍メニューをだす． Kitchen Sense(MIT Media Lab. 2005) • 不可視の情報をプロジェクションで可視化 • 液体の温度: 高温⇢赤くする
- 28. Enabling calorie-aware cooking in a smart kitchen (NTU, 2008) • “重量”をセンシング⇢カメラで は得られない様々な情報を得る • 食材のカロリー • 場所（天板の重心移動) • 液体をグラム単位で追跡,等 • 食材の種類の認識 • WOZ法を用いている （現在は学習データさえあれば深 層学習などで代替可能）
- 29. Panavi (Keio Univ. Japan, 2009) • 温度センサや加速度センサを道具(フライパン)に組み込み • 「どう加熱したか」をセンシング． • 音アイコンやプロジェクタによる情報の直接投影による状態の 通知・可視化
- 30. Automatic Measuring for Seasonings (Our research, 2009) • 調味料の消費量を計測 • 調味料ボトルの上にARマーカーを設置 • 秤の上なら，どこに返しても大丈夫． • 返却前と返却後の重量差=消費量 カメラ ARマーカ付き 調味料ボトル 精密な秤
- 31. MimiCook (The Univ. of Tokyo, Rekimoto Lab. 2014) • 手順逸脱の検知 • 道具や食材の置き場所は予め決めておく（キッティング済み） • その場所からの取出し=使用，とみなし，決められた1通りの手順との ズレをチェック⇢逸脱を検知．
- 33. 様々な調理支援システム(再掲) スマートキッチンシステム 入力 次へ AR 外部知識 インターフェース操作 要約映像， キャプション 直接投影 調理記録 (カロリー, その他栄養， 廃棄量, 消費資源量, etc.) 行動観測 音声 タッチ (接触/非接触) ジェスチャ 視線 ARマーカ 荷重 映像 センサ化された 調理器具 情報提示 作業ログ 食事記録 自動生成レシピ レシピ 映像，音声 出力 データベース(栄養， 味・香り，消費資源) DB
- 34. 近年の動向 • YouCook2(2017), EpicKitchen Dataset(2018) • コンピュータビジョン&パターン認識分野で，次々と大規模な 調理活動のデータセットが作成・公開されている． • なぜ「料理」？ • 「製品組み立て」の実データは， 機密が一杯で公開しにくい． • 言語資源（レシピ）が豊富 • 作業の複雑製&多様性 Epic Kitchen Dataset (ECCV2018)
- 35. 最後に OMRON SINIC Xは，正に製造業の近未来をデザインしたい Jiaxin Ma 栗原 聡 (慶應大) 橋本 敦史 Felix von Drigalski 片岡 裕雄 (産総研) 米谷 竜 (東大) 諏訪 正樹 小西 光春 井尻 善久 牛久 祥孝 松原 崇充 (NAIST) コラボレーション頂ける企業/研究室も募集中です！