https://www.ospn.jp/osc2016-fall/modules/eguide/event.php?eid=88 オープンソースカンファレンス2016東京・秋 2016-11-06 (日) 14時00分 スプラトゥーン画像解析ツール「IkaLog」の紹介と近況 このエントリーをはてなブックマークに追加 Wii U用ゲーム「スプラトゥーン」の画面をリアルタイム解析し、プレイ情報の見える化や成績の集計を可能とするオープンソースソフトウェア「IkaLog」は公開から１年を向かえました。今回は、IkaLogのかんたんな概要、および画像認識に関するアップデート情報について紹介します。 【カテゴリ】ゲーム/機械学習

1. 本スライド中に登場するスプラトゥーン関連画像は任天堂株式会社の著作物です。

2. 2004
|
2011
2011
|
2014
2014
|
SEサービス プリセールス
@ So+ware Research Associates, Inc.
システム構築、客先のシステム運用、提案でキャリアをスタート
→ プリセールス〜PMを担当するインフラエンジニア
システムアーキテクト
@ Trigence Semiconductor, Inc.
エンベデッド開発支援からITシステム管理まで多岐に対応
セールスエンジニア
@ Fusion-io, Inc.
高速半導体ストレージ ioDrive / ioMemory シリーズの SE として活動

4. –
–
–
–
–
–
–
–
–

6. 様々なステージとルール
• １６のステージ、４つのルール
• 勝利に向けチームで立ち向かう
多様な楽しみ方
• 90以上のブキから好きなものを
選んでプレイ

7. •
•
•
Nintendo WiiU
＆ スプラトゥーン
{ “kills”: 5, “deaths”: 1 }
IkaLog
映像 解析結果
ログファイル出力
外部ツール連携
外部Webサイト連携
蓄積／出力先

8. HDMI
キャプチャデバイス
IkaLog 実行用PC

16. 引用元 hRp://piroz.hatenablog.com/entry/2016/03/03/215511

17. hRps://www.youtube.com/watch?v=iVMmSDWHmEo
各シーンへのリンク
味方・敵の構成、成績等

18. 録画ソフト 自動制御
AmaRecTV
カラーLED連動
Fluentd 転送
スプラトゥーン戦績記録SNS
CSV/JSONファイル保存 スクリーンショット保存
SNS投稿
IkaLog

19. •
•

20. 20

21. 自分が倒されて
行動不能だった時間
イカ（味方／敵 計８匹）の生死状況
チームのスペシャル発動、キル／デス
自分の塗り面積

22. 目標物の
確保状況
敵チームの
ポイント
自チームの
ポイント
逆転の瞬間

27. データソース hRps://stat.ink/en_re/user
【ピーク】 24時間あたり
370ユーザ、約15,000ゲームを分析
毎日 約200ユーザが利用
24時間あたり平均4500ゲームを処理

28. ユーザー
開発者
hasegaw/ikaLog
stat.ink
ダウンロード
記録
送信
hasegaw
一部データ
(QA用)
開発、
stat.inkデータに
よる機械学習
Windows版
実行ファイル生成
（本スライド中の画像の一部はイメージであり実際のものとは異なります。）
PR
モ
ツ
鍋

30. ソース映像 マスク画像 加算画像
+
=
=
正しいマスクを加算すると画像が真っ白になる
違うマスクを加算すると画像が真っ白にならない

31. 31

32. 32

34. 34

35. •
–
–
•
–

36. •
•
•
•
•
•
•
•
•
文字として
認識されないことも

37. ●
● ●
●
■
■
■
■
?
▲
▲
▲
▲
?
?
?
?
とてもシンプルな機械学習
標本 の傍にあるサンプルがどれかで
分類する。
K=1 の場合は最寄りのサンプルがある
クラスに分類される。
K=3 の場合は近くに3つのサンプルがある
クラスに分類される。

38. •
–
•
•
–
–

39. 問題図形をランダムに
生成
K近傍法を用いて、学習済みの
図形から、もっとも近い図形を調べる
仕分ける
○ △ □
○ 学習済み図形
○ △ □

44. •
–
–
•
–
–

46. •
–
–
•
–
–
votes={
'supershot': 6, 'carbon_deco': 1, 'bucketslosher': 1, 'octoshooter_replica': 1,
'splashshield': 1, 'sshooter_collabo': 5, 'hotblaster': 2, 'pablo': 1, 'nzap89': 6,
'sharp_neo': 3, 'hotblaster_custom': 2, '96gal_deco': 18, '52gal': 1, 'hokusai': 1
}

48. WiiU の画面を取り込む

49. クラス分類したい部分の画像を抜き出す

50. 特徴画像に変換
（ラプラシアンフィルタ＆画像縮小）

51. sschooter_collabo
（スプラシューターコラボ）
K近傍法でクラス分類

52. –
–
–
–

53. スクリーンでは視認しにくいが、ユーザーが様々な解像度の画像を送ってくる「現実」

54. Thanks @itoooon

56. –
–
–
–

57. 57

58. • ❌
⭕
–
•
•
–
•
•

59. （本スライド中の画像の一部はイメージであり実際のものとは異なります。）
オブジェクト
ストレージ
作業用
インスタンス
on IaaS
１年以上のデータを蓄積
総データ量 4TB以上
IkaLogユーザ stat.ink
hasegaw

60. •
アスペクト比が
壊れている
なぜか画像がズレている リファレンス画像
（入力してほしい画像）

61. 0
1
2
3
..
..
n
0
1
2
3
…
89
90
Input Layer Output Layer Hidden Layer
52gal
52gal_deco
96gal
96gal_deco
…
Sschooter_wasabi
wakaba

62. •
–
–
•
–
–

63. K近傍法 既存ImageNet 新ニューラルネット
認識効率 一部ユーザでは
低い
99.9+%
99.9+%
モデルサイズ 20MB（現時点） 400MB
(AlexNet)
100MB
(GoogleNet)
50MB
(Float32)
25MB
(Float16)
分類にかかる時間 とても高速 ~300ms ~100ms
•
•

64. 64

65. HDMI
キャプチャデバイス
IkaLog 実行用PC

66. FPGAボード

67. Processor: Dual-Core ARM Cortex-A9
FPGA: 1.3 M reconfigurable gates
Memory: 512MB DDR3 / FLASH
Storage: Micro SD card slot
Video: HDMI In and HDMI Out
Audio: Mic in, Line Out
Network: 10/100/1000 Ethernet
Expansion: USB Host connected to
ARM PS
Interfaces: 1x Arduino Header, 2x
Pmod (49 GPIO)
GPIO: 16 GPIO (65 in total with
Arduino and Pmods)
Other I/O: 6x User LEDs, 4x
PushbuRons, 2x Switches
Dimensions: 3.44” x 4.81”
(87mm x 122mm)

70. •
–
–
•
–
–

71. 71
HDMI
信号
つらい。

72. MacBook
（イカ動画出力）
PYNQ
（ARM搭載FPGAボード）
Intel Compute S_ck
(音声合成, Terminal）
ゲーム映像
出力モニタ