『ゲーム業界における強化学習の実応用の課題認識』奥村純＠SHIBUYA Synapse #3

Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
n B y
3
June 23, 2018
Jun Ernesto Okumura
AI System Dept.
DeNA Co., Ltd.

Copyright © DeNA Co.,Ltd. All Rights Reserved.
7aRT TRe
■ GY
y t
■ y × VE8
y v u y
y y v
■ 8@ 7 VE8
y 8@ y y y
u
2

■ y – 8@
y u ué t
■ t y y
y v
y v y y
é v y u
y
u y
I G H#
3

I G H#
4
y
BRccRd% KVc % Ve R
Gc XcVddZgV Xc hZ X W XR d W c Z ac gVU bfR Zej% deRSZ Zej% R U gRcZReZ
"+) 0
Yeead3((RciZg cX(RSd( 0 ) ) 2/
Achlioptas, Panos, et al.
"Learning Representations and Generative Models for 3D Point Clouds.”
arXiv preprint arXiv:1707.02392 (2017).
https://arxiv.org/abs/1707.02392
Güler, Rıza Alp, Natalia Neverova, and Iasonas Kokkinos.
"Densepose: Dense human pose estimation in the wild."
arXiv preprint arXiv:1802.00434 (2018).
https://arxiv.org/abs/1802.00434

I G H#
5
Karras, Tero, et al.
"Audio-driven facial animation by joint end-to-end learning of pose and emotion."
ACM Transactions on Graphics (TOG) 36.4 (2017): 94.
https://www.youtube.com/watch?v=lDzrfdpGqw4
http://research.nvidia.com/sites/default/files/publications/karras2017siggraph-paper_0.pdf
gd 8@
eR + TYR V XV3 E @ g gd FaV 8@
Yeead3((j fef SV(2+e /0P OX)6e5 + ,)d
KYV =fefcV W Jf Ze% DReTY F V3 BV AZV 8 aYR
Yeead3((hhh j fefSV T (hReTY6g5Q&?C. aa9 D

■ y u t u
■ =+G t y
y y
:J +tH8 ,t y t t t
■
× y tEG: - t y t
y
6
3 WcVV e a Rj y
+3 Tfde Vc dfaa ce
,3 HfR Zej 8ddfcR TV
-3 E a RjVc TYRcRTeVc y y
y y

■ v:R Uj :cfdY JRXR BZ X
y t
é 0 URjd 0 Z feVd
:EE y DK:J
e
7
ZdV % G "+) 0 JZ f ReZ X ?f R R V G Rj W c CVgV ZWWZTf ej deZ ReZ hZeY : g feZ R EVfcR EVeh c d
Yeead3((aUWd dV R eZTdTY Rc cX(U/SS(VUW.RR2TW.,V,W)+,RT))+1U)T+.U).TT/ R aUW
Gfc V % J "+) 0 GcVUZTeZ X R V CVgV ZWWZTf ej LdZ X VVa EVfcR EVeh c d
Yeea3((hhh UZgR&a ceR cX(d RdY(XVe(UZgR+3 .-)/+(=LCCK OK) aUW
G c RR% I "+) 0 :cfdYZ X :R Uj :cfdY 3 GcVUZTeZ X ?f R JfTTVdd IReV Z R D SZ V R V fdZ X D eV&:Rc KcVV JVRcTY
Yeea3(( eY UZgR&a ceR cX(d RdY(XVe(UZgR+3 )2,-/2(=LCCK OK) aUW

■ :R Uj :cfdY JRXR é y
t
■ y y –
t
y
■
y y ”
y t EE
e U
8
EE

y
9
y
t t
3 y y
”
• s H @
• t @IA

■ t x y yé
■ y y –
+ VE8w
9Ree VWZV U VTec ZT 8ced tR U cV
y
10
lG RjZ X 8eRcZ hZeY VVa IVZ W cTV V e CVRc Z Xn%
D ZY Ve R % E@GJ VVa CVRc Z X N c dY a +) ,
Yeead3((RciZg cX(aUW( , + ./)+ aUW
lDRdeVcZ X eYV XR V W hZeY fe Yf R h VUXVn
JZ gVc Ve R % ERefcV ..)% ,.-m,.2
Yeead3((hhh RefcV T (RceZT Vd( RefcV+-+0) VaUW
lJeRc:cRWe @@3 8 EVh :YR V XV W c IVZ W cTV V e CVRc Z Xn%
MZ jR d Ve R
Yeead3((RciZg cX(aUW( 0)1 )-01+ aUW
y
8eRcZ +/))
y y
% % %
y
JeRc:cRWe @@% eR+
3 l y 8@ z zn% % Yeead3((hhh d ZUVdYRcV Ve(jf (RZ&1+/-/1)1
+3 l y “ n% u % Yeead3((hhh d ZUVdYRcV Ve( f V f fcR(UV R&eVTYT +) 1

■
y t y
+) / + y –t +%))) C
■ ,%))) /
y
Y B
11
HP:
ATK: …
~3,000
16

■
y /p/
y “ t
Y B
12
4
2,000
10120

■ HE y
fS V& HE +% GcZ cZeZkVU IVa Rj ,% E Zdj&EVe -% :ReVX cZTR HE .
■ y y EG: 1) y
t
Y B
13
y
:EE
y y
y
3 D ZY% M Uj jc% Ve R ?f R & VgV T ec eYc fXY UVVa cVZ W cTV V e VRc Z X ERefcV . 1 0.-) "+) . 3 .+2
+3 MR ?RddV e% ?RU % 8ceYfc fVk% R U RgZU JZ gVc VVa IVZ W cTV V e CVRc Z X hZeY fS V H&CVRc Z X 888@ M / +) /
,3 JTYRf % K % Ve R GcZ cZeZkVU ViaVcZV TV cVa Rj n RcOZg acVacZ e RcOZg3 . ).2.+ "+) .
-3 = cef Re % DVZcV% Ve R E Zdj Veh c d W c Via cReZ "+) 0
.3 9V V RcV% DRcT % NZ RS Vj% R U Iq Z Df d 8 UZdecZSfeZ R aVcdaVTeZgV cVZ W cTV V e VRc Z X RcOZg acVacZ e RcOZg3 0)0 )/110 "+) 0

■
, 2i 2 ) 0+
,%)))/i/ ) +.
■
y
y y
• +) y y ++) )/
■
.) t
■ y
u é y u
■
“
y B
14

■ u
■ 8 U cV
y B
15
Dario Jack, “Faulty Reward Functions in the Wild”
https://blog.openai.com/faulty-reward-functions/
https://www.youtube.com/watch?v=tlOIHko8ySg

s s
16
■
• y t +t ,t
-t . t
•
• y 9Ree VWZV U
3 9V V RcV% DRcT% Ve R L ZWjZ X T f e&SRdVU Via cReZ R U Z ecZ dZT eZgReZ +) /
+3 = cef Re % DVZcV% Ve R E Zdj Veh c d W c Via cReZ "+) 0
,3 E@GJ+) 0 7G=Ev ?ZVcRcTYZTR IVZ W cTV V e CVRc Z X r
Yeead3((hhh d ZUVdYRcV Ve(jf ( Zad+) 0aW &YZVcRcTYZTR &cVZ W cTV V e& VRc Z X
-3 Jf YSRReRc% JRZ SRjRc% Ve R @ ecZ dZT eZgReZ R U Rfe ReZT TfccZTf R gZR Rdj VecZT dV W&a Rj "+) 0
.3 P 8jeRc lG RjZ X YRcU Via cReZ XR Vd Sj hReTYZ X P fKfSV n "+) 1

p
17
■
t y
■ 9Ree VWZV U +
y y y
”
y
:EE
y
y y
é
y
3 P B % @ KR R R% R U A F f fcR l8aac iZ ReZ W MR fV =f TeZ hZeY =VRefcV IVacVdV eReZ CVRc Z X e VR hZeY ieV URS V 8TeZ JaRTVn
Yeead3((T WZe Re Rd a(XfZUV(VgV e( dRZ+) 1(dfS VTe( Q,&)+(eRS Vd
+3 A ?Rc Vc Ve R l@ ZeReZ CVRc Z X hZeY : TfccV e 8TeZ d Z , R Vdn
Yeead3((RciZg cX(RSd( 1), ).-)+

s s
18
■ u
8,: CJKD
y y8@ +
• × D:KJ" EE
■
cVhRcU dYRaZ X 3(TfccZTf f
4
■ 8 U cV
3 D ZY% M Uj jc% Ve R 8dj TYc fd VeY Ud W c UVVa cVZ W cTV V e VRc Z X +) /
+3 % l y y8@n Yeead3((hhh d ZUVdYRcV Ve( f V f fcR(RZ&+) 0 ),
,3 EX% 8 P % ?RcRUR% R U J IfddV G ZTj Z gRcZR TV f UVc cVhRcU ecR dW c ReZ d3 KYV cj R U Raa ZTReZ e cVhRcU dYRaZ X M 22 222
-3 QZVSRce% 9cZR % Ve R DRiZ f ec aj @ gVcdV IVZ W cTV V e CVRc Z X M 1 +))1

I D
19
y
y t
+ y
t –
t
,
y t t
- y
” –
. y y
y “ t y

I S@
20
y 8eRcZ% % G Vc%
+ – y
y
y ) y t
y y t
x

C y a
21
■ u
■ 3 " 13-.z+ 3,)
■ 3 s Yeead3((aYZ TRWV(
■ y
" y u t " VE8 t
" t u "
■ 2 v+) 1 / +/ "
https://rlarch.connpass.com/

『ゲーム業界における強化学習の実応用の課題認識』奥村純＠SHIBUYA Synapse #3

Recommended

Recommended

More Related Content

Recently uploaded

Recently uploaded (20)

Featured

Featured (20)

『ゲーム業界における強化学習の実応用の課題認識』奥村純＠SHIBUYA Synapse #3