UE4における自動プレイのポストモーテム

V F X S T U D Y G R O U P©2019 SQUARE ENIX CO., LTD. All Rights Reserved.
株式会社スクウェア・エニックスシムウェイルンデイビッド
UE4における自動プレイのポストモーテム

スライドについて
・PowerPointファイルをEpic様より公開いただいています
https://epicgames.box.com/s/t44vlvff1fcmen1i038rkg96br888i31
・スライド内の動画はPowerPointファイルのDLにてご確認ください

略称について
『Unreal Engine 4』をスライド内では『UE4』と記載しています

アジェンダ

アジェンダ
UE4における自動プレイのポストモーテム
自己紹介と自動化の事例
自動プレイについて
自動プレイの実績

自己紹介

シムウェイルンデイビッド
Sim Wei Lun David
自己紹介
プログラマー
オートメーション
エンジン、ツール、ゲーム

自動化の事例
① データ更新の自動化

自動化の事例
データ系
オートメーションテスト
エディター

自動化の事例
データ系
対象データ
HLOD
常駐関連
テクスチャーロード関連
エディター

自動化の事例
データ系
参照
データ
対象
データ
インポートか
更新
サブミット
VCS
エディター対象データ
HLOD
常駐関連
テクスチャーロード関連

自動化の事例
② 品質チェックの自動化

品質系
デバッグ・コマンド、ノード
自動化の事例
ゲーム目的
処理負荷計測
メモリ計測
カットシーン連続再生

品質系
自動化の事例
ゲーム
テキスト
データ
ロード計測
システム
CI
システム
起動引数

品質系
自動化の事例
ゲーム
テキスト
データ
ロード
データベース
CSV
成果物
アップロード出力
計測
システム
CI
システム
起動引数
CIシステムで
アップロードファイル
サーバー

品質系
自動化の事例
ゲーム
アクター約１００個
攻撃約４５０個
目的
メモリ計測

品質系
自動化の事例
ゲーム
マップ約１２個
定点約７２０個
目的
メモリ計測

品質系
自動化の事例
ゲーム
関連データ生成
カットシーン約２７０個
目的
メモリ計測

品質系
自動化の事例
ゲーム
関連データ生成
カットシーン約２７０個
目的
メモリ計測
アクター約１００個
攻撃約４５０個
マップ約１２個
定点約７２０個

自動化の事例
③ システム管理の自動化

管理系
C#ツール、CICD
自動化の事例
外部起動ツール
途中失敗の処理、再開
ゲームの起動と終了
ログ観察

管理系
C#ツール、CICD
自動化の事例
外部起動ツール
途中失敗の処理、再開
ゲームの起動と終了
ログ観察
その他
クックログ解析
成果物の整理
PGO（最適化）データのマージ

自動化の事例
まとめ

データ系
品質系
管理系
C#ツール、CICD
自動化の事例
まとめ
エディターゲーム
外部

自動化の事例
まとめ
PGOデータ生成 (11:30～)
カットシーン処理落ち観察 (17:10～)
データ系
管理系
品質系
C#ツール、CICD
エディターゲーム
外部

自動化の事例
まとめ
PGOデータ生成 (11:30～)
カットシーン処理落ち観察 (17:10～)
品質系
デバッグ・コマンド、ノードゲーム

自動プレイについて
紹介

紹介：例 ①
そのままの入力再生
プ
レ
イ
ヤ
ー

紹介：例 ①
そのままの入力再生
プ
レ
イ
ヤ
ー
⊕
シンプル
⊖
固定タイミング
非決定的な部分(※)
との相性が悪い

紹介：例 ②
AIやゲーム内データ（ランダムパス）
プ
レ
イ
ヤ
ー
⊕
徹底的
コリジョン抜けの発見
⊖
ゲーム進行
決まった行動の繰り返し

紹介：例 ③
固定パス
プ
レ
イ
ヤ
ー
⊕
ゲーム進行
決まった行動の繰り返し
⊖
ランダム探索
非決定的な部分の対応

紹介：リソース
 Bayonetta2 開発ブログ：バグチェック作業の自動化について
https://www.platinumgames.co.jp/dev-bayonetta2/article/881
 「ベヨネッタ2」におけるゲーム品質を上げる為の自動化
～オートプレイと継続的なパフォーマンス計測～
https://cedil.cesa.or.jp/cedil_sessions/view/1454
 無料で始める！「龍が如く」を面白くするための高速デバッグログ分析と自動化
https://cedil.cesa.or.jp/cedil_sessions/view/1621

紹介
プ
レ
イ
ヤ
ー
ベース：固定パス
補助①：入力再生
補助②：ゲーム内データ

プ
レ
イ
ヤ
ーユーザー入力とコマンド再現
ギ
ミ
ッ
ク
紹介
ベース：座標中心、AIなし
補助：入力再生、ゲーム内データ

方針①

方針①
通しプレイの時間節約
通しプレイにかかる時間が長い
個人の関心
他プロジェクトからのインスピレーション

システム概要

システム概要
通しプレイの時間節約
システム
自動プレイレコーダー
自動プレイ
自動プレイリスト

システム概要
システム
自動プレイ
他の自動化システムとの共通点
特定な起動引数
テキストデータ参照

システム概要
システム
自動プレイ
通知のフック
デバッグ・コマンドで制御

システム概要
システム
自動プレイ
通知のフック
デバッグ・コマンドで制御
GameInstanceチックの最後辺り

方針②

方針②
データが誰でも作れる、すぐ実行できる
規模に対して一人だけでは厳しい
用途は通しプレイに限らない

方針②
データが誰でも作れる、すぐ実行できる
規模に対して一人だけでは厳しい
用途は通しプレイに限らない
データ担当者3～4人との連携
PGO（最適化）1人は別途

システム概要：レコーダー

自動プレイレコーダー
データがテキスト式
データが誰でも作れる、
すぐ実行できる

ボタン入力記録
テキスト
データ
ゲーム
ゲームパッド
デバッグ入力モード
座標記録
やレコーダー設定

座標とボタン入力の記録
X座標,Y座標,Z座標>タイミング,ボタン>...
↓
数値,数値,数値>数値,一文字>...
↓
0.0,0.0,0.0>0.5,ジャンプボタン>
↓
0.0,0.0,0.0>0.5,J>
テキスト
データ
ゲーム
ゲームパッド
座標記録

テキスト
データ
ゲーム
ゲームパッド
座標記録
X座標,Y座標,Z座標>タイミング,ボタン/コマンド>...
↓
数値,数値,数値>数値,一文字/複数文字>...
↓
0.0,0.0,0.0>0.5,イベント期待>1.0,デバッグ・コマンド「敵全滅」>
↓
0.0,0.0,0.0>0.5,K:C>1.0,Z:全滅コマンド>

ベース
データ
ゲーム
ゲームパッド
ユーザー
適用する
データ
コマンド追加
と細かい調整
細かい調整は手で
座標記録

方針③

方針③
決定的な部分をできるだけデータで制御

方針③：決定的/非決定的とは？
プロセス入力出力
決定的

プロセス入力出力出力か出力か ...
非決定的

ゲーム
ゲームパッド
入力
決定的プ
レ
イ
ヤ
ー
敵
NPC

ゲーム
ゲームパッド
入力
NPCに押される敵に邪魔される
目標がランダム行動/技がランダム
非決定的

方針③
非決定的な場合が多い

方針③
非決定的な場合が多い
単純な入力再生機能が足りない
非決定的な部分をプログラムで対応

方針④

方針④
シンプルなデザイン
残りの時間が少ない

方針④
シンプルなデザイン
残りの時間が少ない
対応しづらい要素を先にデバッグ・コマンドで誤魔化す

システム概要：自動プレイ（移動）

自動プレイ
座標中心の移動（バトルと乗り物含めて）シンプルなデザイン
決定的な部分をできる
だけデータで制御

自動プレイ
座標中心の移動（バトルと乗り物含めて）
GetWorld()、UGameplayStatics::GetPlayerController()など

自動プレイ
プ
レ
イ
ヤ
ー

自動プレイ
プ
レ
イ
ヤ
ー
目
標
カメラ
左スティック

システム概要：自動プレイ（ステート）

自動プレイ
最初は5個のステート：無効、初期化、移動中、CS、終了処理

自動プレイ
最終的に31個：UI画面、ギミック、ゲームモード、等々

自動プレイ
最終的に31個：UI画面、ギミック、ゲームモード、等々
割り込みでステート遷移の処理が少し複雑に
割り込み
バトル移動中
カットシーン
UI
マップ
ロード
ギミック
UI
割り込み
割り込み
復帰
復帰

プ
レ
イ
ヤ
ー
非
決
定
的
な
要
素
自動プレイ
データで対応できない所を
ManagerやPawn情報で自動処理

自動プレイ
プ
レ
イ
ヤ
ー
非
決
定
的
な
要
素
データで対応できない所を
ManagerやPawn情報で自動処理
UIManager：表示情報
EnemyManager：敵情報
カットシーン：自動スキップ
タイトル画面：自動ニューゲーム（ノーマル）

システム概要：自動プレイ（ギミック）

自動プレイ
プレイヤー技でクリアプ
レ
イ
ヤ
ー
技
ギ
ミ
ッ
ク

自動プレイ
プレイヤー技でクリア他
ア
ク
タ
ー
や
画
面
操
作
法
違
う
ギ
ミ
ッ
ク
プレイヤー以外の何かを操作

自動プレイ
プレイヤー技でクリアプ
レ
イ
ヤ
ー
ミ
ニ
ゲ
ー
ム
何かを集める
ランダム性がある目標
プレイヤー以外の何かを操作
ミニゲーム

システム概要：自動プレイ（バグ検知とタグ）

KillZ
自動プレイ
プ
レ
イ
ヤ
ー
座標の
経過時間
データの合計経過時間

KillZ
自動プレイ
プ
レ
イ
ヤ
ー
座標の
経過時間
ゲームバグ検知：コリジョン抜けなど

KillZ
自動プレイ
プ
レ
イ
ヤ
ー
座標の
経過時間
データバグ検知：ハマり

KillZ
自動プレイ
プ
レ
イ
ヤ
ー
座標の
経過時間
出力：ログ、スクショ、ダンプ

KillZ
自動プレイ
プ
レ
イ
ヤ
ー
座標の
経過時間
出力：ログ、スクショ、ダンプ
処理：プレイヤーかタグ（定点）ワープ

自動プレイ
通しプレイカバレージの維持
データ開始データ終了ハマり

システム概要：自動プレイ（バトル）

自動プレイ
一直線の移動
プ
レ
イ
ヤ
ー
一定距離内に攻撃連打

自動プレイ
一直線の移動
プ
レ
イ
ヤ
ー
一定距離内に攻撃連打
敵全滅デバッグ・コマンド
プレイヤー無敵デバッグ・コマンド

システム概要：自動プレイ（PGO向けバトル）
自動プレイ
プ
レ
イ
ヤ
ー

システム概要：自動プレイ（PGO向けバトル）
自動プレイ
ロックオン
プ
レ
イ
ヤ
ー
プレイヤーの技
重いバトルと技の最適化

システム概要：自動プレイ（その他の機能）

自動プレイ
ループ機能
プ
レ
イ
ヤ
ー

自動プレイ
リトライ機能
プ
レ
イ
ヤ
ー
チェックポイントのテスト
運用されなかった

システム概要：自動プレイ（起動）

自動プレイ
起動引数 x コマンドライン
起動： “autoplay txt001” “autoplay world1” など

自動プレイ
起動引数 x コマンドライン
起動： “autoplay txt001” “autoplay world1” など
ループ： ”autoplay txt001 loop=5”
途中開始： ”autoplay txt001 start=10”
バトル： ”autoplay txt001 battletime=100 pgobattle”
デバッグ・コマンド：”autoplaydbgdisplay 0” “t.battletime=100” など

システム概要：リスト

自動プレイリスト
データの連続再生
方針1～4の結果を結びつける
データが誰でも作れ
る、すぐ実行できる
通しプレイの時間節約シンプルなデザイン

ワールド単位でデータ作成
方針1～4の結果を結びつける
通しプレイの時間節約シンプルなデザイン

world1
world2
world3
...
list1
――――
――――
――――
world1
――――
――――
――――
world2
――――
――――
――――
world3

world1 loop=5
world2 start=10
world3 battletime=100 pgobattle
...
list2
“autoplaylist list1”

world1 pgobattle loop=5
world2 pgobattle start=10
world3 battletime=100 pgobattle
...
list2 ループ3回
“autoplaylist list1”
“autoplaylist list2 loop=3 pgobattle”

テキスト読み込みと解析がUE4の既存機能で
FFileHelper::LoadFileToString()、FString::ParseIntoArray()、など

方針⑤

方針⑤
デバッグ機能があるビルドで
Testはメイン
Debugで追加情報
Shippingが対象外

実装コスト

実装コスト
ゼロからの実装2ヶ月、フィーチャーコンプ1ヶ月
ベース実装
フィーチャ
コンプ
実装期間

実装コスト
それ以外のサポートコストもあった
サポートコスト：データ更新、要望対応、システムバグ対応、など
ベース実装
フィーチャ
コンプ
実装期間
サポート
サポート期間

実装コスト
それ以外のサポートコストが開発期間の最後までだった
サポートコスト：データ更新、要望対応、システムバグ対応、など
ベース実装
フィーチャ
コンプ
サポート
開発期間

実装コスト（通しプレイデータ）
ファイル20個

平均1ファイル20回調整
0
1
2
3
4
5
6
7
8
デ
ー
タ
個
数
更新期間
データ個数 x 更新期間

平均1ファイル6ヶ月調整
0
1
2
3
4
5
6
7
8
デ
ー
タ
個
数
更新期間

平均1ファイル6ヶ月調整
※実コストはそれ以下の可能性 0
1
2
3
4
5
6
7
8
デ
ー
タ
個
数
更新期間

運営：フロー

運営：フロー
1. 担当者3～4人でデータ作成と調整

運営：フロー
2. 毎日実行と成果物を手でアップロード（8～14台の開発機）

運営：フロー
2. 毎日実行と成果物を手でアップロード（8～14台の開発機）
3. データ担当者が成果物をチェック
4. 成果物や問題をメッセージかメールで共有

運営：フロー
1. データ作成
2. 毎日実行
3. 結果チェック
4. 結果を共有
ゲームの
バグ？

運営：フロー
1. データ作成
2. 毎日実行
4. 結果を共有
ゲームの
バグ？
バグチケット
作成
QA確認エスカレーション
スルー/観察
はいできた
できなかった

運営：フロー
1. データ作成
2. 毎日実行
4. 結果を共有
データの
バグ？
データ担当者
が対応
いいえ
はい
システム担当者
が対応
いいえ
ゲームの
バグ？
バグチケット
作成
QA確認エスカレーション
スルー/観察
はいできた
できなかった
5. データ更新

運営：VCSルール

◆通しプレイとPGO用データだけサブミットOK

◆ボス周回、ハング再現データ、などはローカルだけ

◆ボス周回、ハング再現データ、などはローカルだけ
データ置き場：game_data/debug/...

自動プレイの実績
活用できたところ

活用できたところ①
クオリティーチェック
通しプレイ
背景チェック
ボス周回で動作確認
サウンド班目線のチェック

活用できたところ②
一晩～数日の放置（エージング）
長時間を渡った確認
低確率ハングとバグ再現
修正確認
メモリリーク（”mallocleak start/stop”）
UE4のメモリリーク対策 https://www.unrealengine.com/ja/tech-blog/dealing-with-
memory-leaks-in-ue4?lang=ja

活用できたところ③
PGOデータ生成
メモリとロード時間監視（常駐アセットのチェック、メモリリーク）
テクスチャープール監視（カットシーンのチェック）
最適化

活用できたところ：まとめ
クオリティーチェック長時間を渡った確認最適化
思ったより広く使われた（1セクション数人程度だったが、8セクションぐらい）
QA
背景
TA
最適化
サウンド
バトル
プログラマー
企画

何個かの再現しにくいハングと修正が確認できた

何個かの再現しにくいハングと修正が確認できた
大まかな計算だが、回せた時間が900人日以上

ネックだったところ

メンテコスト高かった（シンプルなデザインだからこそ＋高い頻度の変化）

実際のデータ編集はやりづらい（特に初心者に）
使えるフラグ多くて、コマンド打つには大変

バグの原因の解析

バグの原因の解析（録画である程度対策）

処理負荷かかったので、その辺りの計測をしなかった

改善

改善①
高いメンテコスト 設計重視、ゲーム依存とのバランス

改善②
高いメンテコスト
データ編集しづらい 編集ツールとフォーマットの見直し
コマンド入力が大変 GUI化
設計重視、ゲーム依存とのバランス

改善③
データ編集しづらい 編集ツールとフォーマットの見直し
コマンド入力が大変 GUI化
バグの解析/見分け 引き続いて録画、ログ向上

改善④
データ編集しづらい
コマンド入力が大変
バグの解析/見分け
処理負荷かかった
編集ツールとフォーマットの見直し
GUI化
引き続いて録画、ログ向上
マルチスレッド化や外部ツール化

改善⑤
通し中のセーブ
デバッグ表示整理
ポーズ操作
ランダム入力
ナビメッシュ移動
リトライ機能
実行関連の自動化
成果物関連の自動化
情報をDBに収集
ステート遷移整理
全滅頼らずにバトル
毎フレ➡通知化
ブラインド入力削減

まとめ

まとめ
3つのシステムを使って座標中心の移動で通しプレイの実現
通しプレイの時間節約シンプルなデザインデバッグ機能があるビルドで
データ担当者のおかげで完成できて、想定以上広く応用できた
高いコストだがリターンもそれなり。改善の余地がいっぱい

ご清聴ありがとうございました！
UNREALはエピック・ゲームズ・インコーポレーテッドの商標または登録商標です。
PlayStationおよびPS4は株式会社ソニー・インタラクティブエンタテインメントの商標または登録商標です。
BAYONETTAおよび龍が如くは株式会社セガゲームスの商標または登録商標です。
その他掲載されている会社名、商品名は、各社の商標または登録商標です。

UE4における自動プレイのポストモーテム

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to UE4における自動プレイのポストモーテム

Similar to UE4における自動プレイのポストモーテム (20)

More from エピック・ゲームズ・ジャパン Epic Games Japan

More from エピック・ゲームズ・ジャパン Epic Games Japan (20)

UE4における自動プレイのポストモーテム