グリー社内勉強会「Mini Tech Talk」発表資料 (2015/02/20) ネイティブゲーム開発におけるこれからの品質保証 西脇春名 ※「Mini Tech Talk」とは、グリー社内で毎週金曜のランチタイムを利用して開催されている技術勉強会です

1. ネイティブゲーム開発における
これからの品質保証
Quality Assurance部 Native Game QAチーム 西脇春名

2. 発表者の背景
2013年4月入社
旧プラットフォーム部
~2014年8月末
旧ネイティブゲームスタジオ
2014年9月~
QA部
QA部に来るまでは社内向けKPI計測アプ
リケーションの保守運用をしていました

3. 今日お話したいこと
品質保証のはなし
そもそも品質保証とは？というところから
Native Game QAチームの今まで
今まで行ってきたことの紹介
テストエンジニアリングとNGQAチームのこれから
実験的に始めていること、これからやりたいこと

4. 1.品質保証の話

5. 「品質」を「保証」するって何？

6. 要件通りの
動作をすればOK？
不具合が
なければOK？

7. 不具合が
なければOK？
要件通りの
動作をすればOK？
という訳ではない

8. 品質には2種類ある
魅力的品質
当たり前品質

9. 品質には2種類ある
魅力的品質
当たり前品質 機能そのものが
意図通り動いている
その製品を
使いたくなる特徴

10. 品質には2種類ある
魅力的品質
当たり前品質
強制終了しない、
障害が起こらない、
脆弱性が少ないなど
カードイラストの
クオリティが高い、
ストーリー性が高い等

11. 品質には2種類ある
魅力的品質
当たり前品質 減点法で評価されがち
レビュー等ではここを
評価されることが多い

12. 品質には2種類ある
魅力的品質
当たり前品質
この2つはたびたび
トレードオフになる

13. 品質には2種類ある
魅力的品質
当たり前品質
魅力となり得る機能を
リリース直前に入れると
当たり前品質は下がる
可能性がある

14. 品質には2種類ある
魅力的品質
当たり前品質
どちらを優先するのか、
QAと開発チームで
共通認識を持って
開発を進める必要がある

15. 2.NGQAチームの今まで

16. QAも開発手法に合わせている
Wright Flyer Studiosでは開発初期の開発手法にスクラムを取
り入れているチームが多い
本開発が決定した後のタイミングでそのチーム担当とし
てQAから開発チームに入る
開発チームに合わせてテスト実施を継続的に行う

17. って、結局リリース前まで何してるの？

18. 機能が全て実装されてな
いのにテストするの？
必要ないんじゃない？

19. 機能が全て実装されてな
いのにテストするの？
必要ないんじゃない？
という訳ではない

20. 開発フェーズに合わせ、
日々テストを行っている <初期~リリース>
テストケースを継続的に保守し、都度更新
できれば毎日実機上で動かす
実機上でしかわからない不具合を見つけるため
実機上でないとわからない操作感も確認
探索的テストを行う
テストケースを実行するだけではわからない不具合を見つ
けるため

21. 開発フェーズに合わせ、
日々テストを行っている <中期~後期>
フィールドワーク
地下鉄やJRに乗ってゲームをプレイ
モニタリング
ターゲットユーザーに刺さっているか調査
面白さ、継続性があるか など
プレイにストレスを感じる部分等を洗い出す
フォーカスグループテスト
同時に遊んでもらい、特定の課題に関してディスカッション
ローカライズ対応

22. 開発フェーズに合わせ、
日々テストを行っている <後期~リリース~運用>
脆弱性診断のフォロー
セキュリティ部とのブリッジ、フォロー
リリース前ベンダーQAの実施
協力会社さんと協調してQA => 修正 => QA…のサイクルを回す
クラッシュ率（アプリ強制終了率）やレビューをトラッキング
新機能リリース前QA
探索的テスト
ゲームが全く変わらなくても、端末は新しく出続けるので…

23. 3.テストエンジニアと
NGQAチームのこれから

24. テストエンジニアって必要ある？

25. !
テストエンジニアって
必要ある？
!
開発エンジニアが
やればいいんじゃない？

26. !
テストエンジニアって
必要ある？
!
開発エンジニアが
やればいいんじゃない？
という訳ではない

27. それぞれの役割と責任がある
開発エンジニア
面白いゲームや便利なサービスを開発することが役割
テストエンジニア
製品の品質を向上させるのに貢献するのが役割
あくまでも品質保証の立場からエンジニアリングを行う
製品の品質の向上を阻害する原因を取り除いたり
品質向上の為に必要な技術的支援をする

28. その上で今後やっていくこと
テストに関わることの保守や運用
Jenkins（別にTravisでも何でもいい）立ち上げ、保守
実機で動かせる状態を保守
テストに必要なツールなどの開発
コードベースでの不具合指摘・修正pull request
もちろん今までやってきたQA業務も並行して行う
できれば1プロダクトにつきエンジニア/非エンジニアと2人でQA
を行う体制にして行きたい

29. 今後やっていきたいこと
ネイティブゲームの受け入れテスト一部自動化
複合的な知識が必要で難しい
Unity, cocos2d-x, android, ios, テストドライバ…
ゲームの受け入れテストはあまり進んでいない分野、情報が少ない
通常のQA業務をやっていたらそもそも時間がない
なんとか突破口を掴めないかと自動化についての本の輪講会を行い様々
なチームと情報を交換中

30. 最後に
ネイティブスマホゲームの品質保証は、まだまだ確立され
ていない分野、今まさに発展中/発展して行く分野
まだまだ出来ることがある
だから面白い
面白いゲームを作りたいという想いは開発チームと同じ
今後もよろしくお願いします！

31. みんなではっぴーはっきんぐ！