AutoScale×ゲーム ~運用効率化への取り組み~

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.
ゲーム事業本部恋愛ゲームチーム藤原涼!
ゲームインフラチーム本田恭!
2014年07月18日
AutoScale × ゲーム
∼運用効率化への取り組み∼

運用効率化に向けたAWS導入背景から運用のお話
AWSをさらに活用するための技術的なお話
∼後半∼
∼前半∼
Agenda

１：サービスの特徴とシステム
２：AWSの導入に向けて
３：AWSを利用して発生した問題
Agenda
∼前半∼

自己紹介
藤原涼 (ふじわらりょう)
- 2012年新卒入社 (3年目)
- Twitter @megadreams14
AWSを使い始めた日
- ２０１３年６月１７日（月）

女性向け
「恋愛ソーシャルゲーム」
における導入事例

恋愛ソーシャルゲームとは

華やかで
甘いストーリー
が楽しめる
http://ikemen.cybird.ne.jp/of/play.html

アバターなどを
着せ替えて可愛く
コーディネイトできる
http://ikemen.cybird.ne.jp/of/play.html

http://ikemen.cybird.ne.jp/of/message.html
私達が皆様にお約束すること

リリース一覧

現在提供している恋愛ソーシャルゲーム
イケメン大奥
恋の園
イケメン恋戦
平清盛
100日間のプリンセス
もうひとつのイケメン王宮
イケメン王宮
真夜中のシンデレラ
新章イケメン大奥
禁じられた恋
イケメン幕末
運命の恋
ラブセン
∼Ｖ６とヒミツの恋∼
美男宮殿
月下灰姑娘
美男大奧
江戶奇緣
イケメン夜曲
ロミオと秘密のジュリエット
한밤중의 신데렐라

GREE Mobage Ameba
AppStore GooglePlay
GREE Mobage Ameba
AppStore GooglePlay
GREE Mobage Ameba
AppStore GooglePlay
GREE Ameba
AppStore GooglePlay
Ameba
AppStore GooglePlay
Ameba
AppStore GooglePlay
AppStore GooglePlay
Ameba
AppStore GooglePlay
AppStore GooglePlay AppStore GooglePlay
GREE Mobage Ameba
AppStore GooglePlay
dゲーム

GREE Mobage Ameba
AppStore GooglePlay
GREE Mobage Ameba
AppStore GooglePlay
GREE Mobage Ameba
AppStore GooglePlay
GREE Ameba
AppStore GooglePlay
Ameba
AppStore GooglePlay
Ameba
AppStore GooglePlay
AppStore GooglePlay
Ameba
AppStore GooglePlay
GREE Mobage Ameba
AppStore GooglePlay
dゲーム
全４０サイト

特徴

朝と夜にアクセス上昇
月１回の大きなイベント
弊社恋愛ソーシャルゲームの特徴

通勤通学時間帯・日付変更時に集中
http://gamebiz.jp/?p=127080
1日のアクセス数の変化
朝夜

通常の約５倍のアクセス
イベント開始時のアクセス数の変化

アバターの付与
華やかにドレスアップ♪
「100日間のプリンセス◆もうひとつのイケメン王宮」より

アバターの付与
華やかにドレスアップ♪
「100日間のプリンセス◆もうひとつのイケメン王宮」より
アバター合成でサーバ負荷

システム要件

弊社恋愛ソーシャルゲームのシステム要件
Web LoadBarancer
Webサーバアバター合成サーバ
Server Server Server
Image LoadBarancer
Server Server Server

∼前半∼
２：AWSの導入に向けて
Agenda

AWSを使うまでの苦労

イベント前のサーバ追加
手動でサーバ追加
サーバの追加に時間がかかる

コンテンツ数が多い
イベント前のサーバ追加
LB LB
LB LB
LB LB
LB LB
LB LB
LB LB
LB LB

事前追加や障害対応
アラートメール
状況確認
サーバ追加
手動でサーバ追加

３０分∼２時間程度
サーバの追加に時間がかかる
サーバ追加ステータスが変わらない

機会損失運用コスト
運用上の課題

AutoScale
URL

AutoScaleとは
サーバの負荷に合わせて
自動でサーバを追加/削除する機能
サーバ負荷スケジュール

AutoScaleを利用するには

サーバ構築の自動化
スケールイン時のデータの扱い

増えるだけでなく減ることも考慮
ログファイル
セッションデータ
画像ファイル

AMI
画像ファイル Apacheの設定
ミドルウェアのインストール
AMIで実現可能・・・だが
サーバ構築の自動化

GREE Mobage Ameba
AppStore GooglePlay
GREE Mobage Ameba
AppStore GooglePlay
GREE Mobage Ameba
AppStore GooglePlay
GREE Ameba
AppStore GooglePlay
Ameba
AppStore GooglePlay
Ameba
AppStore GooglePlay
AppStore GooglePlay
Ameba
AppStore GooglePlay
GREE Mobage Ameba
AppStore GooglePlay
dゲーム
設定が異なる複数のAMIが必要

http://www.techtonet.com/jenkins-continuous-integration/

サーバ構築の自動化を目指して
手動によるミスを無くすことが出来る
サーバごとに設定値を変更出来る
繰り返し作業を自動化出来る
Chef導入理由

NTPのインストール
ユーザディレクトリの設定
yum: epelレポジトリ追加
yum: remiレポジトリ追加
yum: tdレポジトリ追加
yumのキャッシュをクリア
swap領域の設定
SELinuxの設定
ユーザの作成
sudo権限の設定
ファイアウォールの設定
【AWS】CLIのインストール
【AWS】S3コマンドのインストール
コンパイル系パッケージインストール
mail,sarコマンドなどのインストール
gitのインストール
社内gitレポジトリへのアクセス設定
SWFEditorのインストール
Imagickのインストール
PHPのインストール
PHPパッケージのインストール
MySQLクライアントのインストール
Fluentdクライアントインストール
Apache:インストール
ZABBIX: agentインストール
Chef:knifeコマンドの設定
起動スクリプトの配置
起動スクリプトのデーモン化
ホストの設定
【AWS】ディスクパーティションの設定
Apache : virtualhostsの設定
Apache : 起動
ZABBIX: agent起動
Fluentd : td-agent: 起動
全３４項目
サーバ構築の自動化を目指して ∼Chefで設定したこと∼

swap領域の設定
SELinuxの設定
ユーザの作成
sudo権限の設定
全３４項目
ホストの設定
Apache : 起動
ZABBIX: agent起動
約２０分

NTP
yum:
yum: remi
yum: td
yum
swap
SELinux
ユーザの作成
sudo
【
【
mail,sar
git
社内
SWFEditor
Imagick
全３４項目
PHP
PHP
MySQL
Fluentd
Apache:
ZABBIX: agent
Chef:knife
ホストの設定
【
Apache :
Apache
ZABBIX: agent
Fluentd : td-agent
サーバ構築をスピードよく
約２０分

イケメン幕末
運命の恋
イケメン夜曲
共通の部分はAMIの中で定義
イケメン夜曲用AMI イケメン幕末用AMI

設定の違いのみをChefで実行
イケメン幕末
運命の恋
イケメン夜曲
GREE
イケメン夜曲用AMI
GooglePlay
イケメン幕末用AMI
AppStoreMobage GooglePlayAppStoreAmeba

swap領域の設定
SELinuxの設定
ユーザの作成
sudo権限の設定
ホストの設定
Apache : 起動
ZABBIX: agent起動
共通２８項目
全３４項目

swap領域の設定
SELinuxの設定
ユーザの作成
sudo権限の設定
ホストの設定
Apache : 起動
ZABBIX: agent起動
全３４項目
設定６項目
約５分
+ デプロイ

Chef × AWS
サーバ構築の自動化を目指して ∼Chefの実行∼

AutoScale構成図

AutoScaleを利用した構成図
ゾーンA ゾーンB
各ゾーンに均等にインスタンスを配置
オンデマンド
EC2
オンデマンド
EC2
Elastic Load
Balancing

オンデマンドインスタンス
Auto Scaling Groupオンデマンド
EC2
オンデマンド
EC2
オンデマンド
EC2
オンデマンド
EC2
Elastic Load
Balancing

オンデマンド
EC2
オンデマンド
EC2
オンデマンド
EC2
オンデマンド
EC2
Elastic Load
Balancing
CloudWatchでサーバ監視
CloudWatch

オンデマンド
EC2
オンデマンド
EC2
オンデマンド
EC2
オンデマンド
EC2
Elastic Load
Balancing
CloudWatch
アラートを検知
Alarm

オンデマンド
EC2
オンデマンド
EC2
オンデマンド
EC2
オンデマンド
EC2
Elastic Load
Balancing
CloudWatch
Alarm
AMIから起動
AMI

オンデマンド
EC2
オンデマンド
EC2
オンデマンド
EC2
オンデマンド
EC2
Elastic Load
Balancing
CloudWatch
Alarm
Chefの実行
AMI

オンデマンド
EC2
オンデマンド
EC2
オンデマンド
EC2
オンデマンド
EC2
Elastic Load
Balancing
CloudWatch
Alarm
2台ずつ追加
AMI
EC2
Instance
EC2
Instance

AutoScaleによる運用が順調にスタート
CPUロードアベレージ

∼前半∼
２：AWSを導入に向けて
Agenda

AWSを使ってみて
利便性
オンデマンドの価格
機能とサポート

価格・・・高い問題
ç

価格・・・やはり高い問題
リザーブドインスタンス検討

リザーブドインスタンスとは
予約金を一括で支払うことで、
期間内の時間あたりの料金が安くなる
インスタンス性能の変更に制約がある
年単位での支払い
∼特徴∼

リザーブドインスタンスとは
予約金を一括で支払うことで、
期間内の時間あたりの料金が安くなる
インスタンス性能の変更に制約がある
年単位での支払い
∼特徴∼
性能決めつけはリスク

価格・・・やはり高い問題
スポットインスタンス検討

スポットインスタンスとは
需要と共有のバランスによって
サーバの価格が決まる入札制度
必要なときに短時間だけ利用
約５分の１の価格
∼特徴∼

Instance Type
Availability zone
それぞれ価格が違う
スポットインスタンスとは

スポットインスタンスの特徴
２：サーバ価格より入札額が低いと
１：価格が変動
・サーバが落ちる
・サーバが起動しない

需要と供給のバランスで価格が変動

２：サーバ価格より入札額が低いと落ちる
入札額現在のサーバ価格＜＝
サーバが落ちる
※自動でサーバが落ちた場合、1時間未満の使用料については課金されない
既にサーバを利用中の場合

２：サーバ価格より入札額が低いと起動しない
入札額現在のサーバ価格＜＝
これからサーバを利用する場合
サーバが起動しない

スポットインスタンスの特徴
２：サーバ価格より入札額が低いと
・サーバが落ちる
・
本番での運用はリスク

スポットインスタンスの問題点
価格高くなる
サーバ落ちるサーバ起動しない
本番運用での課題

価格情報を監視
CYBIRDが考えたスポットの解決策１
ç

解決策１：価格情報を監視
価格変動の状況を把握する
入札価格の決定

http://www.zabbix.com/jp/img/logo/zabbix_logo_500x131.png

価格情報を監視・記録

スポットとAutoScale
CYBIRDが考えたスポットの解決策２
ç

入札価格の変更はConfigの変更だけで可能
解決策２：AutoScaleの利用
AutoScaleの利点
設定されたインスタンス起動数を担保する仕組み

AutoScalingGroup
・インスタンス起動数
・LaunchConfigの指定
LaunchConfig
・インスタンスタイプ
・スポットインスタンス入札額

解決策２：インスタンス起動数を担保する仕組み
AutoScaleの利点

AutoScalingGroup
・インスタンス起動数
・LaunchConfigの指定
LaunchConfig
・インスタンスタイプ
・スポットインスタンス入札額

オンデマンド
インスタンス
すぐにサーバ起動
スポットインスタンス
入札価格足りている
入札後サーバ起動
入札価格足りていない
入札待ちが続く
設定したサーバの起動数に足りていない時

AutoScaleの利点

AutoScalingGroupの設定
LaunchConfigA
$2.0入札
m3.2xlarge
AutoScalingGroup
2台起動
LaunchConfigA

LaunchConfigAの入札額では入札価格が足りない
ずっと入札を待ち続ける
AutoScalingGroup
2台起動
LaunchConfigA
入札待ち
ConfigA
LaunchConfigA
$2.0入札
m3.2xlarge
m3.2xlargeの価格 = $3.0

LaunchConfigA
$2.0入札
m3.2xlargeLaunchConfigB
$3.0入札
c3.2xlarge
AutoScalingGroup
2台起動
LaunchConfigB
サーバが起動できるLaunchConfigBに切り替える
新規で入札が入る入札中止
ConfigA
新規入札
ConfigB
c3.2xlargeの価格 = $0.8

LaunchConfigA
$2.0入札
m3.2xlargeLaunchConfigB
$3.0入札
c3.2xlarge
AutoScalingGroup
2台起動
LaunchConfigB
サーバが起動できるLaunchConfigBに切り替える
新規で入札が入る入札中止
ConfigA
新規入札
ConfigB
c3.2xlargeの価格 = $0.8
無事にサーバ起動

構成図
CYBIRDが考えたスポットインスタンス運用
ç

オンデマンド
EC2
オンデマンド
EC2
オンデマンド
EC2
オンデマンド
EC2
Elastic Load
Balancing

オンデマンド
EC2
オンデマンド
EC2
オンデマンド
EC2
オンデマンド
EC2
Elastic Load
Balancing
AutoScalingGroup
スポット
EC2
スポット
EC2

オンデマンドとスポットの利用比率
1ヶ月の使用時間の比率

オンデマンドとスポットの利用比率
1ヶ月の使用時間の比率
３∼４割のコスト削減

スポットの利用者が増えた
ç

2013年8月からスポットを利用
スポットの利用者が増えた問題

価格変動はほとんど無かった

価格変動が激しい

利用者が増えたことで起きた問題

再掲

通常時のサーバの例
オンデマンド
WebServer
スポット

イベントに備えサーバ追加
オンデマンドオンデマンド
WebServer
スポットスポット
オンデマンドオンデマンド
スポットスポット

スポットインスタンスの価格上昇

スポットインスタンスの価格上昇
自分たちで価格吊り上げる

現在取り組んでいること

スポットインスタンスConfig切り替え自動化

今出来ていること
スポットの!
価格状況が把握
AutoScaleの!
容易な設定変更

やりたいこと
AutoScaleの!
容易な設定変更
スポットの!
価格状況が把握
自動化

１：価格変動のアラートの閾値を設定
２：最適なインスタンス・入札額の選定
３：AutoScalingGroupに適用

１：価格変動のアラートの閾値を設定
安定稼働とコスト最適化を目指す
３：

AWSのAutoScale
運用コスト削減
様々なツールと組み合わせることで!
ニーズに合ったソリューションを構築
AutoScale スポットインスタンス

ここからは!
より技術的なお話

AutoScale×ゲーム ~運用効率化への取り組み~

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to AutoScale×ゲーム ~運用効率化への取り組み~

Similar to AutoScale×ゲーム ~運用効率化への取り組み~ (20)

AutoScale×ゲーム ~運用効率化への取り組み~