データセンター移行に伴い、 MySQLをカジュアルにアップグレードしたお話

データセンター移行に伴い、
MySQLをカジュアルに
アップグレードしたお話
MySQL Casual Talks Vol.3
∼カジュアルだよこわくないよ∼

2012/04/19
Naoya Nakazawa@n0ts
日本オラクル青山センター
Thursday, April 19, 12

自己紹介


n Naoya Nakazawa

n @n0ts

n 日本語ブログ

n http://www.sssg.org/blogs/naoya/

n 無所属

n ケーブリングからアプリまで


サーバ/インフラエンジニア養成読本管理/監視編

絶賛発売中！！！


今日のお話


n 大人の事情で、あるサービスをデータセン
ター移行することになりました

n そのついでに MySQL をアップグレードし
たので、そのお話をします


その前に


前回のMySQL Casual
Talks Vol.2


「MySQL 5.0 -> 5.5 へのアップグレードプラスなんか」
@oranie

http://d.hatena.ne.jp/oranie/20110810/1312969238

サービスを停止できる場合での、
MySQL 5.0から5.5に
アップグレードするための方法


はてブお願いします！！！

今日は、サービスが止める
ことができない場合
のMySQLアップグレードについての
お話をします


サービス規模
n とある広告系サービス

n 秒間あたりのピーク時のリクエスト数

n X000 req/sec
n 物理サーバ1ラック程度

n 超小規模サービス


サーバ構成
（簡易版）


LVS

Application Server

Write Write

LVS
Read Read

repl repl
Master Slave Master Slave
DB1 DB2
MySQL 5.0.51b MySQL 5.0.71

MySQL 5.0.51b?


InnoDB Deep Talk #1 2012/03/10

5.0.53!

https://twitter.com/#!/nobu666/status/178350176719736832


データセンター移行


移行前のサーバ構成


旧DC 新DC

LVS LVS

Application Application
Server Server

LVS LVS

repl repl repl repl

DB1 DB2 DB1 DB2


旧DC 新DC

Master Master

DB1 DB1
repl ×SSL Replication repl
MySQL 5.0.51b MySQL 5.1.58
SSH Port Forwarding

Slave Slave

Master Master

DB2 DB2
repl repl
MySQL 5.0.71 MySQL 5.1.58

Slave Slave


SSLレプリケーションの失敗

n MySQL 5.1.58から5.0.51bに接続すると、次のエ
ラーが発生した

n ERROR 2026 (HY000): SSL connection error
n Masterのバージョンを5.1.58にあわせるとうまく
いったので、バージョンの問題か、5.0系をSSL対
応ビルドしていなかったことが原因かもしれない


SSHポートフォワード
n 新DC DB1 Master上で、旧DC DB1 MasterにSSHトンネルを掘る

n ssh -f <旧DC DB1 Master> -L 13306:localhost:3306 -N -4 -g

n LVS経由のため、LVSが切り替わるとSSHトンネルが切れるため、
Monitで定期的にSSHトンネルが閉じているか確認するようにした

n pgrepしてなければSSHトンネルを掘る簡単なシェルスクリプト

n 新DC DB1 Masterを、一時的にSlaveにする

n mysql> CHANGE MASTER TO MASTER_HOST='127.0.0.1',
MASTER_PORT=13306 ...;


新DCのMySQL
n MySQL SlaveのみハードウェアRAID0 + SSD x 4

n XFS, deadlineスケジューラ

n 公式のMySQL 5.1.58 RPM

n InnoDB pluginを利用

n InnoDBの設定を全般的に見直したかったので、旧DC上でmysqldumpした
データを流し込んで、新DC DB1 Masterをスレーブとした

n DB2の方は、完全移行後に停止して移行した

n 一部のテーブルにInnoDB Data Compressionを導入


DC移行
-STEP 1-


n DNSラウンドロビンにする（レジストラ
の仕様でTTLを変更できなかった）

n 新DB1のアプリケーションの書き込み先
は、SSHトンネル経由で旧DCのDB1
Masterに対して行う


旧DC 新DC
Trafﬁc

LVS LVS

Server Server

LVS Write LVS

repl repl repl repl

DB1 DB2 DB1 DB2


DC移行
-STEP 2-


n DNSラウンドロビンをやめて、新DCのみ
切り替える

n リクエストが完全に新DCのみになるまで
しばらく待つ


DC移行
-STEP 3-


1. リクエストの最も少ない時間帯に、アプリケー
ションからデータベースへの書き込みを一時的に
停止する（バッチなどもあわせて）

2. 新DC DB1のSlaveをMasterへ昇格させる

3. 昇格後、アプリケーションからデータベースの書
き込みを再開させる


旧DC 新DC
Trafﬁc

LVS LVS

Server Server

LVS LVS

repl repl repl repl

DB1 DB2 DB1 DB2


まとめ


n DC移行中を含めてサービスの停止はなし

n 移行中もサービス上の大きな遅延はなし

n SlaveをMasterへ昇格させる数分間だけ、書き込み
は一時停止したけれどサービスの停止はなし

n あわせて、MySQL 5.0系から5.1系に安全にかつ問
題なくアップグレードできた


Thanks!


データセンター移行に伴い、 MySQLをカジュアルにアップグレードしたお話

Recommended

Recommended

More Related Content

More from Naoya Nakazawa

More from Naoya Nakazawa (15)

Recently uploaded

Recently uploaded (9)

データセンター移行に伴い、 MySQLをカジュアルにアップグレードしたお話