そーだいなるDBRE Night（2019-08-05）で発表した内容になります。

1. 某社のDB運用周りあれこれ
そーだいなるDBREナイト2019/08/05
@lhfukamachi
1

2. 自己紹介
$ cat /etc/lhfukamachi/lhfukamachi-auto.cnf | jq
{
"Version": 0.0.3,
"lhfukamachi": {
"Metadata": {
"BirthDay": 622134000,
"attribute": "渋谷で働く見習いDBA",
"Twitter": "@lhfukamachi",
}
}
2

3. 2年前のdb tech showcase
※私はこの発表をしていた人ではありません！ 3

4. あれから変わったことや
話してないこと
4

5. アジェンダ
タスク管理
admintool
緊急時用クライアントツール
新卒研修
開発環境のバックアップ
5

6. アジェンダ
タスク管理
admintool
緊急時用クライアントツール
新卒研修
開発環境のバックアップ
6

7. タスク管理
皆さんはどうやってタスク管理していますか？
redmine
JIRA
Trello
github projects
etc...
7

8. タスク管理
媒体を横断して管理しているチームの悩み
サービスの数だけDBが存在する
いろんなチャットの部屋で依頼が来る
それをチケット化(タスク)したかどうか覚えていな
い
媒体によって管理ツールが違う。
8

9. タスク管理
弊社DBチームの場合
slack + github issue + zenhub
9

10. タスク管理
slackのリアクションでタスク化する
slackのコメントに対してbook のリアクションつけ
るとgithub issueが作られるbotを利用
10

11. イメージ
依頼に対して のリアクションをすると
11

12. イメージ
botから通知がきてgithub issueの作成完了。
12

13. タスク管理
zenhubでカンバン化
zenhubでカンバン化してタスクを消化
13

14. イメージ
14

15. タスク管理
DBA依頼系の仕事は勝手にエンジニアがタスク化
してくれるので便利
各タスクにissueコメントにメモや対応を残してい
るので、似たタスクは他の人でも対応しやすい
コメントに進捗とかを書き込むと他のエンジニア
からアドバイスやヒントをもらえたりする
githubのため、サービスのリポジトリとも連携で
きているので関連付けがわかりやすい
見積もりのポイント付まではやっていない
15

16. アジェンダ
タスク管理
admintool
緊急時用クライアントツール
新卒研修
開発環境のバックアップ
16

17. admintool
admintoolとはyoku0825さんが作成したMySQLを
MySQLで管理する管理台帳ツール。
$ admin って打つと管理対象のMySQLがバァーっと
出てくる
各インスタンスに向かって平日1日2回yt-collectを
使って情報を集めている。
詳細は「MySQLを割と一人で300台管理する技
術」の管理台帳の項目を見るんだ！
17

18. admintool
※「MySQLを割と一人で300台管理する技術」より 18

19. admintool
$ admin
host ip port datadir version master
sample-db1 192.168.100.1 3306 /data/sample-db/ 5.7.40-log master ACTIVE
sample-db2 192.168.100.2 3306 /data/sample-db/ 5.7.40-log 192.168.100.1:3306 ACTIVE
test-db01 192.168.100.3 3307 /data/test-db01/ 8.0.15 master ACTIVE
test-db02 192.168.100.3 3308 /data/test-db02/ 8.0.15 master ACTIVE
19

20. admintool
あのサーバーってバージョンいくつだっけ？
（地味にPercona-Serverかどうかもわかる）
どのサーバーがslaveなの？
mikasafabricをつかっているので昨日のマスタ
ーが今日もマスターとは限らない
ytkitの監視(yt-health-check)をwhile文でまわして
全DBに投げている。
yt-health-checkについてはyoku0825さんの当日
のスライドで
なにげに、RDSやAuroraの情報も入っている。 20

21. admintool
それ以外にもyt-collectを使って
variable_info,table_status_infoを保持している。
あの設定なんの値だっけ？とかあるとサクッと調
べられる。
サービス内であれば同じMySQL(admintool)で管理
しているのでSQL文でSlaveごとの設定の違いを抽
出することができる。
21

22. admintool
SQL文でSlaveごとの設定の違いを抽出
mysql> WITH slave1 AS (SELECT * FROM variable_list WHERE hostname = 'sample-slave1'),
> slave2 AS (SELECT * FROM variable_list WHERE hostname = 'sample-slave2')
> SELECT variable_name, slave1.variable_value, slave2.variable_value FROM slave1
> JOIN slave2 USING(variable_name) WHERE slave1.variable_value <> slave2.variable_value;
+------------------+--------------------------------------+--------------------------------------+
| variable_name | variable_value | variable_value |
+------------------+--------------------------------------+--------------------------------------+
| general_log_file | /data/sample/slave1.log | /data/sample/slave2.log |
| hostname | sample-slave1 | sample-slave2 |
| server_id | 1 | 2 |
| server_uuid | 9424d3bf-5505-11e8-87f0-9412804bb8 | 1a58db-6543-11e8-b1d6-3ca82a1ce478 |
| thread_pool_size | 40 | 48 |
+------------------+--------------------------------------+--------------------------------------+
5 rows in set (0.01 sec)
22

23. admintool
とはいえ、
弊社はオンプレとかクラウドとか存在するので全部の
インスタンスを1つのadmintoolで管理することはで
きない
23

24. admintool
そこで、各サービスごとにadmintoolを設置。
このadmintoolの情報をAPIGateway経由で
DynamoDBに保持、cURLで情報を取得できるように
している。
その名も：global_admin
24

25. admintool
図にするとこんな感じ
25

26. admintool
気づいたら最近performance_schemaや
innodb_metricsの情報をとるようになっていた。
これらのデータをwindow関数（ラグ関数だったか
な？）を使って、にやにやしているDBA を一度み
たことある。
まだまだ進化しそう。
26

27. アジェンダ
タスク管理
admintool
緊急時用クライアントツール
新卒研修
開発環境のバックアップ
27

28. 緊急時用クライアントツール
みなさんのところには本番DBにアクセスするための
端末は存在しますか？
28

29. 緊急時用クライアントツール
弊社の場合、DB端末は会社にある。 （当たり前…
29

30. 緊急時用クライアントツール
とはいえ、
「入稿設定をミスって設定していました。
管理画面の仕様上、こちらで変更することがで
きません！」（なんだとっ！
「すみません。こちらのAPIがおかしいようで、こ
のSQLの結果を教えていただけませんか？」
（DBAからはへんじがない。）
30

31. 緊急時用クライアントツール
サービスは24時間営業なのでもちろん土日や深夜に
依頼がくることがまれにある。
（DBAからはへんじがない。）
31

32. DBAからはへんじがない。
32

33. 緊急時用クライアントツール
そこで、本当に緊急の場合のみ利用可能な
「LDAP認証＋投げたSQLがslackで通知される」
仕組みを導入。
33

34. 緊急時用クライアントツール
仕組みとしては
MySQLはmysqlclient
それ以外のRDBMSはusql(Golang製のクライアン
トツール)
これらを改修してLDAP認証必須+実行SQL（syntax
errorも含めて）をslackに通知する仕組みを導入
とあるサーバー上にだけ存在し、LDAP認証、専用ユ
ーザーのパスワードを必須としてログインでき、「誰
が、何を投げたか」がわかる仕組み。 34

35. 緊急時用クライアントツール
投げたSQLは後日、事後申請という形で担保。
（相変わらず、DBAからはへんじがない。ただし問
題は解決したようだ。）
35

36. アジェンダ
タスク管理
admintool
緊急時用クライアントツール
新卒研修
開発環境のバックアップ
36

37. 新卒研修
皆さんのところはどのような新卒研修がありますか？
37

38. 新卒研修
今年のDB研修(2日間)
DDL
DML
Explainの見方
テーブル設計
ロックとトランザクション分離レベル
レプリケーションとバックアップ
過去に起こった事件と解決へのアプローチ方法
38

39. 新卒研修
正直座学多め、かつ他の研修もあるので2日間では身
につきにくい
サービスに配属されていないのでイメージがつきづら
い
他にも、忘れてしまうとか、言ってる意味がわからな
いとか…
39

40. 新卒研修
弊社の場合、基礎研修が終わったあとに、7ヶ月～1
年かけてOJTで部署を2,3ヶ月ごとにまわる。
ここ最近では、インフラチームやDBチームにOJTに
くることがある。
40

41. 新卒研修
DBチームに来た場合は、もちろんDBA業務をする
ことなる。
そこでみっちりDBの知識を叩き込まれる
スローログ解析
INDEXの提案
テーブル設計のヘルプ
DB障害対応&& DB再構築
etc...
41

42. 新卒研修
本配属時にはDBチームで学んだことを活かしなが
らアプリケーション開発を実施してくれるので、
たまに「あ、これ進研ゼミDBチームでやったやつ
だ！」ってなる（はず
各サービスではコードレビューなどで適切なテー
ブル設計やINDEX設計をしてくれる。わからなく
ても関係値があるので積極的に質問が来る。
42

43. 新卒研修
各サービスにプチDBAがいるようなイメージ
※年々プチDBAが増加中 ！！！
43

44. アジェンダ
タスク管理
admintool
DB端末
新卒研修
開発環境のバックアップ
44

45. 開発環境のバックアップ
みなさん、データベースのバックアップとってます
か？
45

46. 開発環境のバックアップ
みなさん、開発環境のデータベースのバックアップと
ってますか？
46

47. 開発環境のバックアップ
開発環境のバックアップがあると便利なこと
バックアップからインスタンスを複製して検証を
自由にできる（ただし個人情報がないことが前
提）
バージョンアップや設定の検証
サーバーサイドエンジニアが自信を持って失敗で
きる（重要）
47

48. 開発環境のバックアップ
弊社ではもともと開発環境はバックアップとって
なかったらしい
現在は毎日バックアップを取得している
年に数回、開発環境に対して「DROPしちゃいまし
た」or「全件UPDATEしちゃいました」って事件
が起こる
48

49. 開発環境のバックアップ
自分を含めて、だれもが一度はやってしまうもの
だと思うべき
絶対おこらないということは絶対ない
大体そういうときはbinlogとかは残っているので、
バックアップ+ binlogを利用して復旧させる
これが地味にPITRの練習になったりもする。
49

50. 開発環境のバックアップ
ミスはだれにもであるので、ある程度の失敗はカ
バーできるように準備をしておく。
※ただし本番環境にぶっつけでやられるとちょっと辛い
50

51. 最後に
51

52. 今回なぜ、このような
発表をしたのか。
52

53. 何が正しいのかわからない
正直なところ、
他がどう管理しているのか、
どう運用しているのかわからない。
53

54. いいものがあれば真似してほ
しい
54

55. もっと楽に運用できる方法や
改善点があれば教えてほしい
55

56. DB運用術をみんなで共有して
面倒を見る人を少しずつ増や
して行きましょう。
56

57. 以上
57

58. ご清聴
ありがとうございました！
58