吉祥寺.pm #23の発表資料です。 Test Harnessを使って、仕様外のふるまいをテストしましょうというお話です。 https://github.com/kawasima/rodriguez

1. システムダウンのひみつ
どうして連携するシステムが
ふえると、不安定になるの?
著: kawasima
吉祥寺.pmシリーズ vol.23

2. 現代のシステムは、単体で完結せず
様々なシステムを呼び、
様々なシステムから呼びだされます

3. 接続元/先の状態に大きく影響を受けます
●
エラーがすぐに返るとは限らない
●
レスポンスは返ってきてるけど異様に遅い
●
想定以上のデータが返される
●
想定以上のアクセスがくる
●
サイトへのアクセスが人間だけとは限らない
●
復旧してもまたすぐ大量のアクセスがくる

4. サーバ側のリソース保護が甘いと…
●
制限なしの結果セット
●
共有リソースのロック解放待ち
●
→スレッドが滞留する
●
→メモリが枯渇する
●
→システムダウン

5. クライアント側のエラーハンドリングが甘いと…
●
永遠に待つ
●
→API呼び出しのスレッドが滞留する
●
→メモリが枯渇する
●
→システムダウン

6. なぜメモリが枯渇するのか?
スレッド1 スレッド2 スレッド3
例えばJVMの場合、1スレッドにつき512KB-1MB程度メモリを消費する。
・・・
スレッドが滞留し、スレッドが滞留し、
その上限設定が適切でないと😨その上限設定が適切でないと😨

7. サーバのチェックリスト
❏ 処理スピードに律速するキューサイズにしてい
る?
❏ 取得するデータには上限が設定されている?

8. クライアントライブラリの
チェックリスト
❏ 各種タイムアウトが設定できる?
❏ タイムアウトのデフォルト値は? 一括で変更で
きる?
❏ リトライのサポートある?
❏ スレッド数の上限を設定できる?
❏ 非同期I/Oが使える?

9. システム間が繋がるしくみ

10. キューがあるので処理能力が上がる、
反面コントロールが追加で必要

11. リトルの法則
W
λ
L
=
待ち時間(分)
既に並んでいる人数
一分後に自分の後ろに並んだ人数

12. タイムアウト
●
Connection Timeout
– 接続が確立されるまでの時間
●
Socket Timeout
– 接続確立後、無通信状態の許容時間
●
Request Timeout
– 通信開始からの経過時間

13. キューが一杯のときの戦略
A)受け付けはするが即座にドロップする
B)受け付けて、代わりにキューに入っている別の
ものをドロップする
C)受け付けを拒否する
D)キューに空きが出来るまで呼び出し側をブロッ
クする

14. キューに空きが出来るまで
呼び出し側をブロックする
●
呼び出し側もキューイングすれば、呼び出しの
スピードを調整できる (Back Pressure)
キューが一杯なので、
秒間3リクエストでお願い
Caller Callee

15. HTTPでのBackPressure
●
X-RateLimit-Limit で単位時間あたりのリクエスト数を返す。

16. Leaky Bucketなどで転送量をコントロールする
●
https://github.com/vladimir-bukhtoyarov/bucket4j

17. サーバの仕様外の挙動の影響を最小化し
それをテストしよう

18. テストハーネス
リモートシステムが仕様の範囲外の挙動をしたときでも、
動き続けることができるか? をテストするためのエミュ
レータ
仕様の範囲外の挙動とは…?

19. ●
接続要求が拒否される
●
呼び出し側がタイム・アウトするまで、リスンキューに残り続ける
●
リモートのエンドポイントからSYN/ACKは返ってきたが、データが全く送られてこない。
●
リモートのエンドポイントは何も送信せずRESETパケットを送ってくる。
●
リモートのエンドポイントは、受信ウインドウが一杯になったとレポートできるが、データ
が空になることがない。
●
接続は確立できたが、リモートのエンドポイントは1バイトのデータも送られてこない。
●
接続は確立できたが、パケットがロストし、再送信遅延が発生する。
●
接続は確立できたが、リモートのエンドポイントはパケットの受信を確認せず、再送が無限
に続く。
●
サービスはリクエストを受け入れ、レスポンスヘッダ(HTTPの想定)を送信するが、レスポン
スボディを送信しない。
●
サービスは30秒ごとに1バイトのレスポンスを送信する。
●
サービスは予想されるXMLの代わりにHTMLでレスポンスを送信する。
●
レスポンスサイズはキロバイトオーダーが期待されているところ、メガバイトのレスポンス
を送信する。
●
サービスは、どんな認証クレデンシャルも拒否する。

20. Release It!推奨のテストハーネスの作り方
テストハーネスサーバ
10201
10202
10201
10203
接続拒否
コネクション確立するが
レスポンス返さず
スローレスポンス
おかしなふるまい毎におかしなふるまい毎にListenListenするポートを割り当てれば、テスト毎にハーネスを起動する必要がないするポートを割り当てれば、テスト毎にハーネスを起動する必要がない

21. 推奨のやり方に忠実にしたがった
テストハーネスを作りました

22. 簡単に起動できます！

23. Javaの場合は、JDBC接続で
遅いケースをテストできる

24. AWS SDKの接続先をRodriguezに変える

25. AWS SDKはタイムアウトのデフォルト値がヤバイヤバイので、
ちゃんと設定しましょう