This slide is explaining how to monitor data store from java using JDK Flight Recorder and Jfr4Jdbc

1. 伊藤ちひろ
Chihiro Ito
最新のJavaで使える
最先端のデータベース監視
Advanced Database Monitoring in Modern Java
1

2. Source:
Insert source data here
Insert source data here
Insert source data here
OPTIONAL SECTION MARKER OR TITLE
伊藤ちひろ (Chihiro Ito)
OpenJDK Committer (JFR, SA)
Middleware Solution Architect @ Red Hat
Twitter : @chiroito
自己紹介
Profile
2

3. 本資料の対象者
Target of this presentation
● Java を使って開発している人
Java Developer
● Data Store を使ったシステムを開発してる人
Deveroper using Data Stores in system
● Java か Data Store で性能問題が起きてる気がする人
People guessing performance problems in Java or Data Store
● Data Store で起きてる問題の根拠を出せなくて調査できない人
People who can't provide evidence of the problems happening in the Data Store
3

4. システムの構成要素
Compornents of System
アプリケーション
Application
データストア
Data Store
問い合せ
Query
* Query Language
Put/Get
4

5. よくある問題
A common problem
アプリ開発者
Application Developer
データストア管理者
Data Store Administrator
このクエリが遅いと思うから
DB側で調べてくれよ
I expect this query to be slow, so
the DBA should look into it.
統計情報を見ても遅延なんて
出ていないからアプリが原因だろ
I haven't seen any delays in the
stats, so it's probably the app.
5

6. 私たちに必要なもの
What we need
6
適切な証拠
Appropriate Evidence
この状況で問題が
発生するのか！
This system have
problems in this
situation!
アプリケーション
Application
出力
Output
Data Store管理者
Data Store Administrator
！

7. 適切な証拠を集めるのは非常に困難
It's very difficult to collect appropriate evidence
println
println
実行計画
Execution
plan
どこだ･･･
Where's...
どのクエリだ･･･
Which query...
7
アプリケーション
Application
データストア
Data Store

8. こうしませんか？
How about this approach?
● 事前に全ての問題が特定できるなら、事前に解決できる
If you can identify all the problems in advance, you can solve them in advance
● 問題発生時に予想で問題箇所を絞り込んでいくのは止める
Don't use predictions to narrow down the problem areas when they occur.
● 仕組みを導入して、問題は確実に対応できるようにする
Put a mechanism in place to ensure that problems are addressed.
8

9. 私たちが望む姿
What we want
問題のある箇所の可視化
Visualization of problem areas
問題が起きたら通知
Notify when there's a problem
9

10. どうすれば良いの？
What should I do?
Jfr4Jdbc
JDK Flight Recorder
10
and

11. JDK Flight Recorder (JFR) とは
What’s JDK Flight Recorder (JFR)
● OpenJDK 11から使えるプロファイリングツール
Profiling tools available from OpenJDK 11
● 小さいオーバーヘッドでJVM内のイベントを記録
Record the event in the JVM with a small overhead
● ダンプしてJDK Mission Controlで見たり、イベントを処理をする
Dumping and viewing in JDK Mission Control and handling events
11

12. Jfr4Jdbc とは
What’s Jfr4Jdbc?
● 他のJDBCドライバをラップする JDBC ドライバ
JDBC driver to wrap other JDBC drivers
● JDBC のメソッド呼び出しにあわせてイベントを JFR に記録
Recording events to JFR as JDBC methods are called
○ 接続、問い合せ、コミット、ロールバックなど
Connections, inquiries, commits, rollbacks, etc.
12

13. JFR周辺の全体像
Overview of the JFR area
Jfr4Jdbc
JFR
JMC
イベント処理
Event Processing
ダンプファイル
Dump File
リポジトリ
Repository
13
設定
Settings

14. JFRのはじめかた
How to get started with JFR
● VMの起動オプション
JVM Options
● 外部ツール（JMC/JMX/JCMD）
External Tools
● API
○ JFR API
○ JFR Event Streaming API （Java 14）
14

15. 起動オプションと外部からの起動とダンプ
Start JFR from JVM options or external tool, and dump from external tool
● VMの起動オプション
JVM Options
java -XX:StartFlightRecording=name=<name>,dumponexit=true,filename=dump.jfr Main
jcmd <PID> JFR.dump name=<name> filename=dump.jfr
jcmd <PID> JFR.stop name=<name> filename=dump.jfr
● 外部ツールからの起動
Launching from an external tool
15
jcmd <PID> JFR.start name=<name> dumponexit=true filename=dump.jfr
● 外部ツールからのダンプと停止
Dummping and stopping from an external tool

16. APIによるJFRの記録の開始とダンプ
API to start recording and dumping JFR
try(Recording recording = new Recording()) {
recording.enable(JfrConnectionEvent.class);
// 様々な設定をする Various settings.
recording.start();
// なにかイベントを発する処理をする Process to emit some events.
Path dumpFilePath = Files.createFile(Paths.get("dump.jfr")).toRealPath();
recording.dump(dumpFilePath);
recording.stop();
catch(Exception e) {}
16

17. APIによるJFRの記録の開始とイベント処理
API to initiate JFR recording and event processing
Configuration config = Configuration.getConfiguration("default");
try (EventStream es = new RecordingStream(config)) {
es.onEvent("dev.jfr4jdbc.event.jfr.JfrStatementEvent", System.out::println);
// 処理したい内容を追加 Add what you want to process
es.startAsync();
// なにかイベントを発する処理をする Process to emit some events.
} catch (Exception e) {
}
17

18. Jfr4Jdbcのはじめ方
How to get started with Jfr4Jdbc
DataSource ds = new Jfr4JdbcDataSource(db.getDataSource());
Connection con = ds.getConnection(); // instance of JfrConneciton
PreparedStatement stmt = con.prepareStatement(sql); // instance of JfrPreparedStatement
● URLにjfr:を追加する (例：jdbc:jfr:postgresql://host:port/db)
Add jfr: to the URL
● JDBC の各インスタンスをラップする
Wrapping each instance of JDBC
○ そのインスタンスから生成される他のインスタンスはラップ済
Other instances created from that instance are already wrapped
18

19. 実例１Example 1
19

20. 質問：どこに問題があるか？
Question: where is the problem?
DataSource ds = ・・・
try (Connection con = ds.getConnection()) {
// 何かしらの処理をする Do something
PreparedStatement stmt = con.prepareStatement("SELECT 1 FROM dual");
stmt.executeQuery();
} catch (SQLException e) {
// ちゃんとした例外処理 Appropriate exception handling
}
20

21. 答え：コネクションの割り当てに問題
Answer: connection allocation is the problem
DataSource ds = ・・・
try (Connection con = ds.getConnection()) {
// 何かしらの処理をする Do something
PreparedStatement stmt = con.prepareStatement("SELECT 1 FROM dual");
stmt.executeQuery();
} catch (SQLException e) {
// ちゃんとした例外処理 Appropriate exception handling
}
21

22. 理由：接続数が不足していた
Reason: There were not enough connections
アプリケーション
Application
データストア
Data Store
>
受付けるスレッド数
Number of
acceptable threads
用意してる接続数
Number of available
connections
22

23. コネクションの割り当て待ちの全体像
The overall picture of waiting for connections to be assigned
23
割り当て待ち
waiting for assignment
問い合せ時間
Query time

24. あるコネクションに絞った JFR
JFR focused on one connection
24
問い合せ中
querying in progress
割り当て待ち
waiting for assignment

25. 課題と改善
Issues and Improvements
● 割り当てに時間が掛かると想定してない
No one expects it to take a long time to assign
● この問題は負荷試験をしないと発現することはない
The problem won't appear until you do a load test
● プールするコネクション数を増やして改善
Improve it by increasing the number of connections to pool
25

26. 改善して割り当て待ちが無くなった
Improvements and no longer waiting for assignments
26

27. 実例２Example 2
27

28. 質問：どこに問題があるか？
Question: where is the problem?
DataSource ds = ・・・
try (Connection con = ds.getConnection()) {
// 何かしらの処理をする Do something
PreparedStatement stmt = con.prepareStatement("SELECT * FROM t WHERE pref = ?");
stmt.setString(0, getPref());
stmt.executeQuery();
} catch (SQLException e) {
// ちゃんとした例外処理 Appropriate exception handling
}
28

29. 答え：パラメータの値に問題
Answer: the value of the parameter matters
DataSource ds = ・・・
try (Connection con = ds.getConnection()) {
// 何かしらの処理をする Do something
PreparedStatement stmt = con.prepareStatement("SELECT * FROM t WHERE pref = ?");
stmt.setString(0, getPref());
stmt.executeQuery();
} catch (SQLException e) {
// ちゃんとした例外処理 Appropriate exception handling
}
29

30. 理由：あるパラメータでは実行計画が不適切
Reason: improper execution plan for some parameters
アプリケーション
Application
データストア
Data Store
30
Tokyo
Shimane
Tottori
特定のパラメータでは遅い
Slow on some parameters

31. たまに時間が長い問い合せがある
Sometimes there are queries that take a long time
31
たまに問い合せが遅い
Sometimes the queries are slow

32. 時間の長い問い合せを確認する
Check out the time-consuming queries
32
パラメータがTokyoのクエリだけ
querys with only Tokyo parameter
遅い順に並び替え
Sorted in slow order

33. 課題と改善
Issues and Improvements
● パラメータによって発生する問題の再現は難しい
It's hard to see the problems caused by the parameters
● データストアの実装およびデータ量によって異なる
Depends on the implementation of the data store and the amount of data
● 最適な実行計画が使われるように問い合せる
Query the best execution plan to be used
33

34. 長い処理時間が消えた
The long processing time is gone
34

35. まとめ
Conclusion
● 問題発生時に予想で問題箇所を絞り込んでいくのは止める
Don't use predictions to narrow down the problem areas when they occur.
● 仕組みを導入して、問題は確実に対応できるようにする
Put a mechanism in place to ensure that problems are addressed.
● JFR と Jfr4Jdbc を使えば、問題を漏れなく確認できる
Using JFR and Jfr4Jdbc, you can check for problems without missing a beat
● やることは依存性を足して URL に jfr: を追加するだけ。
All you have to do is add dependencies and add jfr: to the URL
35

36. CONFIDENTIAL Designator
linkedin.com/company/red-hat
youtube.com/user/RedHatVideos
facebook.com/redhatinc
twitter.com/RedHat
Thank you
36