Recommended
More Related Content
What's hot
What's hot (20)
Similar to JDK Mission Control: Where We Are, Where We Are Going [Groundbreakers APAC 2019 Tokyo]
Similar to JDK Mission Control: Where We Are, Where We Are Going [Groundbreakers APAC 2019 Tokyo] (20)
More from David Buck
More from David Buck (20)
JDK Mission Control: Where We Are, Where We Are Going [Groundbreakers APAC 2019 Tokyo]
- 1. The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, timing, and pricing of any features or functionality described for Oracle’s products may change and remains at the sole discretion of Oracle Corporation. Statements in this presentation relating to Oracle’s future plans, expectations, beliefs, intentions and prospects are “forward-looking statements” and are subject to material risks and uncertainties. A detailed discussion of these factors and other risks that affect our business is contained in Oracle’s Securities and Exchange Commission (SEC) filings, including our most recent reports on Form 10-K and Form 10-Q under the heading “Risk Factors.” These filings are available on the SEC’s website or on Oracle’s website at http://www.oracle.com/investor. All information in this presentation is current as of September 2019 and Oracle undertakes no duty to update any statement in light of new information or future events. Safe Harbor Copyright © 2019 Oracle and/or its affiliates.
- 2. JDK Mission Control: Where We Are, Where We Are Going Principal Member of Technical Staff Java Platform Group October 24, 2019 David Buck Copyright © 2019 Oracle and/or its affiliates.
- 3. JVM Sustaining Engineer OpenJDK 8 Update Project Maintainer JavaOne Rock Star Co-author of Oracle WebLogic Server 11g 構築・運用ガイド @DavidBuckJP https://blogs.oracle.com/buck/ Hello! David Buck (左)
- 4. • 背景 • 歴史 • ビルド • デモ（脱線話含み） • まとめ Copyright © 2019 Oracle and/or its affiliates. Agenda
- 5. 背景
- 6. 複数の技術 • (JRockit / Java / JDK) Mission Control • Flight Recording • Oracle JDK: JDK 7 • OpenJDK: JDK 11 • JEP 167: Event-Based JVM Tracing (JDK 7) • JEP 328: Flight Recorder (JDK 11)
- 7. Flight Recorder • JVM イベントのデータを生成、格納する仕組み • 低いオーバーヘッド • 商用環境の利用が想定内 • 常に有効にすることも現実的
- 8. Mission Control • Eclipse ベースの GUI ツール • Flight Recording データの表示 • Flight Recording の自動分析 • リアルタイム監視・管理のための JMX コンソール • 拡張機能を追加するための Plug-in フレームワーク • Eclipse IDE に組み込で利用することも可能
- 9. Mission Control • Eclipse ベースの GUI ツール • Flight Recording データの表示 • Flight Recording の自動分析 • リアルタイム監視・管理のための JMX コンソール • 拡張機能を追加するための Plug-in フレームワーク • Eclipse IDE に組み込みで利用することも可能
- 10. 歴史
- 11. スウェーデンでの始め By Holger.Ellgaard - Own work, CC BY-SA 3.0, https://commons.wikimedia.org/w/index.php?curid=5623391
- 12. JRockit • Stockholm にあった Appeal Virtual Systems によって開発された • JITのみ JVM （インタプリタなし） • Intel (x86 / AMD64 / IA64) のパフォー マンスに注目
- 13. 「Value Add」（付加価値） • 最初は “Virtual Machine for Java”として販売された • Java のライセンスを取得するには「value add」が必要 • 「Sun より速いぞ！」とはあまり喜んでもらいなかったそうだ • JRockit の管理・監視ツールが「value add」として認められた
- 14. Alex Flury at English Wikipedia [Public domain]
- 15. By VARA - Beeld- en Geluidwiki, CC BY-SA 3.0, https://commons.wikimedia.org/w/index.php?curid=49198465
- 17. 2002
- 18. Appeal Virtual Machines BEA Systems
- 19. BEA Systems
- 20. 2008
- 21. BEA Systems
- 22. BEA Systems
- 23. 2009
- 26. JVM 機能の統合 • HotSpot が JRockit の一番いい機能を導入 • 診断コマンド (JDK 7) • コンパイル管理 (JDK 9) • ネイティブメモリ追跡 (JDK 7) • Flight Recorder (JDK 7) • ビルドの仕組み（内部） (JDK 8) • JRockit Mission Control -> Java Mission Control
- 27. JRockit Mission Control 1
- 28. JRockit Runtime Analyzer • コンサルティングの経験に基づいた • やり取りの回数を減らすために幅広くデータを収集 • JVM 内部の既存処理にてデータを所得するので追加負荷を抑える • 圧縮された XMLとしてデータを格納する
- 29. JRockit Mission Control 2
- 30. JRockit Mission Control 3
- 31. JRockit Mission Control 4 • Oracle 買収後 (JRockit R28) • JRockit Runtime Analyzer -> Flight Recorder • XML データ -> バイナリデータ • データ収集と格納のオーバーヘッドが減る
- 32. Java Mission Control 5
- 33. Flight Recorder in HotSpot • 7u40 で Flight Recorder が追加された • JMC 5 が JDK に同梱されるようになった
- 34. JDK 7 JMC 5 JDK 8 JMC 5.5 JDK 9 JMC 6 JDK 10 JMC 6
- 35. 2018
- 36. JDK Mission Control 7 • オープンソース • JDK に同梱されず (JDK 11 以降) • Flight Recorder の実装もオーペンソース化 (JDK 11 以降)
- 37. Universal Permissive License • 特許の保護 • 再ライセンスは明確、そしてシンプル • ソースファイルのオーバーヘッドの削減 • 貢献者同意書として利用可能 • 詳細については FAQ を参考にして下さい
- 38. Universal Permissive License • 特許の保護 • 再ライセンスは明確、そしてシンプル • ソースファイルのオーバーヘッドの削減 • 貢献者同意書として利用可能 • 詳細については FAQ を参考にして下さい
- 39. Oracle Contributor Agreement • Mission Control プロジェクトに貢献する前に OCA を署名し、 オラクルに送ることが必要 • 他の OpenJDK プロジェクトの同様 • 一回だけですべての OpenJDK のプロジェクトへ貢献できる
- 40. “...you're doing an awesome job in building a real community and a *very* open source project.“ - Red Hat の貢献者より Marcus Hirt へ jmc-dev alias, November 8, 2018
- 41. 互換性 • JDK のバージョンによって Flight Recording の形式が異なる • HotSpot の既存の記録は 将来の JMC で開ける（後方互換） • JDK 11 の記録は JMC 7 以降を利用する必要がある • 現時点で HotSpot のすべての記録を開けるのは JMC 7 のみ
- 42. ビルド
- 43. 準備する物 • Mercurial (hg) • Maven • JDK 8
- 44. OpenJDK JMC repositories jmc 開発用のブランチ jmc-graphics 画像やブランドなどの資料 jmc7 JMC 7.0 のブランチ Copyright © 2019 Oracle and/or its affiliates.
- 45. GitHub ミラー • 開発用のブランチのみ • 現時点では同期されていない • 正式に変わるまで（プロジェクト Skara ＊）HG が推奨 * 検討中
- 46. 二シェル物語 シェル１ cd releng/third-party mvn p2:site mvn jetty:run シェル２ cd core mvn install cd .. mvn clean package
- 47. 二シェル物語（笑ってください） シェル１ cd releng/third-party mvn p2:site mvn jetty:run シェル２ cd core mvn install cd .. mvn clean package
- 48. 二シェル物語（お願いですから。。。 笑ってください！） シェル１ cd releng/third-party mvn p2:site mvn jetty:run シェル２ cd core mvn install cd .. mvn clean package
- 49. 二シェル物語 • Equinox p2: OSGi のバンドルとメタデータを管理する仕組み • シェル１が p2 のリポジトリを提供して • シェル２がそのリポジトリを利用してビルドをする
- 50. クロスコンパイル • ビルド環境に問わず、すべてのサポート対象の OS 用のバイナリ が生成される • プラットフォームに依存するコードはすべてダウンロードされる
- 51. ビルドのポイント • 速やか、そして容易 • 殆どの Linux ディストリビューションでそのまま出来る • 目的のプラットフォームでビルドする必要がない
- 52. デモ
- 53. Safepoints • Stop-the-World の実装 • 実行スレッドを既知状態で停止する • Java コードを実行するすべてのスレッドを停止する JNI コードを停止する必要はない • プリエンプションが利用されない • ポーリングが利用される By YPLeroux at English Wikipedia, CC BY 3.0, https://commons.wikimedia.org/w/index.php?curid=17734859
- 54. Safepoints • Stop-the-World の実装 • 実行スレッドを既知状態で停止する • Java コードを実行するすべてのスレッドを停止する JNI コードを停止する必要はない • プリエンプションが利用されない • ポーリングが利用される By YPLeroux at English Wikipedia, CC BY 3.0, https://commons.wikimedia.org/w/index.php?curid=17734859
- 55. Safepoint ポーリング • インタプリタはいつでも止められる • バイトコードの jump table を切り替えることで停止する • ポーリングのオーバーヘッドはない • C1/C2 JIT に明示的なポーリング処理を入れる必要がある • ポーリング用のページをアドレス空間に設置する • このページのアドレスを読むことでポーリングする • ページのアクセス権限を変更することで safepoint を実施する
- 56. Copyright © 2019 Oracle and/or its affiliates. dadd goto return バイトコード アドレス dadd goto return iinc iinc jmp_table
- 57. Copyright © 2019 Oracle and/or its affiliates. dadd dadd 実装 次のバイトコードを読む 分岐テーブルで次のアドレスの調べる 分岐 (jump)
- 58. Copyright © 2019 Oracle and/or its affiliates. dadd dadd 実装 次のバイトコードを読む 分岐テーブルで次のアドレスの調べる 分岐 (jump) goto goto 実装 次のバイトコードを読む 分岐テーブルで次のアドレスの調べる 分岐 (jump)
- 59. Copyright © 2019 Oracle and/or its affiliates. iinc inc 実装 次のバイトコードを読む 分岐テーブルで次のアドレスの調べる 分岐 (jump) goto goto 実装 次のバイトコードを読む 分岐テーブルで次のアドレスの調べる 分岐 (jump)
- 60. Copyright © 2019 Oracle and/or its affiliates. dadd goto return バイトコード アドレス dadd goto return iinc iinc jmp_table
- 61. Copyright © 2019 Oracle and/or its affiliates. dadd goto return バイトコード アドレス dadd goto return iinc iinc jmp_table バイトコード アドレス dadd goto return iinc safepoint
- 62. JIT Safepoint ポーリング • メソッドの呼び出しから戻る時 • ループで前の位置に戻る時（ほとんど） • ネイティブコードを呼び出す時(JVM / JNI)
- 63. コラッツの問題 (Collatz Conjecture) • ルール • 偶数の場合：２で割る • 奇数の場合：３を掛けて、１を足す • 予想：どの正整数で初めても、結局１まで届く • 数論の未解決問題
- 64. コラッツの問題の例 2 1 3 10 5 16 8 4 2 1 4 2 1 5 16 8 4 2 1 6 3 10 5 16 8 4 2 1 7 22 11 34 17 52 26 13 40 20 10 5 16 8...
- 65. コラッツの問題の例 2 1 3 10 5 16 8 4 2 1 4 2 1 5 16 8 4 2 1 6 3 10 5 16 8 4 2 1 7 22 11 34 17 52 26 13 40 20 10 5 16 8...
- 66. コラッツの問題 By Kunashmilovich - Own work, CC BY-SA 4.0, https://commons.wikimedia.org/w/index.php?curid=48786325
- 69. コラッツ問題の検証 private static long next(long num) { return (num%2 == 0) ? num / 2 : 3 * num + 1; }
- 70. コラッツ問題の検証 public static void main(String[] args) { long num; for (int i=2; i < Integer.MAX_VALUE; i++) { num = i; for (int j=0; j < Integer.MAX_VALUE; j++) { num = next(num); if (num == 1) break; } if (num != 1) { System.out.println(i + " did not end at 1."); System.exit(-1); } else if (i % 1000000 == 0) { System.out.println("done with " + i); } } }
- 71. Counted Loop • 整数のインデックスを利用するループ • 最低の場合、回数は１０億回まで（早い） • この場合、safepoint のポーリング処理を追加しない場合がある
- 72. コラッツ問題の検証 public static void main(String[] args) { long num; for (int i=2; i < Integer.MAX_VALUE; i++) { num = i; for (int j=0; j < Integer.MAX_VALUE; j++) { num = next(num); if (num == 1) break; } if (num != 1) { System.out.println(i + " did not end at 1."); System.exit(-1); } else if (i % 1000000 == 0) { System.out.println("done with " + i); } } }
- 73. コラッツ問題の検証 public static void main(String[] args) { long num; for (int i=2; i < Integer.MAX_VALUE; i++) { num = i; for (int j=0; j < Integer.MAX_VALUE; j++) { num = next(num); if (num == 1) break; } if (num != 1) { System.out.println(i + " did not end at 1."); System.exit(-1); } else if (i % 1000000 == 0) { System.out.println("done with " + i); } } }
- 74. プロファイラーの種類 サンプル ベース 定期的にサンプルを取得する 結果は精算ではない 観察効果は殆どない 呼び出しの回数 ベース コード計測 (BCI) 呼び出し回数ははっきり分かる 観察効果が大きい場合は多い
- 75. プロファイラーの種類 サンプル ベース 定期的にサンプルを取得する 結果は精算ではない 観察効果は殆どない 呼び出しの回数 ベース コード計測 (BCI) 呼び出し回数ははっきり分かる 観察効果が大きい場合は多い
- 76. 従来のプロファイラー • JVMTI / Bytecode 操作だと、safepoint でしか停止することが出来 ない • Safepoint のポールの間の処理はプロファイラーから隠られている
- 77. VisualVM
- 79. Flight Recording • いつでも非同期的にスレッドを停止することが出来る • Safepoint に依存しない • HotSpot 内部の API (AsyncGetCallTrace) • Honest Profiler • Oracle Developer Studio
- 81. どうして？ • Safepoints は該当するメタデータがある • Byte Code Index (bci) • 生存情報 （スタックからヒープへ指すポイントの情報）
- 82. どうして？ • デフォルトとして、メタデータは safepoint の分だけが生成される • DebugNonSafepoints を有効にすると、すべてのマシン後用のメタ データが生成される（パフォーマンスの悪影響あり）
- 85. まとめ • JMC のオーペンソース化は成功した • 使っている JDK のバージョン問わずに、 JMC 7 以降は推奨 • Oracle からの JMC 7 のバイナリのリリースは 近いうちに出る見込みです • 今は自分で簡単にビルドすることが可能 • Flight Recording の AsyncGetCallTrace ベースのプロファイラーは他の ツールより細かくパフォーマンスの情報を取得出来る
- 86. ありがとうございました！
- 87. 参考資料 Marcus Hirt の Blog http://hirt.se/blog/ The Universal Permissive License (UPL) https://oss.oracle.com/licenses/upl/
- 88. Session Survey Help us make the content even better. Please complete the session survey in the Mobile App. Copyright © 2019 Oracle and/or its affiliates.
- 89. The preceding is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, timing, and pricing of any features or functionality described for Oracle’s products may change and remains at the sole discretion of Oracle Corporation. Statements in this presentation relating to Oracle’s future plans, expectations, beliefs, intentions and prospects are “forward-looking statements” and are subject to material risks and uncertainties. A detailed discussion of these factors and other risks that affect our business is contained in Oracle’s Securities and Exchange Commission (SEC) filings, including our most recent reports on Form 10-K and Form 10-Q under the heading “Risk Factors.” These filings are available on the SEC’s website or on Oracle’s website at http://www.oracle.com/investor. All information in this presentation is current as of September 2019 and Oracle undertakes no duty to update any statement in light of new information or future events. Safe Harbor Copyright © 2019 Oracle and/or its affiliates.