20170303 java9 hadoop

© 2017 NTT DATA Corporation
2017年3月3日
NTTデータ OSSプロフェッショナルサービス
鯵坂明
Apache HadoopとJava 9とJigsaw

© 2017 NTT DATA Corporation 2
鯵坂明 (Akira Ajisaka)
 Apache Hadoopなど分散処理に関連するOSSを利用したPoC
や、商用導入における技術支援
 商用導入後のサポートサービス
 Apache Hadoop Committer/PMC member
 JIRAへのバグレポート
 修正、レビュー、マージ
 リリース作業の手伝い
 脆弱性の修正・開示
 などなど
自己紹介
https://github.com/apache/hadoop/graphs/contributors

 2017/7/27 リリース予定
 現在 b158 が入手可能
 Jigsawなど、多数の新機能
 非互換な変更も多い
 一方、Java 8はもうすぐEoL
 Oracleのサポート期限: 2017/9 (延長の可能性
あり、Extended Supportなら2025/3)
 RHELのサポート期限: 2020/10
 アップグレードの準備が必要
Java 9

Apache HadoopのJava 9への対応状況
mvn install -DskipTests を実行
そもそもコンパイルが通らない!

 原因は大きく分けて5つ
 sun.misc.Cleanerが移動した (JEP 260)
 _ 1文字の命名が禁止 (JEP 213)
 バージョンのつけ方が変わった (JEP 223)
 JavadocのHTML5対応 (JEP 224)
 Jigsawの影響
 HADOOP-11123で対応中 (Umbrella JIRA)
どうしてコンパイルが通らないのか

NoClassDefFoundError

 sun.misc.Cleanerの遍歴
 9b99: java.lang.ref.Cleaner
 9b105: jdk.internal.ref.Cleaner
 9b150: sun.misc.Unsafe::invokeCleaner
(イマココ)
 Hadoopでの使われ方
 munmap(2)の実装
 mlockと違い、WindowsだとJNIで叩けない
のでCleanerに頼る
JEP 260: Encapsulate most internal APIs

 パッケージを変えると、Java9で動作する
 ただし、Java8で動作しなくなる
 両方で動かすため、リフレクションを活用
 sun.misc.Unsafe#invokeCleanerを呼ぶ
 例外が出たら、sun.misc.Cleanerを使う
 Apache Luceneのコードが参考になった
 https://issues.apache.org/jira/browse/LUCENE-6989
 HADOOP-12760にパッチ投稿中
Java 8対応をおろそかにしてはいけない

HamletSpec.java
Java 9では禁止に

 _ 1文字の命名が禁止された
 Hamletという独自フレームワークに _ が頻出
 Hamlからインスパイアされた
 YARN WebUIで利用
JEP 213: Milling Project Coin
<html>
<body>
<table id="applications">
<thead>
<tr>
<td>ApplicationId</td>
<td>ApplicationState</td>
</tr>
</thead>
<tbody>

 _ を __ にするだけでは駄目
 YARN applicationが影響を受ける
 例: Apache Slider (Incubating)
 以下の手順で修正
 _ を __ にした新しいHamletを作成
 古いHamletをdeprecatedにする
 既存のコードを __ に置き換える
 (1回以上のリリースを経て)古いHamletを消す
 HADOOP-11875 にパッチ投稿中
互換性を意識して修正すべし

mvn javadoc:javadoc を実行
バージョンが
認識されない

 1.8 -> 9
 正規表現でマッチングしている場合に注意
 Maven Javadoc Pluginに影響
 2.10.4以降へアップグレードすべし
JEP 223: New Version-String Scheme

Java 9ではエラー
package.html

 HTML5対応のため、既存のHTMLファイルに
対するvalidationが厳しくなった
 <table>タグにはsummary or captionが必須
 <pre>タグの中にある < は < に書き直し
 などなど
 HADOOP-14057 にパッチ投稿中
JEP 224: HTML5 Javadoc

mvn install -DskipTests を実行
見慣れないエラー

 ところで、これは何でしょう?
Java One 2015 keynoteの引用

 答: Hadoopのclasspath
 classpathが長いと何がいけないのか
 依存するライブラリが多く、Hadoop上で動
作するアプリやミドルに悪影響 (jar hell)
 Jigsaw: moduleという概念を導入
 module単位で依存関係を記述
 import時にバージョンが指定可能
 jar hellの解消
 互換性に大きな影響
Jigsaw

エラーの解説
 private fieldにアクセスするパターン
 通常はアクセスできない
 Field.setAccessible(true)でアクセス可能に
 ただし、Java 9では設定されたmodule以外からはアク
セス不可
 コンパイルオプションをつけることで回避可能
 "--add-opens java.base/java.util=ALL-UNNAMED"

 現時点で、適用は難しい
 Java8とJava9の両方に対応するため
 jar hellは解消されないのか?
 別の方法を使う -> Classpath Isolation
Apache HadoopへのJigsawの適用

 hadoop-client module
 クライアント用のjar (以前から存在)
 Jetty, Jersey, ZooKeeperなど依存ライブ
ラリが付属
 (New!) hadoop-client-api module
 hadoop-clientからtransitive dependency
を除去
 org.apache.hadoop.* のみ
Classpath Isolation (HADOOP-11656)

 (New!) hadoop-client-runtime module
 hadoop-client-api に存在しない 3rd
party dependencyを追加
 ただし、org.apache.hadoop.shaded.
配下に再配置
 Maven Shade Pluginを利用
 他にもいろいろあるが省略
Classpath Isolation (HADOOP-11656)

 手元のリポジトリに導入
Classpath Isolationを試す (1/2)
3.0.0-alpha2から
利用可能
compileではなく
runtime client-apiだけでOK

 同一ライブラリ、異なるバージョンが同居
Classpath Isolationを試す (2/2)

 Apache Hadoopは Java 9 に未対応
 パッチ・レビュー大歓迎
 jar hell問題は徐々に解消されていく
 Classpath Isolationを試してみよう
 フィードバックをお待ちしております
まとめ

20170303 java9 hadoop

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (20)

Similar to 20170303 java9 hadoop

Similar to 20170303 java9 hadoop (20)

More from NTT DATA OSS Professional Services

More from NTT DATA OSS Professional Services (6)

20170303 java9 hadoop