JSR 352 “Batch Applications for the Java Platform”

Java EE 7から加わるバッチ仕様
Batch Applications for
the Java Platform - JSR 352
GlassFish_jp 勉強会2013#1
2013/06/14
@n_agetsu
http://n-agetsuma.hatenablog.com

自己紹介
上妻宜人 (あげつまのりと)
✗ 電話の裏側を作っている会社で働いています.
✗ APサーバなどの社内技術サポートを担当.
✗ Java Batch は Public Review あたりから
楽しみながら眺めていました.

バッチってなんだろう？

深夜に起動(非対話型)
ジョブ
計算量が多い
順序制御並列実行
月次締め
処理
銀行
勘定システム在庫管理

ジョブ
計算量が多い
月次締め
処理
銀行
多くの業種にバッチ処理
(会計金融流通 ...)

ジョブ
計算量が多い
月次締め
処理
銀行
勘定システム在庫管理業種は違えど、
処理の背景は同じ

ジョブ
計算量が多い
月次締め
処理
銀行
バッチに求められる機能も
業種をまたがって同じ

異なる業種が
類似の処理の背景を持って、
同じような機能を作る

D R Y !!!同じことを何度も繰り返すべからず

標準化しよう
スペックリード
http://www.beyondnlptraining.co.uk/wp-content/uploads/2013/03/leadership.jpg

JSR352
Batch Application for
The Java Platform

jbatch は Java EE 7 へ
Portable
Extensions
JSP 2.2 JSF 2.2
JAX-RS
2.0
EL 3.0
Servlet 3.1
Concurrency
Utilities for EE
Batch
Applications
(JSR 352)
Java API for JSON
(JSR-353)
Java API for
WebSocket
(JSR-355)
JSP2.2 JSP2.2 CDI 1.1
BeanValidation1.1
Managed Beans 1.0 EJB 3.2
Connector
1.0
JPA 2.1 JTA 1.1 JMS 2.0
が Java EE 7 で新たに盛り込まれる仕様

正式な仕様名は
(Batch Application for the java Platform)
とても長いので、

ここからは jbatch で.

今日話すこと
✗ jbatch の概要
✗ アーキテクチャ
✗ ユーザは何を実装するのか
✗ chunk方式の処理の流れ
✗ Spring Batchとの違い
✗ Java SE / EE の違い

今日話さないこと
✗ 順序遷移の詳細な話
✗ <flow> <split> <decision>
✗ エラーハンドリングの詳細な話
✗ <skippable-exception-classes>
✗ <retryable-exception-classes>
✗ 並行処理の話
✗ Step partitioning
✗ 並列実行プラン : <plan partition=”3”>
Java Day Tokyoのセッションで触れている箇所があるため、
是非Java Day Tokyoの資料を参照してください。

jbatch の概要

✗ jbatch って何が仕様化されてるの？
✗ どんなことができるの？

jbatch 仕様３つの構成
1. バッチ用語と関連性の定義 (DSL)
JobOperator Job Step
JobRepository
ItemReader
<job id="samplejob">
<step id="step1"/>
</job>
2. ジョブXMLの定義 3. APIの定義
public interface ItemReader {
Object readItem(Object item);
}
ItemProcessor
ItemWriter

<step id="step1"/>
</job>
}
どのような構成で作るのか
(アーキテクチャ定義)
JobRepository
ItemReader
ItemProcessor
ItemWriter

<step id="step1"/>
</job>
}
JobRepository
ItemReader
ItemProcessor
ItemWriter
アーキテクチャをどうやって
実装するか(XML/API 定義)

jbatchの機能1 - 順序制御
ジョブXMLで処理の順序を定義することができる
STEP1
STEP2-1
Flow1
STEP2-2
Decision (分岐)
STEP3-1
Split
Flow
Flow
Flow
Split (並行実行)
start
end
Flow (グループ化)

start end
commit
▼
10行処理
障害発生
デフォルトでは10レコードごとにコミットされる
jbatchの機能2 - チェックポイント
commit
▼
10行処理
…
×
ロールバックは最終コミットまで
途中からでリスタートも可能

jbatch
jbatchの機能3 - エラーハンドリング
壊れたデータをスキップして処理を継続することができる
No msg
001 I love GlassFish4.
002 I love Java EE 7.
999999
99999
Bad Record.
004 I love modern framework.
success

jbatch
No msg
999999
99999
Bad Record.

jbatch
No msg
999999
99999
Bad Record.
error

jbatch
No msg
999999
99999
Bad Record.
Skip

jbatch
No msg
999999
99999
Bad Record.
success
success
skip
success

ジョブスケジューラ
(cron/JP1/Tivoliなど)
スケジューリング
(時刻・周期起動)
実行権限の管理
ジョブスケジューラと jbatch
ジョブ実行順序管理
JP1:ジョブネット

jbatch:ジョブ定義XML
jbatch
ジョブ実装サポート
(API/例外制御)

jbatch
(API/例外制御)
jbatchはスケジューリング機能を持っていない。

jbatch
(API/例外制御)
被る部分は使い分けを整理する必要がある。

データベース
ファイル
(CSV/XML 等)
jbatch の位置付け
Java EE サーバ
ユーザアプリケーション
jbatch
JTACDI
JAX-RS2.0
EJB/JPA...
Cron
他のJava EE 仕様と同様にAPIを提供するのが役割
APIの利用

データベース
ファイル
(CSV/XML 等)
jbatch を起動する
Java EE サーバ
jbatch
JTACDI
JAX-RS2.0
EJB/JPA...
Cron
時刻起動
http post http://localhost:8080/batch/job/1

データベース
ファイル
(CSV/XML 等)
Java EE サーバ
jbatch
JTACDI
JAX-RS2.0
EJB/JPA...
Cron
時刻起動
http post http://localhost:8080/batch/jobs/1@Path("/jobs/{jobId}")
public class BatchResource {
@POST
public void start(
@PathParam("jobId") String jobId) {
// バッチジョブの起動
JobOperator jobOperator =
BatchRuntime.getJobOperator();
jobOperator.start(jobId, null);
}
}

Java EE のコードから
簡単にバッチ起動が可能です。
(JAX-RS EJB Servlet 等)

アーキテクチャ

アーキテクチャ
✗ メインフレームのバッチを移行させるため、
✗ JCLやCOBOL開発者にも馴染みやすく
JobOperator
Step2
JobRepository
Item
Reader
Item
Processor
Item
Writer
Step1 Step3
Job
batchlet

ジョブ : トップレベル要素
✗ ジョブは１つ以上のステップから構成
✗ ステップ全体に関わる設定はジョブに設定
✗ リスタート可能かどうか？ジョブ設定プロパティ等
JobOperator
Step2
JobRepository
Item
Reader
Item
Processor
Item
Writer
Step1 Step3
Job
batchlet

JobOperator
Step2
JobRepository
ItemReader ItemProcessor ItemWriter
Step1 Step3
Job
<step id="step1" next="step2" />
<step id="step2" />
<properties>
<property name="filePath" value="input.txt">
</properties>
</job>

JobOperator
Step2
JobRepository
Step1 Step3
Job
<step id="step2" />
<properties>
</properties>
</job>
ジョブID. 必須属性. 一意の識別子を設定.
JobOperator.start(“samplejob”, null);

JobOperator
Step2
JobRepository
Step1 Step3
Job
<step id="step2" />
<properties>
</properties>
</job>
ステップの流れを定義する.
最低１つ以上のステップが必要.

JobOperator
Step2
JobRepository
Step1 Step3
Job
<step id="step2" />
<properties>
</properties>
</job>
ジョブ全体で使うプロパティ.
オプション要素.

Job
JobInstance
JobExecution
＊
＊
『ファイル取り込み』ジョブ
2013/06/14 に実行する
『ファイル取り込み』ジョブ
JobExecution
JobInstance
ジョブインスタンスの考え方
✗ スケジュールごとにJobInstanceが生成される
✗ 実行ごとにJobExecutionが生成される
✗ JobInstanceは再実行に備えて永続化(シリアライズ)
2013/06/14 に実行する
『ファイル取り込み』ジョブの1回目

ジョブインスタンスが永続化される訳
✗ 6/14のジョブインスタンスは、6/15に再実行しても、
6/14分のデータにアクセスする。
✗ 対象データが異なる場合は、前日のリスタート分と
当日分のジョブを並行処理させることも可能。
JobInstance
JobExecution
＊
JobExecution
6月14日分のジョブ
6/14 1回目の実行(失敗)
再開時も6/14分の
データを処理
実行インスタンスは
実行毎に生成
date sales amount
6/14 ¥30,000
6/14 ¥25,000
6/15 ¥43,000
6/15 6/14分リスタート
売上テーブル

ステップ : ジョブに含まれるタスク
✗ 各ステップの処理内容はユーザがコーディングする
✗ ステップの実装方法
✗ chunk方式 : reader processor writer を実装
✗ batchlet方式 : batchletインタフェースのみ実装
JobOperator
Step2
JobRepository
Item
Reader
Item
Processor
Item
Writer
Step1 Step3
Job
batchlet

STEP ItemReader Item
Processor ItemWriter
chunk方式の登場人物

ItemReader 実装方法
@Named
public class MyReader implements ItemReader {
@Override
public void open(Serializable checkPoint)
throws Exception {..}
@Override
public Object readItem() throws Exception {..}
@Override
public void close() throws Exception {..}
...
}

ItemReader Item
Processor
ItemProcessor 実装方法
@Named
public class MyProcessor implements ItemProcessor {
@Override
public Object processItem(Object item)
}
STEP ItemWriter

ItemWriter
ItemWriter の実装方法
Processor
@Named
public class MyWriter implements ItemWriter {
@Override
@Override
public Object writeItems(List<Object> items)
@Override
public void close() throws Exception {..}
...
}

まずはオープンする
open
open

アイテムを1件読む
open
open
readItem
item

アイテムを１件処理する
open
open
readItem
item
processItem(item)
result

次の１件を読みにいく
open
open
readItem
item
processItem(item)
result
readItem
item

同じく１件処理する
open
open
readItem
item
processItem(item)
result
readItem
item
processItem(item)
result

chunk処理ではすぐに書き出さない
open
open
readItem
item
processItem(item)
result
readItem
item
processItem(item)
result
1アイテム目の
読み込みと処理
2アイテム目の
...
デフォルトで10回、
読み込みと処理を繰り返す。

10アイテム目の処理が終わると
readItem
item
processItem(item)
result
10アイテム目の
読み込みと処理

まとめて書き込み処理を行う
readItem
item
processItem(item)
result
writeItems(results)

chunk方式のゆえん
readItem
item
processItem(item)
result
writeItems(results)
10個ずつ纏めて塊を処理しているので、
chunk(塊)方式と呼ばれる。

書いたらcheckpointを実行
readItem
item
processItem(item)
result
checkpointInfo
Checkpoint
data
writeItems(results)
Chunkの書き出しが終わると、
コミット前にcheckpointInfoが実行。
checkpointInfo

checkpointInfoの実装
readItem
item
processItem(item)
result
◀ comit
writeItems(results)
checkpointInfo
Checkpoint
data
checkpointInfo
@Named
public class MyReader implements ItemReader {
@Override
@Override
public Serializable checkpointInfo()
throws Exception {
// 読み込んだ行数をチェックポイントにする
return readedCount; // => 10
}
}

チェックポイントは
リスタート時に使われる。

スタートとリスタートは違う
JobOperator jobOperator = BatchRuntime.getJobOperator();
long jobExecId = jobOperator.start(“myjob”, null);
// ジョブのリスタート
long jobExecId = jobOperator.restart(jobExecId, null);
初回起動時はjob.xmlの
<job id=”myjob”> のid文字列を指定する。

リスタートするときは restart で起動する。
初回起動時に取得したジョブ実行ID(long)を
引数に指定する。

restart で起動すると、
open(Serializable cp) に
checkpointInfo()で返された値が渡される。
通常のstartでは、nullが常に渡される。

書いたらcheckpointを実行
readItem
item
processItem(item)
result
checkpointInfo
Checkpoint
data
writeItems(results)
checkpointが終わったら、
バッチランタイムは commit する。
(GlassFish であればJTAトランザクション)
checkpointInfo
◀ comit

chunk処理終了時の流れ
readItem
読込対象のデータがなくなった！

chunk処理終了時の流れ
readItem
ItemReaderから null を返す。null

writeItemsを実行する
readItem
処理済みの分を書き出す。
null
writeItems(results)

チェックポイントを実行する
readItem
null
writeItems(results)
checkpointInfo
checkpoint
checkpointInfo
checkpoint

トランザクションをコミットする
readItem
null
writeItems(results)
checkpointInfo
checkpoint
checkpointInfo
checkpoint
◀ comit

コミット後は close 処理
◀ comit
close
close
ItemReaderとItemWriterのclose処理して
chunk方式のステップは完了。

chunk方式 : job.xml (スキーマ指定削除)
<?xml version="1.0" encoding="UTF-8"?>
<job xmlns="http://xmlns.jcp.org/xml/ns/javaee"
version="1.0" id="job1">
<step>
<chunk item-count="100">
<reader ref="myReader"/>
<processor ref="myProcessor"/>
<writer ref="myWriter"/>
</chunk>
</step>
</job>

chunk方式 : chunkタグとオプション
Stepの子要素としてchunkを定義。
コミット間隔チューニングは、item-count属性。
デフォルトは10。
<step>
</chunk>
</step>
</job>

chunk方式 : reader/processor/writer
ItemReader ItemProcessor ItemWriter の
クラス名の先頭を小文字にして定義する。
<step>
</chunk>
</step>
</job>

全てのメソッドの
実装を強制されると困ります...
(open close処理がないなど)
F A Q

空実装されたAbstractReaderを継承
public class MyReader extends AbstractItemReader {
@Override
public Object readItem() throws Exception {
// read処理の実装
}
}
✗ デフォルト実装は空実装 (何もしない)
✗ openやcloseが呼ばれても何もしない

Abstractクラスを使うと、
他クラスを継承できないので困る
(POJOが一番嬉しい...)
F A Q

public review までは
こんなのもあった！

@Named
public class MyItemReader {
@ReadItem
Object read() throws Exception {
// レコード読み取り処理
}
}
アノテーションでItemReaderが定義できた
今後盛り込まれることを期待。

process()
ExitStatus
もう1つのStep実装方式 : batchlet
STEP batchlet
public class MyBatchlet implements Batchlet {
@Override
public String process() throws Exception {
// 処理をここに実装
}
@Override
public void stop() throws Exception {
// JobOperator.stop()で強制停止した時の
// 処理をここに実装
}
}
Stepとbatchletが１対１。非常にシンプルな実装。
<step id="step1">
<batchlet ref="myBatchlet" />
</step>

chunkとbatchletの使い分け
✗ Chunk方式
✗ バルクオペレーション全般
✗ ファイル、DBレコードを１件ずつ処理
✗ batchlet方式
✗ コマンド処理全般
✗ 他サーバへのファイル転送 (ftpなど)
✗ 圧縮解凍コマンドの実行

JobOperator
Step2
JobRepository
Item
Reader
Item
Processor
Item
Writer
Step1 Step3
Job
batchlet
JobOperator
✗ バッチ処理のコントロール役
✗ JobOperator経由でジョブ起動/再起動/停止

JobRepository : 永続化機構
JobOperator
Step2
JobRepository
Item
Reader
Item
Processor
Item
Writer
Step1 Step3
Job
batchlet
✗ ジョブインスタンスやチェックポイント情報を保存
✗ 仕様上ではあまり詳細については言及されず
✗ Glassfish4 同梱のRIでは組み込みderbyに永続化

アーキテクチャの振り返り
✗ Jobには1つ以上のStepが含まれる
✗ JobやStepはXMLで表現する
✗ Stepの実装方法は２つある
✗ chunk : 読む/処理/書くを繰り返す処理向き
✗ batchlet : コマンド向き
✗ chunk/batchletはjavaで実装する
✗ JobOperatorからジョブを起動する
✗ JobRepositoryにジョブ情報は永続化される

Spring Batch と jbatch

Spring Batch と jbatch
基本的な作り
jbatch Spring Batch
XMLベース
(ジョブXML)
XMLベース
(ジョブXML)
ユーリティ
クラスの充実
現状はなし
(シンプルに標準化)
ファイル操作サポート
JPA連携サポート
複数サーバ
分散処理なしあり
JSR準拠標準仕様
(ベンダフリー)
現状は未準拠

Spring Batchがjbatch実装になる？！
✗ Java EEになるべく依存しない気配を感じる
✗ 依存するDIコンテナをCDIに限定していない
✗ 仕様書上もSpringやGuiceのキーワードあり
✗ 似ているので、Spring Batchは仕様準拠しやすい
✗ Expert GroupにVMWare社もいる
現状は、SpringBatchから汎用部分を標準化したのがjbatch

Java Batch 動作環境

対応しているJDK
JDK6 以上(もうサポート切れなので、是非JDK7を)

Java SE 環境と EE環境の違い
トランザク
ション
Java SE Java EE
ローカル
トランザクション
JTA
トランザクション
必要な
設定ファイル
ランタイム実装に
依存
Concurrency
Utilities for JavaEE
(コンテナ管理スレッド)
スレッド
プール
・ /META-INF/batch-jobs/
job.xml
・/META-INF/batch.xml
/META-INF/batch-jobs/
job.xml
Java EE 環境で使った方が良いと思います。

もっと jbatch を知る

java.net から情報収集
✗ 仕様書を読む
✗ http://jcp.org/aboutJava/communityprocess/final/jsr352/index.html
✗ Java EE 7 チュートリアルを読む
✗ http://docs.oracle.com/javaee/7/tutorial/doc/home.htm
✗ GlassFish4 を動かしてみる
✗ GlassFish4にはRIが同梱済み
✗ Java SEで動かす場合は java.net からダウンロード
https://java.net/projects/jbatch/downloads/download/jsr352-SE-RI-1.0-2013.04.22.zip

書籍で学ぶ
✗ Spring Batchと異なる点もあるので注意
✗ batchlet -> tasklet
✗ reader をchunkタグの属性で定義
<reader> -> reader=”...”
✗ 実装の実践的な例として役立つ本
✗ 英語だけど怖くない

サンプルアプリ作ってみた
https://github.com/n-agetsu/JBatchDemo

GlassFish4 を今すぐダウンロード！
ご清聴ありがとうございました。

JSR 352 “Batch Applications for the Java Platform”

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (6)

Similar to JSR 352 “Batch Applications for the Java Platform”

Similar to JSR 352 “Batch Applications for the Java Platform” (20)

More from Norito Agetsuma

More from Norito Agetsuma (12)

JSR 352 “Batch Applications for the Java Platform”