JobStreamerではじめるJavaBatchのクラウド分散実行
•
40 likes•11,450 views
JJUG CCC 2015 Spring F-7のセッションです。
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (12)
Similar to JobStreamerではじめるJavaBatchのクラウド分散実行
Similar to JobStreamerではじめるJavaBatchのクラウド分散実行 (20)
More from Yoshitaka Kawashima
More from Yoshitaka Kawashima (20)
JobStreamerではじめるJavaBatchのクラウド分散実行
- 1. JobStreamerではじめる JavaBatchのクラウド分散実行 kawasima 川島義隆 JJUG CCC 2015 Spring F-7 kawasima
- 5. JSR352 JavaBatchのはじめ方 ①Batchlet または ItemReader / ItemProcessor / ItemWriterを実装する。 ②batch-jobs.xmlを書く。 ③起動するプログラムを書く。
- 6. Batchletを実装する @Named public class MyBatchlet extends AbstractBatchlet { @Inject JobContext jobContext; private Properties jobProperties; @Override public String process() throws Exception { jobProperties = jobContext.getProperties(); String value1 = jobProperties.getProperty("jobProp1"); // ... return "Processed"; } } 基本的にはこの1メソッド を実装するだけ まぁ簡単
- 7. batch-jobs.xml <job id="jasperReportsTest" xmlns="http://xmlns.jcp.org/xml/ns/javaee" version="1.0"> <step id="step1"> <batchlet ref="jasperReportsBatchlet"> <properties> <property name="resource" value="movies-2012.csv"/> <property name="useFirstRowAsHeader" value="true"/> <!-- n as record/row delimiter --> <property name="recordDelimiter" value="
"/> <property name="charset" value="UTF-8"/> <property name="template" value="movies.jasper"/> <property name="outputType" value="pdf"/> <property name="outputFile" value="#{systemProperties['java.io.tmpdir']}/report.pdf"/> <property name="reportParameters" value="#{jobParameters['reportParameters']}"/> </properties> </batchlet> </step> </job> It's so easy!!!!...?
- 8. 起動プログラム ExcelにジョブのIDをかくじゃろ ( ＾ω＾) ⊃ ⊂ というストーリーがみえる これをこうして… ( ＾ω＾) ≡⊃⊂≡ こうじゃ ( ＾ω＾) ⊃ ⊂
- 9. JSR352 JavaBatchを始めると… ①Batchlet または ItemReader / ItemProcessor / ItemWriterを実装する。 ②batch-jobs.xmlを書く。 ③起動する。 ツライ… くやしい… でも…ジェネレータ作っちゃう！
- 11. バッチコンテナの運用 ● 常駐コンテナで動かすことのメリット – 小さなジョブがたくさん動いても、JVM起動のオーバ ヘッドがない。 ● 常駐サーバで複数ジョブ動かすことへの漠然とし た不安 – サーバが死んだときのリカバリは? – 特定のジョブが別の重いジョブに影響を与えるのは避 けたい?
- 12. Disposable batch containers ジョブの実行環境は、リソース専有することな く、使い捨てできるとよい。 – 空いてるサーバに優先的にディスパッチ – 複数のバッチサーバがいて、1台死んでも簡単に フェイルオーバーできるといいなぁ でも、バッチアプリのデプロイが面倒そうだ
- 14. ジョブスケジューラにまつわる思い出 • 動いちゃいけないのに、動いてしまった。 • 日付を間違えて登録して、起動しなかった。 • GUIから漂う昭和感。
- 17. JobStreamerが変える世界 できるようになること 不要になるもの 管理コンソール上でのGUIによる ジョブ組み立て ジョブ XML REST APIによるジョブの起動 ジョブ起動用のJavaアプリ スケジュール実行 JP1のようなスケジューラ シンプルな分散実行 バッチサーバのフェイルオーバー設計 エージェントへを起動するだけでジョブが動く、 ノーデプロイ・ノーコンフィギュレーション環境 VagrantやDockerなどによるバッチサーバの設 定やデプロイの自動化 エージェントの稼働状況モニタリング ZABBIXなどによるバッチサーバの監視 リアルタイムなログ収集 fluentdなどによるログの収集 すべてがS式になる Emacs以外の環境
- 18. JobStreamerの構成 管理コンソール Jobの定義 Jobの実行ログ コントロールバス JavaBatchコンポーネント ● Batchlet ● ItemReader ● ItemProcessor ● ItemWriter Load class ● ジョブの登録/編集/削除 ● スケジューリング ● ジョブの実行 ● 実行結果の確認 ジョブの実行リクエスト ● Load class ● 実行状態の送信 ● サーバ負荷状態の送信 実行エージェント Datomic No deploy, no configuration
- 19. コントロールバス ● ジョブの登録やジョブのディスパッチなどを司 る。 – ジョブの登録/編集/削除 – ジョブのスケジューリング – ジョブのディスパッチ/実行結果・ログの収集 – エージェントのモニタリング ● REST APIですべての操作が可能。
- 20. 管理コンソール ● コントロールバスのWebインタフェース – ジョブのGUI組み立て – 実行ログの閲覧 – ジョブのタイムライン表示 ● Single page applicationでサクサク動く！
- 21. エージェント ● 実際にジョブが実行されるサーバ ● REST APIですべての操作が可能。 ● 実装はJBossのJberet – クラスローダをWebSocketClassLoaderに入れ替えて 使う。 ● Dockerfileもついてるので、docker runして使う ことも可能。
- 25. Demo
- 26. Jobの実行状況をみる(一覧)
- 29. Jobを新規登録する
- 30. Jobの詳細をみる
- 31. Jobをスケジューリングする
- 32. 実行履歴とログをみる
- 33. エージェントをみる
- 34. エージェントをモニタリングする
- 37. Architecture
- 39. WebSocketClassLoaderのしくみ WebSocketClassLoaderClassProvider WebSocket Handshake / Connect LoadClass request Class binary format Encoded by fressian JSR356準拠で動くので、dependenciesは0 (EEサーバ以外で動かすには、Undertowなどにデプロイする) JSR356のServerEndpointを 実装している。 JSR356のClientEndpointを 使ってloadClassリクエストを 送る。 ローカルキャッシュに最新の クラスがあればそっちを使う。
- 41. Jobが実行されるまでの流れ
- 42. Full clojure ①サーバ実装 → liberator ②Javascript → Clojurescript →Om (React layer) ③ Stylesheet → garden ④ SQL → datalog すべてがS式に！
- 50. まとめ ● JavaBatchに対する不満もJobStreamerを使 えば解消するよ ● No deploy, No configurationなので、簡単に 分散実行できちゃうよ ● なによりJavaBatchを気軽に試せるよ