バッチを Akka Streams で再実装したら100倍速くなった話 #ScalaMatsuri

•

33 likes•23,978 views

Kazuki Negoro

2016/01/30 @negokaz http://scalamatsuri.org/

Technology

Copyright © 2016 TIS Inc. All rights reserved.
根来和輝
TIS 株式会社生産技術R&D室
‣
‣  
‣

Copyright © 2016 TIS Inc. All rights reserved.
今日話すこと
Akka Streams を使ってバッチの処理速度を100倍にした事例

Copyright © 2016 TIS Inc. All rights reserved.
パフォーマンスに問題を抱えた本番運用されているバッチ処理

Copyright © 2016 TIS Inc. All rights reserved.
バッチ処理
毎日夜間に、その日の取引情報をCSVファイルに書き出す

Copyright © 2016 TIS Inc. All rights reserved.
アーキテクチャ
Active
Record

Copyright © 2016 TIS Inc. All rights reserved.
DBから一括で時刻順の取引情報を取得し、一行ずつ処理し、
一行ずつファイルへ書き出す

Copyright © 2016 TIS Inc. All rights reserved.
問題は何か
処理が終わるのが遅い。応急処置でなんとか凌いでいる。

Copyright © 2016 TIS Inc. All rights reserved.
遅い原因はなにか？

Copyright © 2016 TIS Inc. All rights reserved.
調査環境として仮想マシンを構築。
本番環境と同じリソースを割り当て。
‣
‣
‣
‣

Copyright © 2016 TIS Inc. All rights reserved.
調査のシナリオでは100万件のデータを用意

Copyright © 2016 TIS Inc. All rights reserved.
結果、処理速度は毎秒4件

Copyright © 2016 TIS Inc. All rights reserved.
100万件処理するのに3日

Copyright © 2016 TIS Inc. All rights reserved.
ボトルネックはどこか？
スワップ領域が大量に消費
0
1000
2000
3000
4000
5000
6000
0:00 0:20 0:40 1:00 1:20 1:40 2:00 2:20 2:40
- - Memory - - Swap
‣

Copyright © 2016 TIS Inc. All rights reserved.
処理のボトルネック

Copyright © 2016 TIS Inc. All rights reserved.
メモリを潤沢に用意すれば問題ないのか？

Copyright © 2016 TIS Inc. All rights reserved.
‣
‣
‣
‣

Copyright © 2016 TIS Inc. All rights reserved.
調査のシナリオでは100万件のデータを処理

Copyright © 2016 TIS Inc. All rights reserved.
結果、処理速度は毎秒100件

Copyright © 2016 TIS Inc. All rights reserved.
100万件処理するのに3時間

Copyright © 2016 TIS Inc. All rights reserved.
ボトルネックは解消されたのか？ 
メモリ不足は解消
0
1000
2000
3000
4000
5000
6000
7000
0:00 0:05 0:10 0:15 0:20 0:25
- - Memory - - Swap
‣

Copyright © 2016 TIS Inc. All rights reserved.
使われているCPUコアは1つのみ
‣

Copyright © 2016 TIS Inc. All rights reserved.
第2のボトルネック

Copyright © 2016 TIS Inc. All rights reserved.
少しずつデータを取得。処理を並列で行う。 
ただし、取得したデータの並びは維持。
‣

Copyright © 2016 TIS Inc. All rights reserved.
DBから時刻順のデータを少しずつ取得。並列で処理。 
取得した順序で書き出し。

Copyright © 2016 TIS Inc. All rights reserved.
ここに Akka Streams が使える

Copyright © 2016 TIS Inc. All rights reserved.
Akka Streams は Reactive Streams の Akka を使った実装
‣
‣

Copyright © 2016 TIS Inc. All rights reserved.
アーキテクチャ
Streams

Copyright © 2016 TIS Inc. All rights reserved.
Reactive Streams の Publisher を通じてデータを 
ストリーミングするAPIを提供
Streams

Copyright © 2016 TIS Inc. All rights reserved.
同期的な入出力と並列処理
Streams

Copyright © 2016 TIS Inc. All rights reserved.
既存のバッチと同じ結果が得られるように実装。
キャッシュも既存のものと同様に実装。

Copyright © 2016 TIS Inc. All rights reserved.
実装の構成要素
‣ ‣
‣

Copyright © 2016 TIS Inc. All rights reserved.
実装 
※ 説明用に簡略化したコード

Copyright © 2016 TIS Inc. All rights reserved.
入力、処理、出力、実行

Copyright © 2016 TIS Inc. All rights reserved.
この部分の処理は並列に実行される

Copyright © 2016 TIS Inc. All rights reserved.
結果、処理速度は毎秒1,180件

Copyright © 2016 TIS Inc. All rights reserved.
100万件処理するのに14分

Copyright © 2016 TIS Inc. All rights reserved.
ボトルネックは解消されたのか？ 
メモリ不足は発生していない
0
200
400
600
800
1000
1200
1400
1600
1800
2000
0:00 0:00 0:01 0:02 0:03 0:04 0:05 0:05 0:06 0:07 0:08 0:09
- - Memory - - Swap
‣

Copyright © 2016 TIS Inc. All rights reserved.
CPUの全コアが使われている
‣

Copyright © 2016 TIS Inc. All rights reserved.
メモリがボトルネックになっていた場合と比較

Copyright © 2016 TIS Inc. All rights reserved.
CPUがボトルネックになっていた場合と比較

Copyright © 2016 TIS Inc. All rights reserved.
ハードウェアを変更せずに大幅な性能改善できた。
experimental なので本番環境への適用は注意。

Copyright © 2016 TIS Inc. All rights reserved.
ストリームなのにメモリ不足。Slick の streaming API を使っ
てデータを取得しているのに一括で取得されてしまう。

Copyright © 2016 TIS Inc. All rights reserved.
MySQL固有の問題 
解決方法: enableStreamingResults() を設定

Copyright © 2016 TIS Inc. All rights reserved.
非同期キャッシュ - spray-caching 
非同期ノンブロッキングでスレッドセーフなキャッシュ

Copyright © 2016 TIS Inc. All rights reserved.
2016年2月2日 7:00PM-10:30PM、場所は西新宿

What's hot

Planet-scale Data Ingestion Pipeline: Bigdam

SATOSHI TAGOMORI

「速」を落とさないコードレビュー

Takafumi ONAKA

Kubernetes にこれから入るかもしれない注目機能！（2022年11月版） / TechFeed Experts Night #7 〜コンテナ技術を語る

Preferred Networks

最近のすべてのIntelのマザーボードのチップセットに組み込まれた専用マイクロコントローラであるIntel Management Engine(ME)はシステム電源がオフの場合でもメインCPUから独立して動作しネットワークインターフェースへの専用接続を持っている。その構造分析と攻撃を受ける可能性および対策について解説。インテルマネージメントエンジン（"ME")は最近のインテル系マザーボードチップセットに組み込まれてる専用のマイクロコントローラです。マザーボードのメインのCPUから完全に独立しており、システムが稼働していなくとも稼働でき、ネットワークインターフェイスへの専属のコネクションを持っている為メインの CPUとインストールされているOSを回避するout-of-bound通信が可能です。従来の目的に関連する管理タスクの処理だけに止まらず、Intel Identity Protection Technology(IPT)、Protected Audio-Video Path、Intel Anti-Theft, Intel TPM, NFC 通信などの様々な機能を実装しています。現在、このマイクロコントローラがどのように動くかについて関する情報は非常に少なく、本プレゼンテーションでは情報のギャップを埋める共に低レイヤーに関する詳細について話す予定です。イゴール・スコチンスキー - Igor Skochinsky イゴール・スコチンスキーは、世界的に有名なInteractive DissasemblerとHex-Rays Decompilerの主要開発者の1人として活躍中。 2008年にHex-Raysと合流する以前からリバースエンジニアリングに興味を持ち、iTunesのDRMを解除するQTFairUse6と初期のアマゾンキンドル端末のハックで名声を得る。 Recon,Breakpointと Hack.LUなどにて講演。

インテルMEの秘密 - チップセットに隠されたコードと、それが一体何をするかを見出す方法 - by イゴール・スコチンスキー - Igor Skochinsky

CODE BLUE

もっとも簡単なKubernetes構築 on Raspberry pi (July tech festa winter 2021)

10分でわかるOpenAPI V3

できる！並列・並行プログラミング

キメるClojure

Webブラウザ上で動作する帳票エンジンを作る話

terurou

ソフトウェア開発における『知の高速道路』

Yoshitaka Kawashima

リアルタイムサーバー〜Erlang/OTPで作るPubSubサーバー〜

Yugo Shimizu

Live2Dの描画の裏側の話

Naoki Aso

2016/12/15 SQLチューニングと対戦格闘ゲームの類似性について語る。 JPOUG Advent Calendar 2016 Day 15

歩柴田

やさしいGitの内部構造 - yapcasia2013

DQNEO

C#次世代非同期処理概観 - Task vs Reactive Extensions

Yoshifumi Kawai

20分でわかるgVisor入門

Shuji Yamada

C# 式木 (Expression Tree) ～ LINQをより深く理解するために～

Fujio Kojima

async/await のしくみ

信之岩永

PPL 2022 招待講演：静的型つき函数型組版処理システムSATySFiの紹介

T. Suwa

WebSocket / WebRTCの技術紹介

Yasuhiro Mawarimichi

What's hot (20)

Planet-scale Data Ingestion Pipeline: Bigdam

「速」を落とさないコードレビュー

Kubernetes にこれから入るかもしれない注目機能！（2022年11月版） / TechFeed Experts Night #7 〜コンテナ技術を語る

インテルMEの秘密 - チップセットに隠されたコードと、それが一体何をするかを見出す方法 - by イゴール・スコチンスキー - Igor Skochinsky

もっとも簡単なKubernetes構築 on Raspberry pi (July tech festa winter 2021)

10分でわかるOpenAPI V3

できる！並列・並行プログラミング

キメるClojure

Webブラウザ上で動作する帳票エンジンを作る話

ソフトウェア開発における『知の高速道路』

リアルタイムサーバー〜Erlang/OTPで作るPubSubサーバー〜

Live2Dの描画の裏側の話

2016/12/15 SQLチューニングと対戦格闘ゲームの類似性について語る。 JPOUG Advent Calendar 2016 Day 15

やさしいGitの内部構造 - yapcasia2013

C#次世代非同期処理概観 - Task vs Reactive Extensions

20分でわかるgVisor入門

C# 式木 (Expression Tree) ～ LINQをより深く理解するために～

async/await のしくみ

PPL 2022 招待講演：静的型つき函数型組版処理システムSATySFiの紹介

WebSocket / WebRTCの技術紹介

Viewers also liked

How Scala code is expressed in the JVM

Koichi Sakata

Everyone is talking about microservices, and there is more confusion than ever about what the promise of microservices really means and how to deliver on it. To address this we will explore microservices from first principles, distilling their essence and putting them in their true context: distributed systems. What many people forget is that microservices are distributed and collaborative by nature and only make sense as systems—one collaborator is no collaborator. It is in between the microservices that the most interesting and rewarding, and also challenging, problems arise—enter the world of distributed systems. Distributed systems are by definition complex, and we system developers have been spoiled by centralized servers for too long to easily understand what this really means. Slicing an existing system into various REST services and wiring them back together again with synchronous protocols and traditional enterprise tools—designed for monolithic architectures—will set us up for failure. As if that wasn’t enough, we can’t just think about systems of microservices. In order to make each microservice resilient and elastic in and of itself, we have to design each individual microservice as a distributed system—a «microsystem»—architected from the ground up using the reactive principles.

From Microliths To Microsystems

Jonas Bonér

Abstract: The demands and expectations for applications have changed dramatically in recent years. Applications today are deployed on a wide range of infrastructure; from mobile devices up to thousands of nodes running in the cloud—all powered by multi-core processors. They need to be rich and collaborative, have a real-time feel with millisecond response time and should never stop running. Additionally, modern applications are a mashup of external services that need to be consumed and composed to provide the features at hand. We are seeing a new type of applications emerging to address these new challenges—these are being called Reactive Applications. In this talk we will discuss four key traits of Reactive; Responsive, Resilient, Elastic and Message-Driven—how they impact application design, how they interact, their supporting technologies and techniques, how to think when designing and building them—all to make it easier for you and your team to Go Reactive. Intended Audience: Programmers, architects, CIO/CTOs and everyone with a desire to challenge the status quo and expand their horizons on how to tackle the current and future challenges in the computing industry.

Go Reactive: Building Responsive, Resilient, Elastic & Message-Driven Systems

Jonas Bonér

Pragmatic Real-World Scala (short version)

Jonas Bonér

Everyone is talking about Microservices and there is more confusion than ever about what the promise of Microservices really means—and how to deliver on it. To address this situation, we will explore Microservices from first principles, distill their essence and put them in their true context: Distributed Systems. Distributed Systems is very hard and we—system developers—have been spoiled by centralized servers for too long. Slicing an existing system into various REST services and wiring them back together again with synchronous protocols and traditional enterprise tools—designed for Monolithic architectures—will set us up for failure. As if that wasn’t enough, we can’t only think about systems of Microservices. In order to make each Microservice scalable and resilient in and of itself, we have to design each Microservice as a Distributed System—a «Microsystem»—architected from the ground up using the Reactive principles and Events-first Domain Driven Design. In this talk I’ll walk you through the evolution of such a system, discussing what you need to know in order to design a Scalable Microservices Architecture.

Reactive Microsystems: The Evolution of Microservices at Scale

Jonas Bonér

Event-driven architecture and design have been getting a lot of attention in recent years. It’s an old concept that has been around for decades, so why this sudden peak of interest? In this talk, we will explore the nature of events, what it means to be event-driven, and how we can unleash the power of events. The goal is to arm you with a solid theoretical understanding of how to design an event-driven system, what tools and techniques you can use to reap the most benefit from its design, and perhaps most importantly, what to avoid. We'll discuss how an event-driven design can help: - drive autonomy - reduce risk - increase certainty - increase loose coupling - increase scalability - increase resilience - increase traceability Skeptics should definitely attend.

How Events Are Reshaping Modern Systems

Jonas Bonér

A talk given at Scala Matsuri 2016 in Tokyo, Japan. New Scala practitioners often experience the uncomfortable feeling of "not quite getting it." If you've studied the syntax and written tests, maybe production code; if you're becoming comfortable with the language and libraries, but keep worrying that there's "a better way", or that your code isn't "idiomatic enough" - this session is for you. By refactoring a real, live codebase, this talk will provide you with new tools and increased confidence. Between the provided examples and the ensuing discussion, you will walk away with a better feel for Scala and how to employ it in the real world.

Scala Refactoring for Fun and Profit (Japanese subtitles)

Tomer Gabel

Contributing to Scala OSS from East Asia #ScalaMatsuri

Kazuhiro Sera

Why Reactive Matters #ScalaMatsuri

Yuta Okamoto

ScalaMatsuri 2016

Yoshitaka Fujii

あなたのScalaを爆速にする７つの方法(日本語版)

x1 ichi

Zen of Akka

Konrad Malawski

Learn how to build Reactive Systems with Akka. Examples in both Java 8 and Scala. Abstract: The demands and expectations for applications have changed dramatically in recent years. Applications today are deployed on a wide range of infrastructure; from mobile devices up to thousands of nodes running in the cloud—all powered by multi-core processors. They need to be rich and collaborative, have a real-time feel with millisecond response time and should never stop running. Additionally, modern applications are a mashup of external services that need to be consumed and composed to provide the features at hand. We are seeing a new type of applications emerging to address these new challenges—these are being called Reactive Applications. In this talk we will introduce you to Akka and discuss how it can help you deliver on the four key traits of Reactive; Responsive, Resilient, Elastic and Message-Driven. We will start with the basics of Akka and work our way towards some of its more advanced modules such as Akka Cluster and Akka Persistence—all driven through code and practical examples.

Building Reactive Systems with Akka (in Java 8 or Scala)

Jonas Bonér

Viewers also liked (13)

How Scala code is expressed in the JVM

From Microliths To Microsystems

Go Reactive: Building Responsive, Resilient, Elastic & Message-Driven Systems

Pragmatic Real-World Scala (short version)

Reactive Microsystems: The Evolution of Microservices at Scale

How Events Are Reshaping Modern Systems

Scala Refactoring for Fun and Profit (Japanese subtitles)

Contributing to Scala OSS from East Asia #ScalaMatsuri

Why Reactive Matters #ScalaMatsuri

ScalaMatsuri 2016

あなたのScalaを爆速にする７つの方法(日本語版)

Zen of Akka

Building Reactive Systems with Akka (in Java 8 or Scala)

Similar to バッチを Akka Streams で再実装したら100倍速くなった話 #ScalaMatsuri

Mc web controllerご紹介資料2017.03.13

MPN Japan

AWSオンリーで実現するIoTクラウド基盤

Godai Nakamura

Yahoo! JAPANのサービス開発を10倍早くした社内PaaS構築の今とこれから

Yahoo!デベロッパーネットワーク

Db2 Warehouse (旧名：dashDB Local)は、Dockerコンテナベースで提供され、DWHとSparkを統合した新しいコンセプトを持った製品です。本セッションでは、「Db2 Warehouse 実機検証やってみた! シリーズ」として、ネットワールド様、インサイトテクノロジー様が実施されたDb2 Warehouse 検証結果のご紹介に加え、DWH基盤だけではない、機械学習分析基盤としてのDb2 Warehouseの価値をご紹介します。

[db tech showcase Tokyo 2017] C25: 世界最速のAnalytic DBがHadoopとタッグを組んだ！～スケールアウト検...

Insight Technology, Inc.

Diskless Compute Nodeを使ったImmutable OpenStack

Yuki Yamashita

Akkaを使ったスケーラブルなLINE BOT

Takashi Sugimoto

Developers Summit 2016 Yahoo! JAPAN Tech Conference http://event.shoeisha.jp/devsumi/20160218/tokusetsu 【18-A-5】15:15～16:00【第2部】 Yahoo! JAPANの実践から学ぶ、超大規模Webシステムのフロントエンドとインフラ『Yahoo! JAPANが実践するOpenStackと大規模環境でのコンテナ利用』システム統括本部サイトオペレーション本部インフラ技術1部部長伊藤拓矢

Yahoo! JAPANが実践するOpenStackと大規模環境でのコンテナ利用 #devsumi

Yahoo!デベロッパーネットワーク

JobScheduler ユーザカンファレンス 2016 東京日産コンピュータシステム様事例紹介

Daisuke Ikeda

20180220 AWS Black Belt Online Seminar - Amazon Container Services

Amazon Web Services Japan

Python / R で使うSAS Viya

SAS Institute Japan

バッチソリューションAzarea cluster 2016

AzareaCluster

HANAのハナシの基本のき

Koji Shinkubo

分析用RDBMSとして世界最速の座に君臨し続けるActian Vector。実は、ビッグデータ分析基盤のデファクトスタンダードであるHadoopとも深い仲なのです。HadoopやSparkとのデータ連携はもちろん、これまではシングルノードでしか実行できなかったActian Vectorが、Hadoopの力によってスケールアウト可能となるのです。本セッションでは、「そもそもActian Vectorって何」という方からこれまでのHadoop上のSQLソリューションに満足できない方までを対象に、Hadoop上で動作するActian VectorやSpark connectorのデモを交えてご紹介します

[db analytics showcase Sapporo 2017] B27:世界最速のAnalytic DBはHadoopの夢を見るか by 株式会...

Insight Technology, Inc.

Contrail deploy by Juju/MAAS

Ikuo Kumagai

弊社IoT事例とAlexaSkil開発レシピ

Takashi Kozu

Docker国内外本番環境サービス事例のご紹介

ThinkIT_impress

知って得する！パブリッククラウドをオンプレミスのように使う裏ワザ

エクイニクス・ジャパン

クラウドファースト時代の最適なシステム配置について

エクイニクス・ジャパン

Enterpriseapi20160210

Shinichiro Takezaki

OpenStack環境の継続的インテグレーション

エクイニクス・ジャパン

Similar to バッチを Akka Streams で再実装したら100倍速くなった話 #ScalaMatsuri (20)

Mc web controllerご紹介資料2017.03.13

AWSオンリーで実現するIoTクラウド基盤

Yahoo! JAPANのサービス開発を10倍早くした社内PaaS構築の今とこれから

[db tech showcase Tokyo 2017] C25: 世界最速のAnalytic DBがHadoopとタッグを組んだ！～スケールアウト検...

Diskless Compute Nodeを使ったImmutable OpenStack

Akkaを使ったスケーラブルなLINE BOT

Yahoo! JAPANが実践するOpenStackと大規模環境でのコンテナ利用 #devsumi

JobScheduler ユーザカンファレンス 2016 東京日産コンピュータシステム様事例紹介

20180220 AWS Black Belt Online Seminar - Amazon Container Services

Python / R で使うSAS Viya

バッチソリューションAzarea cluster 2016

HANAのハナシの基本のき

[db analytics showcase Sapporo 2017] B27:世界最速のAnalytic DBはHadoopの夢を見るか by 株式会...

Contrail deploy by Juju/MAAS

弊社IoT事例とAlexaSkil開発レシピ

Docker国内外本番環境サービス事例のご紹介

知って得する！パブリッククラウドをオンプレミスのように使う裏ワザ

クラウドファースト時代の最適なシステム配置について

Enterpriseapi20160210

OpenStack環境の継続的インテグレーション

Recently uploaded

知識ゼロの営業マンでもできた！超速で初心者を脱する、悪魔的学習ステップ3選.pptx

sn679259

Amazon SES を勉強してみるその３2024/04/26の勉強会で発表されたものです。

iPride Co., Ltd.

論文紹介：Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...

Toru Tamaki

LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス

CRI Japan, Inc.

新人研修　後半 2024/04/26の勉強会で発表されたものです。

iPride Co., Ltd.

論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games

atsushi061452

LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル

CRI Japan, Inc.

Observabilityは従来型の監視と何が違うのか（キンドリルジャパン社内勉強会：2022年10月27日発表）

Hiroshi Tomioka

論文紹介：Selective Structured State-Spaces for Long-Form Video Understanding

Toru Tamaki

Amazon SES を勉強してみるその２2024/04/26の勉強会で発表されたものです。

iPride Co., Ltd.

Utilizing Ballerina for Cloud Native Integrations

WSO2

Recently uploaded (11)

知識ゼロの営業マンでもできた！超速で初心者を脱する、悪魔的学習ステップ3選.pptx

Amazon SES を勉強してみるその３2024/04/26の勉強会で発表されたものです。

論文紹介：Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...

LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス

新人研修　後半 2024/04/26の勉強会で発表されたものです。

論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games

LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル

Observabilityは従来型の監視と何が違うのか（キンドリルジャパン社内勉強会：2022年10月27日発表）

論文紹介：Selective Structured State-Spaces for Long-Form Video Understanding

Amazon SES を勉強してみるその２2024/04/26の勉強会で発表されたものです。

Utilizing Ballerina for Cloud Native Integrations