GraphXはScalaエンジニアにとってのブルーオーシャン @ Scala Matsuri 2014

1. Scala Matsuri 2014 LT
G r a p h X は
S c a l a エンジニアにとっての
ブルーオーシャン
@teppei_tosa
https://www.flickr.com/photos/exalthim/337922734

2. Who am I ?
@teppei_tosa
F i n a n c e I T E n g i n e e r
!
Asakusa / Hadoop /
Scala / Play Framework /
Spark / GraphX
https://www.flickr.com/photos/exalthim/337922734

3. • Sparkのコンポーネントのひとつ
• 並列グラフ計算処理システム
• グラフ構造データと表構造データの並列分散処
理をひとつのシステムで実装することが可能
https://www.flickr.com/photos/exalthim/337922734

4. グラフ計算処理の例： ページランク
1を頂点の数で割った数値を各0.33 0.33 0.33
頂点の値としてセット
0.17 0.17
0.33 0.33
各頂点の値を、各頂点から出て
いるリンク数で割って、そのリ
ンク先の頂点に配布
接続してきているリンクから渡っ0.17 0.50 0.33
て来た値を加算して自分の頂点
の値としてセット
各頂点の値が収束するま
で繰り返し、この値をラ
ンクポイントとする
https://www.flickr.com/photos/exalthim/337922734

5. グラフ計算の並列分散処理の難しさ
頂点間での接続情報があるため頂点毎に分散し
ての計算処理は、分散処理間での通信が必要に
なってしう
（Apache Giraphはインフラのための分散協調機構である
ZooKeeperを活用している）
https://www.flickr.com/photos/exalthim/337922734

6. グラフ構造データと表構造データの処理を統一
Apache Giraph
10
20
GraphX
30
1
100
3
110
120
200
2
[1,10,[2,100]]
[2,20,[3,110]]
[3,30,[1,200],[2,120]]
ID VAL
1 10
2 20
3 30
SRC TGT VAL
1 2 100
2 3 110
3 2 120
3 1 200
val graph = Graph.fromEdges
graph.joinVertices(…)
https://www.flickr.com/photos/exalthim/337922734

7. あなたの周りにもグラフデータ
Social Network Train Network Data Network
https://www.flickr.com/photos/exalthim/337922734

8. グラフデータを使ってできること
Eveluate Vertex Clustering Graph Shape
Flow on Graph Predict Link

9. G r a p h X は
まだまだ未成熟
• Web上の情報少ない
• R の igraph が揃えて
いるのような関数が全
く揃っていない
https://www.flickr.com/photos/exalthim/337922734
https://www.flickr.com/photos/katedot/8272997562

10. My work about GraphX
• GraphXの日本語訳ドキュメント
• https://gist.github.com/ironpeace/9306874
• グラフビジュアルツール
• https://github.com/ironpeace/graph-web
https://www.flickr.com/photos/exalthim/337922734

11. S c a l a エンジニアは有利
• ScalaのCollection APIに似たAPIでグラ
フデータを扱うことができる
• 頻出する再帰処理の実装がし易い
• 関数の実装がし易い
https://www.flickr.com/photos/exalthim/337922734

12. G r a p h X はブルーオーシャン！
• GraphXはグラフ構造データの並列分散処理機構
として優れている
• グラフ構造データを扱えるようになることでこれ
まで実現できなかったことができるようになる
• GraphX はまだ未熟
• Scalaエンジニアはグラフデータの扱いに優位！
https://www.flickr.com/photos/exalthim/337922734

13. Thank you !
Get the Graph Power!
@teppei_tosa
https://www.flickr.com/photos/exalthim/337922734