ディープラーニング界隈で異常な盛り上がりを見せるGPUですが、ゲーム、画像処理、HPC、ディープラーニング以外の用途として、データベース処理の高速化への応用が期待されており、実際にMapD、Kinetica、SQreamなどの製品が登場しています。 今回の三木会では、GPUを使ったデータベースの仕組み、特徴について簡単に説明したうえで、今年オープンソース化されたGPUデータベースのMapDを使い、地図の上に大量のデータを重ねて評価を行ってみたデモをお見せします。その評価を通してわかったこと、向いてないこと、GISとの相性など、GPUデータベースの特徴とその可能性について紹介します。 <MapD詳解, デモ編>

1. 「地図用データを高速処理！オープンソースGPUデータベースMapDの魅力に迫る！！」
GIS Specialist 井内 一史

2. 地図の世界がどんどん変わってきている…
© OpenStreetMap contributors

3. 昔は地図ベンダーが整備していました。
→ 地理院さんの地図はそれはそれは
ハードルが高かった。
→ でも、ベンダー地図も、別な意味で
ハードルは高かったです。

4. GoogleMap
→ タダで使える時代へ
違うけど。

5. そんな中、オープン化の流れ
●OpenStreetMapも ●地理院さんも！
© OpenStreetMap contributors
さらに
充実
官民デー
タ活用推
進基本法

6. 地理院さんの地図が変わるらしい
1. 主要道路・鉄道の即時公開
2. 内部利用・商用利用可（要届出）
3. ベクトルタイル公開
4. 地名データ公開 ← Good!

7. 国土地理院 住居表示住所
http://www.gsi.go.jp/kihonjohochousa/jukyo_jusho.html

8. ではベンダー地図は？
→ 変わるらしい
1. 詳細地図作成
2. ３D地図作成
どうして
？

9. 自動運転
https://www.gizmodo.jp/2015/09/post_18217.html

10. ドローンハイウェイ構想
https://iotnews.jp/archives/52621

11. みちびき
内閣府HPより

12. ●正確な位置
●大量のデータ
データが増えてからでは本当に遅い！
今から準備をしましょう。
交通
人流
IoT
物流

13. これからのデータ
ベースをみつけま
した。

14. GPUを利用したビッグデータ
可視化製品 MapD

15. GPUを利用したビッグデータ可視化製品であるMapDを開発
2013年 ボストンで設立
Todd Mostak、Tom Graham 氏による
HQ サンフランシスコ
2017年5月 オープンソース化 Apache 2.0 Licence
Community版の利用が可能に。

16. ● 大量データセットの分析・可視化
→ 数十億行も可能。
● 安く、そして速く
→ GPUを活用しています（集計、描画）。
● 地図データ連携による可視化（ただのDBではありません）
→ 大量データの傾向を把握できます。
→ GISデータ（kml、geojson、shp）インポートが可能です。
MapDの特長

17. カラムナーデータベースの特性を活用し、
必要なデータだけをロードします。
ID NAME Value Date
1 AAA 1002 8/11...
２ BBB 33756 8/12...
... ... ... ...
ID NAME Value Date
1 03fac254 c90876ac 8/11...
２ 03ff87b1 2ab096c9 8/12...
... ... ... ...
一般的な行指向データベース
・すべての列を読み込んでメモリ展開。
MapDのカラムナーデータベース
・必要な列だけ読み込んでメモリ展開。
・できるだけGPUメモリに保持。
・4,8,16バイトの固定長レコード(ポイン
タアクセス可能）
17

18. 統計計算は、多くのGPUコアを使った並列処理です。
コア
集計
集計
集計
集計
● 固定長レコードをコアが並列
集計。
● SQL文はJITコンパイルされ、
実行される。
（環境依存しない中間コードを生成）

19. これまでのDB
検索結果は、
データ量が少ない画像の形式で返されます。
アプリケーションサーバー
（またはクライアント）
MapD
多い
OpenGL
少ない
Hot Record
行データ
行データ
アプリケーションサーバー
（またはクライアント）
データ
コア
19

20. 性能比較 その１
● 平均値
select avg(arrdelay) from flights where origin_point @ ST_MakeEnvelope(20, -160, 50, -80, 4326);
select avg(arrdelay) from flights where origin_lon between -160 and -80 and origin_lat between 20 and 50;
空間インデクスが
ない場合は32秒
空間インデクス
なし

21. 性能比較 その２
● GROUP BY
select uniquecarrier, count(*), avg(arrdelay) from flights where origin_point @ ST_MakeEnvelope(20, -160, 50, -80,
4326) group by uniquecarrier;
select uniquecarrier, count(*), avg(arrdelay) from flights where origin_lon between -160 and -80 and origin_lat
between 20 and 50 group by uniquecarrier;
空間インデクスが
ない場合は61秒
空間インデクス
なし

22. MapD Immerse
OpenStreetMap
いままでは … これからは …
OpenStreetMap

26. ● いいとこどりはできる？
Leaflet と MapD