Aerospike deep dive LDTs

－－copyright Fringe81 Co.,Ltd.
Aerospike Tech Deep Dive
v3新機能 Large Data Typesを中心に

・@mtoyoshi
・Fringe81
・Java, Scala
・アドテク畑
　DSP→DMP→ADNW
・Aerospike歴1年
自己紹介

Aerospikeは...
速い
運用コストが低い
スケーラビリティ高い
etc...

インフラ的な話が多い？
今日はプログラミング話

2015/04 Aerospike行ってきた

ステーキの写真

クライアントライブラリ
新機能の実装優先度

1st Priority

2nd Priority

Aerospike
↓
アドテク？
↓
Scala？？

Aerospike Community Labs
http://www.aerospike.com/community/labs/

大体の使い方を知るには
サンプルプログラムを読む/実行する
のが手っ取り早い
あと
ドキュメントが充実してきている

https://www.aerospike.com/docs/operations/install/vagrant/mac/

http://localhost:8081

% vagrant ssh
$ cd ClientInstall
$ ./as_java_install.sh
$ cd ~/aerospike-client-java-3.1.2/examples
$ ./run_examples all

ここまで
30分で出来た
※Vagrant自体のインストールは除く

GitHubで公開されている
clientライブラリにも
examplesが同梱
但しクライアントライブラリ（プログラミング言語）
によってexamplesの充実度が異なる
※例えばLDTsはrubyやphpには2015/06時点で
無かったり一部だったり
※充実度ではJavaが一番良さそう

基本の「保存」＆「検索」

client.put(
new WritePolicy(),
new Key(“namespace”, “setname”, “key1”),
new Bin(“num”, 1),
new Bin(“bool”, true));
Bin部は可変長引数

getBooleanとgetObjectで挙動が異なる
Record record =
client.get(
new Policy(),
new Key(“namespace”, “setname”,“key1”),
“num”);
int n = record.getInt(“num”); // 1
boolean b = record.getBoolean(“bool”); // false
Object o = record.getValue(“bool”); // null

Serializableを実装している
任意のクラスも保存可能
Record#getList
Record#getMap
はない
Record#getObject
を使用してダウンキャスト
boolean
int
long
float
double
String
List
Map
Object
byte[]

msgpackの
仕様に基づき
シリアライズ
されて保存

val list = List(“x”, “a”, “c”)
list :+ “f” // 追加
list.dropWhile(_ == “a”) // 削除
list.find(_ == “c”) // 検索
list.sorted // ソート
Aerospike上にListが保存されていても
プログラミング言語のListのように
1要素だけ追加とか出来ない
取得→Listの操作→保存
Scala

でも
ver.3から
できる

ver.3から
Aerospike DBとして
List / Set / Map / Stackを
サポート
それが
Large Data Types(LDTs)

LargeList llist =
client.getLargeList(
writePolicy,
key,
binName);
llist.add(Value.get(“z”))
getLargeList時点では通信は発生しない。
“z”だけの追加が可能。

add / update
scan / find / range / filter
remove / destroy
size
LargeListはkeyのASCでソートされる
O(logN)の探索となる
LargeListのメソッド

llist.add(Value.get(“a,99”));
llist.add(Value.get(“b,1”));
これだと文字列順でa,bとソート

上記だとkeyの数字順でb,aとソート
※“key”が特殊な意味を持つ
Map<String,Value> m = new HashMap<>();
m.put(“key”,Value.get(99));
m.put(“value”, Value.get(“a,99”));
list.add(Value.get(m));
※もう１つは省略

どうやって1要素だけの
差分追加等を実現しているのか？
public void add(Value v) {
client.execute(policy, key, PackageName, "add", binName, v);
}
private static final String PackageName = "llist";
LargeList.javaのaddメソッドのソースコード

サーバーに配置されたluaプログラムを実行
するためのメソッド。
LDT処理はサーバーのluaで実行される。
インストール時に/opt/aerospike/sys/udf/luaにluaスクリプトが配
置される。
function llist.add (topRec, ldtBinName, newValue, createSpec, src)
local meth = "llist.add()";
local rc = aerospike:set_context( topRec, UDF_CONTEXT_LDT );
if (rc ~= 0) then
error(ldte.ERR_NS_LDT_NOT_ENABLED);
end
if newValue == nil then
...略...
end
/opt/aerospike/sys/udf/lua/ldt/lib_llist.lua
AerospikeClient#execute

Luaスクリプトは
自分で書くことも出来る
UDF
(User-Defined Functions)
と呼ぶ

val l = List(1,2,3)
val addr = (a:Int, b:Int) => a + b
l.map(n => addr(1, n))
Scala
(ちょっと苦しいが)UDFで実現してみる
List(1,2,3) -> +1 -> List(2,3,4)

・クライアント：
　いくら足すのかを指定
・サーバー：
　udfにて、指定された値を全要素に足す
　※replaceできない(?)ので削除&追加で表現
シナリオ

LargeList llist =
client.getLargeList(
writePolicy,
key,
binName);
llist.add(
Value.get(1), Value.get(2), Value.get(3));
1,2,3というLListを保存しておく

local llist_lib = require(‘ldt/lib_llist’);
function addr(rec, binName, numVal)
local l = list()
elems = llist_lib.scan(rec, binName, nil, nil, nil, nil)
for e in list.iterator(elems) do
list.append(l, e + numVal)
end
llist_lib.destroy(rec, binName)
llist_lib.add_all(rec, binName, l);
return numVal
end
aql> register module ‘myfunc.lua’

client.execute(
writePolicy,
key,
“myfunc”,
“addr”,
Value.get(“binName”), Value.get(1)
);
クライアントで
myfunc.addrを引数2つで呼び出し

System.out.println(llist.scan());
[2,3,4]と表示される。
もとのListに+1された事が確認できた。
※List<?>が返る

・ソート順は昇順のみ
・aerospike.confのwrite block size設定によっ
て1要素の容量が制限される
- 1Mbなら200kb
- 128Kbなら30kb
- なお要素数の制限は無い
・add_all()/update_all()での実行で挿入できる
データ容量は1GBまで(luaの限界)
・BinaryDataTypeおよびmin()/max()はunder
construction
http://www.aerospike.com/docs/guide/llist.html
Limitation:

他にも制限がある
・XDR(※1)ではLDTは対象外
・aql(※2)で内容を確認できない
※1 Cross Datacenter Replication
※2 SQLライクな対話型ツール

制限とはちょっと違うが
・LDTのデータは1つのサーバーノードで保存され
クラスタ内に分散するわけではない
・TTLはRecord単位で、LDTのデータ（要素）単位
ではない
・LDT処理はlua使う分CPU消費する
・LDT x Luaはサンプル少なくちょっと苦労

aqlの話を少ししてみる

aql> select * from test.hoge where pk='addkey'
+------+
| bool |
+------+
| 1 |
+------+
aql> select * from test.hoge where pk='addkey2'
+--------+
| addbin |
+--------+
| 45 |
+--------+
aql> select * from test.hoge
+--------+------+
| addbin | bool |
+--------+------+
| 45 | |
| | 1 |
+--------+------+
limit句欲しい、が難しいらしい

+------+
| bool |
+------+
| 1 |
+------+
+--------+
| addbin |
+--------+
| 45 |
+--------+
+--------+------+
| addbin | bool |
+--------+------+
| 45 | |
| | 1 |
+--------+------+
Keyが表示されない。が...

WritePolicy wp = new WritePolicy();
wp.sendKey = true;
client.put(wp, ...

+------+
| bool |
+------+
| 1 |
+------+
+--------+
| addbin |
+--------+
| 45 |
+--------+
+-----------+--------+------+
| key | addbin | bool |
+-----------+--------+------+
| "addkey2" | 45 | |
| "addkey" | | 1 |
+-----------+--------+------+
Keyが表示される
なおaqlでの表示以外にも...

client.scanAll(
new ScanPolicy(),
“namespace”,
“setname”,
new ScanCallback {
public void scanCallback(Key k, Record r) {
k.userKey(); // これでkeyの値が取得可能
}
}); scanAllはSetのレコードを全走査する際に使用。
この時Keyの値が必要になることが多い。

OSS化
2014.6.24

Community Edition?
Enterprise Edition?

あまり使われていない機能
（主に新機能）や
環境を使う場合は
Enterprise Editionを
推奨

Aerospike自身のバグの可能性も
米国チームや
インドチームに
調査依頼出来る
※日本語でOK
※英語チャットもOK
日本に来てくれることも

でも
Community Edition利用も
広がって欲しい

自分で薄いScalaラッパー作ってしまった。
みんなはどうしているんだろう？
調査発表とかソースコードリーディング勉強会？

最後に...

We’re hiring!

参考資料
GitHub上のClientライブラリ以外の
サンプルコード
https://github.com/aerospike/ldt-examples
https://github.com/aerospike/url-tracker

Aerospike deep dive LDTs

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (12)

Similar to Aerospike deep dive LDTs

Similar to Aerospike deep dive LDTs (20)

Aerospike deep dive LDTs