PredictionIOの構成とインストール方法について説明します。

1. Apache
BizReach, Inc.
Shinsuke SugayaPredictionIO勉強会 第2回
構築入門

2. 自己紹介
名前：菅谷 信介
会社：株式会社ビズリーチ AI室
興味があること：
・機械学習やDeep Learning等で解決方法を考える
・オープンソースのプロダクトを作る

3. Topics
・PredictionIOの構成について
・PredictionIOの導入方法

4. PredictionIOの構成

5. 構成要素
PredictionIOはこの部分を提供

6. 構成要素
データソース

7. 必要なもの
・必ず必要なもの
→Spark+Hadoop
・どれかの組み合わせで入れるもの
→Database
→HBase+Database
→Elasticsearch
など…

8. データソース
データソースには3種類あり、選択して入れる
・イベントデータ
→JDBC, HBase, Elasticsearch
・設定(メタデータ)
→JDBC, Elasticsearch
・モデルデータ
→JDBC, HDFS, Local, S3(0.12〜)
※JDBCと書いてあるがPostgreSQL以外でどこまで動くか不明

9. PredictionIOの
インストール

10. インストールの流れ
1. Sparkのインストール
2. データソースのインストール
3. PredicitionIOのインストール
4. テンプレートからエンジンの作成

11. Sparkのインストール
PredictionIOはSpark 1.6と2.1をサポートしている
(Spark 1.4以上に対応しているが、個人的には1.x系は捨てたい…)
今回はSpark 2.1.1をインストールする
$ cd /opt # 今回の例では/opt以下に入れる想定
$ wget http://d3kbcqa49mib13.cloudfront.net/spark-2.1.1-bin-hadoop2.6.tgz
$ tar zxvf spark-2.1.1-bin-hadoop2.6.tgz
$ cd spark-2.1.1-bin-hadoop2.6
$ echo "spark.locality.wait.node 0s" > conf/spark-defaults.conf
↑Standalone版での回避策

12. データソースの準備
イベント/メタデータにElasticsearch 5.4.2を利用する
(構築が一番簡単なので…)
モデルデータの保存にはファイルシステムを利用する
$ cd /opt
$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.4.2.tar.gz
$ tar zxvf elasticsearch-5.4.2.tar.gz
$ cd elasticsearch-5.4.2
$ ./bin/elasticsearch &

13. PreidctionIOのインストール
現在、バイナリとしての配布物がない…
(Apacheでの提供する際のライセンス問題を解決していないので…)
GitHubから取得して、まずビルドする
$ cd /opt
$ git clone https://github.com/apache/incubator-predictionio.git
$ cd incubator-predictionio/
$ ./make-distribution.sh
-Dscala.version=2.11.8
-Dspark.version=2.1.1
-Dhadoop.version=2.6.5
-Delasticsearch.version=5.4.2

14. PreidctionIOのインストール
ビルドが成功したら、成果物を展開する
$ cd /opt
$ tar zxvf incubator-predictionio/PredictionIO-0.11.1-SNAPSHOT.tar.gz
$ cd PredictionIO-0.11.1-SNAPSHOT

15. PreidctionIOの設定
設定ファイルconf/pio-env.shを修正する
$ vi conf/pio-env.sh
SPARK_HOME=/opt/spark-2.1.1-bin-hadoop2.6
PIO_STORAGE_REPOSITORIES_METADATA_SOURCE=ELASTICSEARCH
PIO_STORAGE_REPOSITORIES_EVENTDATA_SOURCE=ELASTICSEARCH
PIO_STORAGE_REPOSITORIES_MODELDATA_SOURCE=LOCALFS
PIO_STORAGE_SOURCES_ELASTICSEARCH_TYPE=elasticsearch
PIO_STORAGE_SOURCES_ELASTICSEARCH_HOSTS=localhost
PIO_STORAGE_SOURCES_ELASTICSEARCH_PORTS=9200
PIO_STORAGE_SOURCES_ELASTICSEARCH_SCHEMES=http
PIO_STORAGE_SOURCES_LOCALFS_TYPE=localfs
PIO_STORAGE_SOURCES_LOCALFS_PATH=$PIO_FS_BASEDIR/models
以下のように変更する

16. PreidctionIOの確認
pio statusを実行して、エラーが出なければOK
$ ./bin/pio status
…
[INFO] [Management$] Apache Spark 2.1.1 detected
[INFO] [Management$] Inspecting storage backend connections...
[INFO] [Storage$] Verifying Meta Data Backend (Source: ELASTICSEARCH)...
[INFO] [Storage$] Verifying Model Data Backend (Source: LOCALFS)...
[INFO] [Storage$] Verifying Event Data Backend (Source: ELASTICSEARCH)...
[INFO] [Storage$] Test writing to Event Store (App Id 0)...
[INFO] [Management$] Your system is all ready to go.

17. イベントサーバの起動
pio eventserverコマンドで起動する
これによりREST APIで訓練例を登録できる
$ ./bin/pio eventserver &
…
[INFO] [HttpListener] Bound to /0.0.0.0:7070
[INFO] [EventServerActor] Bound received. EventServer is ready.

18. PredictionIOで
テンプレートを
利用して学習

19. テンプレートで学習
テンプレートは機械学習を用いた1つのサービス
テンプレートギャラリーとして公開されている
(メンテナンスされていないものが多い…)
ApacheのGitHubで基本的なテンプレートを提供
(ゼロから作るならskeletonを利用すると良い)
今回は分類問題用のテンプレートを利用する
(他のテンプレートでの基本的な流れは同じはず…)

20. 準備
pioコマンドのパスを通す
今回、データ登録にPythonを利用する
predictionioモジュールも利用するので入れておく
$ export PATH=/opt/PredictionIO-0.11.1-SNAPSHOT/bin:$PATH
$ pio status # 確認
$ pip install predictionio

21. テンプレートの取得
GitHubからテンプレートをcloneする
$ cd /opt
$ git clone
https://github.com/apache/incubator-predictionio-template-attribute-based-classifi
er.git
$ cd incubator-predictionio-template-attribute-based-classifier

22. アプリの登録
PredictionIOにアプリの登録をする
$ pio app new TEST_APP # TEST_APPという名前のアプリを登録
"appName": "TEST_APP"
アクセスキーが発行される(pio app listで確認可能)
テンプレートのengine.jsonのappNameを更新する

23. 学習対象データの登録
data/data.txtにある訓練例をイベントサーバに登録
$ python data/import_eventserver.py --access_key=XXXXX
Importing data...
153 events are imported.
0,51 35 12
$ curl -XGET "http://localhost:7070/events.json?accessKey=XXXXX”
今回のデータ例：(クラス,属性…)
登録されたデータの確認

24. テンプレートのビルド
build.sbtの先頭行にscalaVersionを指定する
(将来のバージョンでは修正されるはず…)
$ pio build
scalaVersion in ThisBuild := "2.11.8"
ソースコードを変更したときにpio buildを実行する
テンプレートをビルドする

25. 学習
pio trainを実行する
モデルデータは~/.pio_store/modelsに保存される
$ pio train
…
[INFO] [CoreWorkflow$] Training completed successfully.

26. 予測
pio deployで予測サーバを起動する
$ pio deploy &
…
[INFO] [MasterActor] Engine is deployed and running. Engine API is live at
http://0.0.0.0:8000.
$ curl -H "Content-Type: application/json" -d '{"attr0":90,"attr1":15,"attr2":73}'
http://localhost:8000/queries.json
{"label":3.0}
data/data.txtのデータを投げてみる
(たとえば、「3,90 15 73」の場合、3がlabelとして返却される(予測成功！))

27. Apache
Thank You