雲端資料庫建立與連結Weka

1. 雲端資料庫建立與連結Weka
學號：M0324008
學生：曾勝億
指導教授：黃豐隆
2015/1/9國立聯合大學資工系-資料探勘 1

2.  Google Compute Engine(GCE)介紹
 MongoDB介紹
 在GCE上新增實體(Instance)
 安裝 MongoDB
 匯入DataSet到MongoDB
 MongoDB基本使用說明
 Weka 連結MongoDB
大綱
2015/1/9國立聯合大學資工系-資料探勘 2

3.  Google計算引擎（GCE）是Google所提供的基礎設施即服務（IaaS），Google計算
引擎允許使用者能建立需求的虛擬機（VM）於Google的伺服器，每個VM稱為一個
Instance。使用者可視需求安裝不同的OS，運行使用者所需得服務及應用程式。
 註一：基礎設施即服務（Infrastructure as a Service，簡稱IaaS）是提供使用者處理、儲存、
網路以及各種基礎運算資源，部署與執行作業系統或應用程式伺服器環境的一項服務。
 註二：Google所提供的Google App Engine則屬於平台即服務（Platform as a Service，簡
稱PaaS）。
 Google Compute Engine相關教學
 http://www.slideshare.net/tureki/google-cloud-platform-34679931
Google Compute Engine(GCE)介紹
Instance Structure
Instance
2015/1/9國立聯合大學資工系-資料探勘 3

4.  MongoDB是一種檔案導向資料庫管理系統，由C++
撰寫而成，以此來解決應用程式開發社群中的大量
現實問題。
 常使用於雲端，是一種NoSQL的資料庫。
 透過JSON的格式來儲存資料。
MongoDB介紹
2015/1/9國立聯合大學資工系-資料探勘 4

5.  步驟:
(1)開啟控制台
在GCE上新增實體(Instance)
2015/1/9國立聯合大學資工系-資料探勘 5

6.  (2)開啟已建立的專案
在GCE上新增實體(Instance)(續)
2015/1/9國立聯合大學資工系-資料探勘 6

7.  (3)點擊運算->Compute Engine->VM 執行個體中的“新 增執行個體”
 按需求自行設定，可參考相關教學
 Google Compute Engine相關教學
 http://www.slideshare.net/tureki/google-cloud-platform-34679931
在GCE上新增實體(Instance)(續)
2015/1/9國立聯合大學資工系-資料探勘 7

8.  於創建好的執行實體(本例OS為Ubuntu)，點擊SSH連
線至執行實體
安裝 MongoDB
2015/1/9國立聯合大學資工系-資料探勘 8

9.  SSH連線畫面，請按下一頁步驟開始安裝。
安裝 MongoDB(續)
2015/1/9國立聯合大學資工系-資料探勘 9

10.  更新套件並安裝 MongoDB。如果系統詢問您是否要安裝這個物件，請輸入「Y」。
 sudo apt-get update
 sudo apt-get install mongodb
 MongoDB 服務會在安裝完成後立即執行。您必須先停止該服務，才能變更其執行方式。
 sudo service mongodb stop
 為 MongoDB 建立目錄，然後在通訊埠 80 上以背景作業的方式執行 MongoDB 服務。
 sudo mkdir $HOME/db ; sudo mongod --dbpath $HOME/db --port 80 --fork
--logpath /var/tmp/mongodb
安裝MongoDB(續)
2015/1/9國立聯合大學資工系-資料探勘 10

11.  MongoDB 的組成架構：
 Collection：為放資料的容器，每一筆新增的資料都有一個存放的 Collection，
類似 一般RDBMS(關聯式資料庫管理系統)的Table但 無限定要放那種格式 ！
 Object：MongoDB 最基本資料單位，每筆資料都以 Object 型態存在
Collection 中，新增後自動產生一個重複的 ID (類似 UUID 而非流水號)，為
什麼要這樣設計其實很簡單，用於分散式系統中，使用不重複的 ID 將會是
關鍵。
 註：分散式系統是一種允許檔案透過網路在多台主機上分享的檔案系統
MongoDB基本使用說明
2015/1/9國立聯合大學資工系-資料探勘 11

12.  常用指令
 Mongo test 連線至資料庫test
 Show dbs;
MongoDB基本使用說明(續)
2015/1/9國立聯合大學資工系-資料探勘 12

13.  show collections; //顯示資料庫中的Collections
 db.createCollection(Collection名稱);//新增Collection
 註：“紅色文字部分依需求填入”
MongoDB基本使用說明(續)
2015/1/9國立聯合大學資工系-資料探勘 13

14.  db.Collection名稱.insert();//插入一筆新紀錄
 db.Collection名稱.find();//查詢Collection內容
MongoDB基本使用說明(續)
國立聯合大學資工系-資料探勘 14

15.  db.Collection名稱.drop();//刪除Collection
MongoDB基本使用說明(續)
2015/1/9國立聯合大學資工系-資料探勘 15

16.  匯入DataSet到MongoDB
 下載DataSet，於SSH連線畫面輸入以下指令
 curl https://archive.ics.uci.edu/ml/machine-learning-
databases/iris/iris.data -o "iris.csv”
 ls
匯入DataSet到MongoDB
2015/1/9國立聯合大學資工系-資料探勘 16

17.  編輯iris.csv，於最上面加入以下文字
 SepalLength , SepalWidth ,PetalLength, PetalWidth,class
 輸入以下指令將iris.csv匯入MongoDB
 mongoimport -d Database名稱 -c Collection名稱 --type csv --file iris.csv --headerline
匯入DataSet到MongoDB(續)
2015/1/9國立聯合大學資工系-資料探勘 17

18.  查看是否匯入成功
匯入DataSet到MongoDB(續)
2015/1/9國立聯合大學資工系-資料探勘 18

19. Weka 連結MongoDB
 下載安裝JDBC library
 UnityJDBC Driver for MongoDB
 安裝完於安裝路徑資料夾複製如下圖的檔案至Weka資料夾下
 mongodb_unityjdbc_full.jar, unityjdbc.jar
2015/1/9國立聯合大學資工系-資料探勘 19

20. Weka 連結MongoDB(續)
2015/1/9國立聯合大學資工系-資料探勘
 編輯RunWeka.ini
20

21. Weka 連結MongoDB(續)
 在”RunWeka.ini”檔案中，新增 “; unityjdbc.jar;
mongodb_unityjdbc_full.jar”
2015/1/9國立聯合大學資工系-資料探勘 21

22. Weka 連結MongoDB(續)
 下載以下檔案解壓縮之後，將utils中的”DatabaseUtils.props.mongodb”命名
為”DatabaseUtils.props”
 https://github.com/selvinsource/mongodb-datamining-
shell/archive/master.zip
 將DatabaseUtils.props 複製並取代 weka.jar 中 wekaexperiment 該檔
 Jar 檔可使用 7-Zip 或 WinRAR 開啟
2015/1/9國立聯合大學資工系-資料探勘 22

23. Weka 連結MongoDB(續)
 執行 “RunWeka.bat”
2015/1/9國立聯合大學資工系-資料探勘 23

24.  SQL執行結果
Weka 連結MongoDB(續)
2015/1/9國立聯合大學資工系-資料探勘 24