More Related Content
Similar to 自宅でHive愛を育む方法 〜Raspberry Pi編〜
Similar to 自宅でHive愛を育む方法 〜Raspberry Pi編〜 (20)
自宅でHive愛を育む方法 〜Raspberry Pi編〜
- 2. はじめに
v 本スライドは、Hadoop Advent Calendar 2013
の23⽇日⽬目の記事です。
l http://qiita.com/advent-‐‑‒calendar/2013/hadoop
v Hiveserver2への移⾏行行について記事を書こうと思っ
ていましたが、⼤大⼈人の事情により移⾏行行⾃自体を断念念し
ました(涙
Copyright © CELLANT Corp. All Rights Reserved.
2
http://www.cellant.jp/
- 6. Raspberry Piのハードウェアスペック
Model A
Model B
価格
$25
$35
SoC
Broadcom BCM2835 (CPU, GPU, DSP, SDRAM)
CPU
700 MHz / ARM1176JZF-‐‑‒S コア (ARM11 ファミリ)
GPU
Broadcom VideoCore IV, OpenGL ES 2.0 (24 GFLOPS)
1080p 30fps H.264/MPEG-‐‑‒4 AVC High Profile デコーダー,
MPEG-‐‑‒2, VC-‐‑‒1
メモリ (SDRAM)
256MB (GPU共有)
512MB (GPU共有)
USB 2.0 ポート
1
2(統合USBハブ)
ネットワーク
なし
10/100 Mbps イーサネット
(RJ45)
低レベル周辺機器
8 × GPIO, UART, I²C, SPIと2つのチップセレクト, +3.3 V,
+5 V, 接地
Copyright © CELLANT Corp. All Rights Reserved.
6
http://www.cellant.jp/
- 13. 恒例例のHiveBenchによる性能評価
v 評価環境
l Hadoopのバージョンは1.2.1
l Hiveのバージョンは0.12.0
l HiveBenchの10万分の1のスケール
• 10000⾏行行の”uservisits”テーブル
• 1200⾏行行の”rankings”テーブル
l ⾮非圧縮のSequenceFile
v 評価内容
l いつものSELECTクエリ(JOIN有り)
l ジョブレイテンシを測定(1回のみ!)
v 詳細は下記をご参照ください
l http://www.slideshare.net/sudabon/how-‐‑‒toworkhiveonraspberrypi/16
Copyright © CELLANT Corp. All Rights Reserved.
13
http://www.cellant.jp/
- 14. 性能評価結果
v 驚いたことに(失礼!)、正常にクエリ処理理が完了了!!
v 10万分の1のスケールとはいえ、想定外の低レイテンシ!!
MapReduce Jobs Launched:
Job 0: Map: 2 Reduce: 1 Cumulative CPU: 138.59 sec HDFS Read:
2027641 HDFS Write: 11399 SUCCESS
Job 1: Map: 1 Reduce: 1 Cumulative CPU: 25.65 sec HDFS Read:
11863 HDFS Write: 10119 SUCCESS
Job 2: Map: 1 Reduce: 1 Cumulative CPU: 25.39 sec HDFS Read:
10583 HDFS Write: 30 SUCCESS
Total MapReduce CPU Time Spent: 3 minutes 9 seconds 630 msec
OK
64.109.226.120 0.9987925 37.0
Time taken: 991.129 seconds, Fetched: 1 row(s)
Copyright © CELLANT Corp. All Rights Reserved.
14
http://www.cellant.jp/
- 15. まとめ
v Raspberry Pi上でHadoopクラスタが動作することは、既に
報告されている
⇒ Hiveも動作するだろうとは思っていた
v Raspberry Piのハードウェアが低スペックなので、あらゆる
作業に時間がかかるのが難点
⇒ Hive愛があれば、気にならない
v メモリが512MBでも、クエリが失敗しない
⇒ Hiveが愛おしくてしょうがない
Copyright © CELLANT Corp. All Rights Reserved.
15
http://www.cellant.jp/