Riak事始め＆デモ

Ｒｉａｋ事始め＆デモ
Ｒｉｋ事始め＆デモ
ヤフー株式会社
マーケティングソリューションカンパニー新規事業本部
阪田浩隆

2013年3月12日（火）

自己紹介

1 Copyright © 2013 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

氏名：阪田浩隆（さかたひろたか）
入社年：2004年10月
担当業務実績：
- 社内認証システム開発
- ビジネス系認証システム開発
- 社内ツール系開発
- 分散KVS 開発・保守・運用
- オブジェクトストレージ開発
現在：Riak開発部隊（Yahoo! JAPAN内）


アジェンダ
1. インストールから設定・起動まで
• Riak / Riak EDS
• Riak CS
2. Riak EDSを使ったデモ
• コマンドラインからのデータ登録/参照
3. どの場面で利用するのが良いのか
4. Riak CSを使ったデモ
• マウント機能を使った動画投稿
ウント機能を使た動画投稿


Riak / Riak EDS
インストールから起動まで

• 1nodeの構築
• クラスタの構築
• レプリケションの設定
レプリケーションの設定


• 作業の流れ
• パッケージダウンロード
• インストール
• 設定フイルの編集
設定ファイルの編集
• 起動


• パッケージの種類
• OSS版
• 1クラスタ構成の構築が可能
• 有償版
• マルチクラスタ構成の構築が可能


• 1nodeの構築
• 以下のサイトからダウン
以下のサイトからダウンロード
ド
• http://basho.com/resources/downloads/
• お使いの環境に合わせてダウンロードしてください


• 1nodeの構築
CentOS 6の環境でインストールする場合
C tOS 6の環境でインストルする場合

$ sudo yum install riak-1 2 1-1 el6 x86 64 rpm
riak 1.2.1 1.el6.x86_64.rpm


• 1nodeの構築
• 設定ファイル編集その１
$ sudo vi / t / i k/
d i /etc/riak/app.config
fi

ロカルに環境がある場合は、
ローカルに環境がある場合は
設定ファイルの編集は、特には不要。

ネットワーク環境にある場合で、
IPアドレスが指定されている場合は、以下を編集

{http, [ {"127.0.0.1", 8098 } ]},
↓
{http, [ {“独自環境のIPアドレス", 8098 } ]},


• 1nodeの構築
• 設定ファイル編集その２
$ sudo vi / t / i k/
d i /etc/riak/vm.args

ロカルに環境がある場合は、
ローカルに環境がある場合は


-name riak@127.0.0.1
↓
-name riak@独自環境のIPアドレス


• 1nodeの構築
• 起動
$ riak start
特に、何もレスポンスはありません

• 確認その１
確
$ riak ping
pong ← この表示が出ることを確認
$


• 1nodeの構築
• 確認その２
$ sudo riak-admin member_status
=================================
Membership
=================================
•Status その１Pending Node
確
確認 Ring
---------------------------------
valid 100.0% -- ‘riak@127.0.0.1'
---------------------------------
Valid:1 / Leaving:0 / Exiting:0 / Joining:0 / Down:0

↑
この表示が出ることを確認


• 1nodeの構築
• 確認その３
$ sudo riak-admin ring_status
============= Claimant =============
Claimant: ‘riak@127 0 0 1'
riak@127.0.0.1
Status: up
確
確認その１
•Ring Ready: true
========= Ownership Handoff ==========
No pending changes.
========= Ownership Handoff ==========
All nodes are up and reachable

↑
この表示が出ることを確認


• クラスタの構築
• 設定（コマンド）
$ riak-admin cluster join riak@[IPアドレス]

• 確認
$ sudo riak-admin member status
riak admin member_status

↑
このコマンドで、表示確認


• レプリケーションの設定（有償版のみ）
• 設定ファイル編集
$ sudo vi /etc/riak/app.config

レプリケーション設定（以下
レプリケシン設定（以下サンプル）を追加反映

{riak_repl,
{riak repl [
{fullsync_on_connect, true},
{
{fullsync_interval, 360},
y _ , },
{data_root, “/var/lib/riak/riak_repl"},
{queue_size, 104857600},
{server_max_pending, 5}
{ di 5},
{client_ack_frequency, 5}
]},
]}


• レプリケーション設定
$ riak-repl add-listener ‘riak@自分自身のIP’
‘自分自身のIP’ 9010
コマンド実行後は、特に何も出力しません
ンド実行後は特に何も出力しません

$ riak-repl add-site ‘同期先のIP’ 9010 クラスタ名
コマンド実行後は特に何も出力しません


• 確認
$ riak-repl status

↑
このコマンドで、表示確認


• 同期開始
$ riak-repl start-fullsync


Riak EDSを使った
デモ


• データの登録/参照
• スクリプトでのデモ
• デタの登録
データの登録
• 参照


クライアント

YJTEST81
YJTEST91

YJTEST82
YJTEST92
レプリケーション

YJTEST83
YJTEST93

YJTEST84

クラスタ1 クラスタ2


どの場面で利用するのが良いのか


• 高速にデータアクセスさせたい場合
• 集合から単一データを高速に取得したい場合

• 将来的にデータ件数/容量が増える事
が確実である場合
• スケルアウトが必須の場合
スケールアウトが必須の場合

• 運用コストを軽減したい場合
• システムが巨大化してしまい運用コスト軽減を検討
システムが巨大化してしまい、運用コスト軽減を検討
したい
•サバ
サーバー、人件費の両方
人件費の両方

Riak CS
インストールから起動まで

• 1 d 構築
1nodeの構築
• Stanchionの構築
• Riakとの接続設定


• 作業の流れ
• Riak CS/Stanchion
• インストル
インストール
• 設定ファイルの編集
• 起動


• パッケージの種類
• 有償版のみ


• Riak CSの構築
• 1nodeの構築
• 開発トライアル登録後、ダウンロードURLが案内される
発後

6の環境でインストルする場合

$ sudo yum install riak-cs_1.2.0.el6.x86_64.rpm


$ sudo vi /etc/riak-cs/app.config

ローカルに環境がある場合は、


{cs_ip, "127.0.0.1"},
↓
{cs_ip, "独自環境のIPアドレス"},


{riak_ip, "127.0.0.1"},
↓
{riak_ip, "独自環境のIPアドレス"},

{stanchion_ip, “127.0.0.1"},
↓
{stanchion_ip, “独自環境のIPアドレス"},


$ sudo vi /etc/riak-cs/vm.args

ロカルに環境がある場合は


-name riak@127.0.0.1
↓
-name riak@独自環境のIPアドレス


• 起動
$ sudo riak-cs start
ok

• 確認
$ sudo riak-cs ping
pong


• Stanchionの構築
• 1nodeの構築
• Riak CSと同じです

6の環境でインストルする場合

$ sudo yum install stanchion-1.0.1-1.el6.x86_64.rpm


$ sudo vi /etc/stanchion/app.config



{stanchion_ip, "127.0.0.1"},
↓
{stanchion_ip, "独自環境のIPアドレス"},


{riak_ip, "10.1.1.192"},
↓
{riak_ip, "独自環境のIPアドレス"},

{anonymous_user_creation, false},
↓
{anonymous_user_creation, true},


$ sudo vi /etc/stanchion/vm.args

ロカルに環境がある場合は


-name stanchion@127.0.0.1
↓
-name stanchion@独自環境のIPアドレス


• 起動
$ sudo stanchion start
ok

• 確認
$ sudo stanchion ping
pong


• コマンドラインからの確認
• 管理ユーザの作成
• テストファイルの配置
ト


Riak CSを使った
デモ


デモの概要

アップ
ロード • エンコード
• サムネイル作成
Webサーバー（閲覧画面）
Webサーバー（投稿）

APIコール
API ルマウント

Riak Cluster


実際の導入事例


導入事例1
• LOHACO(アスクル様)

Riak CSで
画像配信


システム構成
CDN

障害発生時のみ

Riak CS Riak CS
Cluster Cluster

レプリケーション
Riak EDS Cluster 1 Riak EDS Cluster 2


データ
• 登録件数
• 約20万件弱（データ移行は3時間程度）
• ファイルの種類/サイズ
• 画像データ
• 5k～500k
• リクエスト数
• 450req/sec
• CDNキャッシュヒット率
• 97%
• レスポンス
• 10ms～80ms （CDNにキャッシュされている状態だと10ms程度）


構築～リリースまでの期間
• 構成検討各種調整（NW サバ調達）
構成検討、各種調整（NW、サーバー調達）
• 1週間
• 構築＆テスト・リリース
• 構築：1日
• テスト&リリース：1週間
問題になったところ
• データをフラットに配置したところ、
一覧取得できなくなった
覧取得できなくなた
• 解決策：ディレクトリを分けてもらった


Q&A


ご清聴ありがとうございました


Riak事始め＆デモ

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (8)

Similar to Riak事始め＆デモ

Similar to Riak事始め＆デモ (20)

More from Yahoo!デベロッパーネットワーク

More from Yahoo!デベロッパーネットワーク (20)

Riak事始め＆デモ