リクルートのWebサービスを支える「RAFTEL」

リクルートテクノロジーズ
インフラソリューション部
北岡史也
2015年7月28日
リクルートのWebサービスを支える「RAFTEL」
〜堅牢性と機動性を両立した運用基盤とは〜

自己紹介
2(C) Recruit Technologies Co.,Ltd. All rights reserved.
北岡史也 Fumiya Kitaoka
株式会社リクルートテクノロジーズ
インフラソリューション部
インフラソリューション３G
グループマネージャー
前職はSIerでDBA。2011年にリクルートに中途入社。
入社後はプライベートクラウドの運用、設計、構築を担当し、
現在はパブリッククラウドも担当しております。

本日お話させていただきたいこと
1.はじめに〜リクルートグループおよびリクルートテクノロジーズ
2.プライベートクラウド”RAFTEL”の進化の軌跡
3.パブリッククラウド”Rクラウド”の進化の軌跡
4.まとめ〜プライベート／パブリッククラウドの運用から

1.はじめに〜リクルートグループおよびリクルートテクノロジーズ

1.はじめに〜リクルートとは
【リクルート企業概要】
創立 1960年3月31日「大学新聞広告社」としてスタート
グループ
従業員数
31,841名
連結売上高約1兆2999億円 ※2015年3月末
連結経常利益約1,256億円 ※2015年3月末
関連企業数 162社（国内＋海外）
目指す世界観「あなた」を支える存在でありたい
※2015年3月末

【リクルートのビジネスモデル】
マッチング
カスタマー
（一般ユーザー）
クライアント
（サービス提供企業）
世界中の生活者と産業界に
「まだ、ここにない、出会い。」を提供します

カスタマーマッチングクライアント

※リボンモデルについてはyoutube上に「ribbon model」で説明があります
カスタマーマッチングクライアント
○○な結婚式がした
いけどどの結婚式場
にすれば・・・
○○な結婚式をあげ
られる式場なんだけ
どな・・・
○○なヘアースタイ
ルにしてくれるとこ
ろないかな・・・
こういうヘアースタ
イルにすることがで
きるんだけど・・・

ライフイベント領域
進学
就職
結婚
転職
住宅購入
車購入
出産/育児
旅行
トレンド
生活/地域情報
グルメ・美容
ライフスタイル領域
選択・意思決定を支援する情報サービスの提供
「まだ、ここにない、出会い。」を実現する
【リクルートの事業領域】

1.はじめに〜リクルートテクノロジーズとは
リクルートキャリア
リクルートジョブズ
リクルートスタッフィング
リクルート住まいカンパニー
リクルートライフスタイル
リクルートマーケティングパートナーズ
スタッフサービス・ホールディングス
リクルートアドミニストレーション
リクルートコミュニケーションズ
事業会社
機能会社
インフラソリューション
大規模プロジェクト推進
UXD/SEO
ビッグデータ機能
テクノロジーR&D
事業・社内IT推進
リクルート
ホールディングス
リクルートとは、
主要７事業会社＋３機能会社
で構成されるグループ企業群
私が所属する会社は
セキュリティAP基盤・オフショア開発

1.はじめに〜リクルートテクノロジーズとは
【リクルートテクノロジーズのミッション】
リクルートグループ各社の現在・将来のニーズを見据えて
競合優位性の高いIT、ネットマーケティング基盤を
開拓・ビジネス実装することにより
リクルートグループの競争優位を構築していく。
IT・ネットマーケティング領域の専門部隊。
リクルートグループをITで牽引する企業です

ライフイベント領域
進学
就職
結婚
転職
住宅購入
車購入
出産/育児
旅行
トレンド
生活/地域情報
グルメ・美容
ライフスタイル領域
【リクルートのインフラ】
プライベートクラウド
（RAFTEL）
パブリッククラウド
（Rクラウド）

【インフラ統合前(2006〜2007年頃)】
データセンタ1
サイト数
サーバ数
NW機器
専用1
109
65
データセンタ2
サイト数
サーバ数
NW機器
専用1
129
57
主サイト数
サーバ数
NW機器
8
526
287
データセンタ4
主サイト数
サーバ数
NW機器
32
574
298
データセンタ3
HOPE
Ima/MARCO
Arorua
Gemin
i
Kassul
FROLIDA
4箇所のデータセンター、 1400台のサーバで構成
エンジニアも各サービスごとに配置

【インフラ統合前(2006〜2007年頃)】
データセンタ1
サイト数
サーバ数
NW機器
専用1
109
65
データセンタ2
サイト数
サーバ数
NW機器
専用1
129
57
主サイト数
サーバ数
NW機器
8
526
287
データセンタ4
主サイト数
サーバ数
NW機器
32
574
298
データセンタ3
HOP
E
Ima/MARCO
Arorua
Gemin
i
Kassul
FROLIDA
億ＰＶ
年度
ビジネススピードは加速し、アクセス数も急増し
インフラ負荷も急激に上がっていた
4箇所のデータセンター、 1400台のサーバで構成
エンジニアも各サービスごとに配置

【インフラ統合前(2006〜2007年頃)の課題】
② 頻発する新規サイトの立ち上げ、環境の増改築
→ 人件費の増加
③ ビジネススピードの加速
→ インフラのサービス提供が追いつかない
① インフラを個別最適で拡張
→ 無駄の発生

【インフラ統合前(2006〜2007年頃)の課題】
② 頻発する新規サイトの立ち上げ、環境の増改築
→ 人件費の増加
③ ビジネススピードの加速
→ インフラのサービス提供が追いけない
① インフラを個別最適で拡張
→ 無駄の発生
④ スモールスタート型の新規ビジネスの増加
→ 柔軟なインフラ拡張が求められるように
これらの課題解決のため
2009年にDCを統合し、プライベートクラウド
(RAFTEL)を構築することに！
データセンタ
1
データセンタ
2
データセンタ
4
データセンタ
3
（RAFTEL）

サイトA用サイトB用サイトC用サイトD用サイトE用サイトF用サイトG用サイトH用
課題① インフラを個別最適で拡張、無駄の発生
DC3
サーバ X社
ネットワーク Y社
ストレージ Z社
DC4DC2
サーバ U社
ネットワーク V社
ストレージ W社
サーバ R社
ネットワーク S社
ストレージ T社
サーバ O社
ネットワーク P社
ストレージ Q社
DC1
各サイトの専用のサーバ、NW、ストレージ
リソースが足りない時にはサイトごとにリソース追加
各リソースに余剰があっても
サイト間でリソースは共有できない
DCごとに異なるHWベンダ

サイトA用サイトB用サイトC用サイトD用サイトE用サイトF用サイトG用サイトH用
課題① インフラを個別最適で拡張、無駄の発生
DC3
サーバ X社
ネットワーク Y社
ストレージ Z社
DC4DC2
サーバ U社
ネットワーク V社
ストレージ W社
サーバ R社
ネットワーク S社
ストレージ T社
サーバ O社
ネットワーク P社
ストレージ Q社
DC1
各サイトの専用のサーバ、NW、ストレージ
リソースが足りない時にはサイトごとにリソース追加
各リソースに余剰があっても
サイト間でリソースは共有できない
DCにごとに異なるHWベンダ
個別最適化（分割）による無駄を減らすことが重要！

打ち手① DC統合とリソースの標準化、プール化
サーバの標準化
ネットワークスイッチ
の標準化
ストレージの
標準化
単一ベンダで
2スペックのサーバ
(DBサーバ、Webサーバ)
単一ベンダで
単一スペックの
エッジスイッチ
単一ベンダで
単一スペックの
NASヘッド

サイトA用
論理Vol.
サーバプールサイトA用
サーバ
サイトB用
サーバ
サイトC用
サーバ
打ち手① DC統合とリソースの標準化、プール化
ネットワークプール (統合ネットワーク)
ストレージプール (統合ストレージ)
…
…
…
…
…
…
標準サーバ、標準NWスイッチ、
標準ストレージによる
リソースプールを形成
必要に応じてサイトに対して
リソースプールから
サーバ、ネットワーク、
ストレージリソースを割り当て
DCを統合することで、
ネットワーク、ストレージを統合
サイトA用
論理NW
サイトB用
論理Vol.
サイトB用
論理NW
サイトC用
論理Vol.
サイトC用
論理NW
統合
ネットワーク
統合
ストレージ

既存サイトの
リプレース
新サービス
立ち上げ
アクセス数
インフラ費用
インフラコストの約5割は
サイト構築＋定常運用の人件費
課題② 新サービス立ち上げ、エンハンス対応人件費の増加
新サービスの構築、
既存サイトのエンハンス
個別に検討・設計を実施
構築/運用人件費が増加し続けている
増加傾向にある構築・エンハンスの人件費を
どう抑えていくかが重要！

次世代IT統合基盤
インフラ増改築作業、維持運用作業自動化のために…
・自動化プラットフォームの導入
・インフラ構成情報のデータベース化
運用自動化の対象要素既存インフラ
ネットワーク
ハードウェア
OS
言語
フレームワーク
ミドルウェア
基本構築
テンプレート
手作業（一部効率化）
個別設定作業
基本構築作業
（ﾃﾞｨｽｸｺﾋﾟｰ等）
自動化
システム
構成管理DB
運用作業
テンプレート
打ち手② エンジニア作業・構成管理の自動化

構成管理機能
構成管理DB
MA
構成管理自動化作業
サーバ基本設定
• RAID設定
• OSインストール
• NFSマウント設定
NW基本設定
•SWポート開放
•ACL設定
•DNS設定
•監視設定
MW設定
• Apacheインストール
• Tomcatインストール
• Sophosインストール
• JP1監視インストール
通信設定
• LB設定
• FW設定
サーバプール
Webサー
ビス
Batch
サービス
打ち手② エンジニア作業・構成管理の自動化

新規サイト計画／既存サイトの増改築
調達、設計、構築の各工程で時間がかかっている
（余裕を見越したサイジングの原因）
必要なときにすぐに増設ができないビジネスのスピード感に合わない
ビジネス機会の損失性能問題への対応が遅れる
課題③ ビジネススピードにインフラ提供が追いつかない
発注～納品
(Unixやストレージの場合数ヶ月のことも…)
ラ
ッ
キ
ン
グ
（
サ
ー
ビ
ス
イ
ン
）
Ｌ
Ｂ
開
始
ケ
ー
ブ
リ
ン
グ
Ｓ
Ｗ
設
定
Ｏ
Ｓ
イ
ン
ス
ト
ー
ル
Ｍ
Ｗ
設
定
監
視
設
定
Ｌ
Ｂ
登
録
Ｆ
Ｗ
登
録
テ
ス
ト
監
視
テ
ス
ト
設
計
発注～納品
ラ
ッ
キ
ン
グ
（
サ
ー
ビ
ス
イ
ン
）
Ｌ
Ｂ
開
始
ケ
ー
ブ
リ
ン
グ
Ｓ
Ｗ
設
定
Ｏ
Ｓ
イ
ン
ス
ト
ー
ル
Ｍ
Ｗ
設
定
監
視
設
定
Ｌ
Ｂ
登
録
Ｆ
Ｗ
登
録
テ
ス
ト
監
視
テ
ス
ト
設
計
各工程の時間をいかに短縮できるかが重要！

打ち手③ プール化と自動化による機動力向上
1w 2w 3w 4w 5w 6w
発注～納品
ラ
ッ
キ
ン
グ
（
サ
ー
ビ
ス
イ
ン
）
Ｌ
Ｂ
開
始
ケ
ー
ブ
リ
ン
グ
Ｓ
Ｗ
設
定
Ｏ
Ｓ
イ
ン
ス
ト
ー
ル
Ｍ
Ｗ
設
定
監
視
設
定
Ｌ
Ｂ
登
録
Ｆ
Ｗ
登
録
テ
ス
ト
監
視
テ
ス
ト
標準化されたサーバが
サーバプールに存在
5w1w 6w4w3w2w
（
サ
ー
ビ
ス
イ
ン
）
Ｌ
Ｂ
開
始
ラ
ッ
キ
ン
グ
（
サ
ー
ビ
ス
イ
ン
）
Ｌ
Ｂ
開
始
ケ
ー
ブ
リ
ン
グ
Ｓ
Ｗ
設
定
Ｏ
Ｓ
イ
ン
ス
ト
ー
ル
Ｍ
Ｗ
設
定
監
視
設
定
Ｌ
Ｂ
登
録
Ｆ
Ｗ
登
録
テ
ス
ト
監
視
テ
ス
ト
設
計
設
計
自動化
ツールで
構築作業を
短縮
Webサーバ増設にかかる時間の比較
機器の発注からサービスインまで最短で6週間
発注のリードタイムが不要のため最短2週間で構築
RAFTEL導入後
RAFTEL導入前

② 新規立ち上げ、増改築の頻発で増加した人件費
③ ビジネススピードに追随できない構築スピード
① 個別最適の拡張で発生していた無駄
「RAFTEL」で採用した打ち手と成果
サーバ構成/配置の統一。余剰リソースの利用効率向上
N/W、ストレージの統合/仮想化。論理的に個別利用
エンジニア作業、構成管理を自動化。機動性up＆省力化
サーバ、ストレージ、ネットワークリソースのプール化

【パブリッククラウド利用状況(2010年頃)】
ライバル企業に対する優位性を確立するために
『小さく、軽く』開発できるパブリッククラウドの利用が拡大
サービス立ち上げ期に開発者主体で使える
インフラサービスの需要が発生
Aサービス Zサービス
・・・
Bサービス

【パブリッククラウド利用時の課題】
インフラだけならすぐに作れるが。。。
② 個別に非機能要件の作り込み
→ 作り込みに時間がかかる
① 個別にセキュリティ対応
→ セキュリティ対応に時間がかかる

【パブリッククラウド利用時の課題】
インフラだけならすぐに作れるが。。。
② 個別に非機能要件の作り込み
→ 作り込みに時間がかかる
① 個別にセキュリティ対応
→ セキュリティ対応に時間がかかる
これらの課題解決のため
・・・
(Rクラウド)
・・・
共通機能
（セキュリティ、非機能対応）
2011年からプライベートクラウド(Rクラウド)を
構築し、順次共通機能の提供を開始！

【プライベートクラウド⇄パブリッククラウド】
パブリッククラウドに対して専用線経由でアクセスすることで
セキュアかつ高品質なアクセス経路が確保され、様々な連携が可能に
（RAFTEL）
（Rクラウド）
専用線

（RAFTEL）
（Rクラウド）
専用線
ログ取得用
踏み台
サーバ
ログイン
認証
サーバ
・操作ログを取得
既存業務フローを最大限活用し、パブリッククラウドに
対しても監査機能の有効化

（RAFTEL）
（Rクラウド）
専用線
ログ取得用
FTP
サーバ
ログイン
認証
サーバ
・ログイン履歴を取得
ファイルアップロードも既存運用を変えることなく
セキュリティ運用を担保
・ウィルスチェック

（RAFTEL）
（Rクラウド）
専用線
ログ取得用
FTP
サーバ
ログイン
認証
サーバ
Zabbixを用いて監視を実施しています

（RAFTEL）
（Rクラウド）
専用線
監視サーバ
CIサーバ
モニタリング
サーバ
Gitサーバ
Webサーバ

4.まとめ〜プライベート／パブリッククラウドの運用から

4.プライベート／パブリッククラウドの運用から
【まとめ】
プライベートクラウドでもパブリッククラウドでも
共通化、自動化はコスト、効率、スピードアップ
にとても有効。ただし、作り上げたものを維持する
必要があり、逆にネックになる場合も
共通化、自動化を過剰に行うのではなく、
ビジネスの状況を見て、場合によっては部分最適
も良しとする、そのバランスが非常に重要

4.プライベート／パブリッククラウドの運用から
とはいえ。。。
ビジネススピードが以前と比べて格段にあがっている中、
どこでバランスとればいいの？という疑問が当然あると思って
おります。是非、情報交換させて頂ければと思っておりますの
で、気軽にお声掛けください

ご清聴ありがとうございました

リクルートのWebサービスを支える「RAFTEL」

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to リクルートのWebサービスを支える「RAFTEL」

Similar to リクルートのWebサービスを支える「RAFTEL」 (20)

More from Recruit Technologies

More from Recruit Technologies (20)

Recently uploaded

Recently uploaded (11)

リクルートのWebサービスを支える「RAFTEL」