リクルートのWebサービスを支える共通インフラ「RAFTEL」

リクルートテクノロジーズ
インフラソリューション部
北岡史也
2016年2月23日
リクルートのWebサービスを支える
共通インフラ「RAFTEL」
〜堅牢性と機動性の両立を図る仕組みについて〜

本日お話させていただきたいこと
2(C) Recruit Technologies Co.,Ltd. All rights reserved.
1.はじめに〜リクルートグループおよびリクルートテクノロジーズ
2.プライベートクラウド”RAFTEL”の進化の軌跡
3.パブリッククラウド”Rクラウド”の進化の軌跡
4.まとめ〜プライベート／パブリッククラウドの運用から

1.はじめに〜リクルートグループおよびリクルートテクノロジーズ

1.はじめに〜リクルートとは
【リクルート企業概要】
創立 1960年3月31日「大学新聞広告社」としてスタート
グループ
従業員数
31,841名
連結売上高約1兆2999億円 ※2015年3月末
連結経常利益約1,256億円 ※2015年3月末
関連企業数 162社（国内＋海外）
目指す世界観「あなた」を支える存在でありたい
※2015年3月末

【リクルートのビジネスモデル】
マッチング
カスタマー
（一般ユーザー）
クライアント
（サービス提供企業）
世界中の生活者と産業界に
「まだ、ここにない、出会い。」を提供します

カスタマーマッチングクライアント

※リボンモデルについてはyoutube上に「ribbon model」で説明があります
カスタマーマッチングクライアント
○○な結婚式がした
いけどどの結婚式場
にすれば・・・
○○な結婚式をあげ
られる式場なんだけ
どな・・・
○○なヘアースタイ
ルにしてくれるとこ
ろないかな・・・
こういうヘアースタ
イルにすることがで
きるんだけど・・・

ライフイベント領域
進学
就職
結婚
転職
住宅購入
車購入
出産/育児
旅行
トレンド
生活/地域情報
グルメ・美容
ライフスタイル領域
選択・意思決定を支援する情報サービスの提供
「まだ、ここにない、出会い。」を実現する
【リクルートの事業領域】

1.はじめに〜リクルートテクノロジーズとは
リクルートキャリア
リクルートジョブズ
リクルートスタッフィング
リクルート住まいカンパニー
リクルートライフスタイル
リクルートマーケティングパートナーズ
スタッフサービス・ホールディングス
リクルートアドミニストレーション
リクルートコミュニケーションズ
事業会社
機能会社
ネットインフラ
大規模プロジェクト推進
UXD/SEO
ビッグデータ機能
テクノロジーR&D
事業・社内IT推進
リクルート
ホールディングス
リクルートとは、
主要７事業会社＋３機能会社
で構成されるグループ企業群
私が所属する会社は
セキュリティAP基盤・オフショア開発

1.はじめに〜リクルートテクノロジーズとは
【リクルートテクノロジーズのミッション】
リクルートグループ各社の現在・将来のニーズを見据えて
競合優位性の高いIT、ネットマーケティング基盤を
開拓・ビジネス実装することにより
リクルートグループの競争優位を構築していく。
IT・ネットマーケティング領域の専門部隊。
リクルートグループをITで牽引する企業です

ライフイベント領域
進学
就職
結婚
転職
住宅購入
車購入
出産/育児
旅行
トレンド
生活/地域情報
グルメ・美容
ライフスタイル領域
【リクルートのインフラ】
プライベートクラウド
（RAFTEL）
パブリッククラウド
（Rクラウド）

自己紹介
北岡史也 Fumiya Kitaoka
株式会社リクルートテクノロジーズ
インフラソリューション部
インフラソリューション4G
グループマネージャー

自己紹介
2002年新卒でSIerに入社
2002年新聞社向けシステム開発(DBA)
2004年通信キャリア向けシステム開発(DBA)
2011年リクルート入社
入社後は
プライベートクラウドの運用、設計、構築、企画
を担当し、現在はパブリッククラウドについても担当
しております

【インフラ統合前(2006〜2007年頃)】
年出来事
2004 ・SNSが流行
2005 ・ウェブ2.0という言葉が流行
・google mapが公開
2006 ・youtubeをgoogleが買収
2007 ・google street view開始
・Ustream登場

データセンタ1 データセンタ2
データセンタ4データセンタ3
HOPE
Ima/MARCO
Arorua
Gemin
i
Kassul
FROLIDA
4箇所のデータセンター、 1400台のサーバで構成
エンジニアも各サービスごとに配置

データセンタ1
サービス数
サーバ数
NW機器
専用1
109
65
データセンタ2
サービス数
サーバ数
NW機器
専用1
129
57
主サービス数
サーバ数
NW機器
8
526
287
データセンタ4
主サービス数
サーバ数
NW機器
32
574
298
データセンタ3
HOP
E
Ima/MARCO
Arorua
Gemin
i
Kassul
FROLIDA
億ＰＶ
年度
ビジネススピードは加速し、アクセス数も急増し
インフラ負荷も急激に上がっていた
4箇所のデータセンター、 1400台のサーバで構成
エンジニアも各サービスごとに配置

【インフラ統合前(2006〜2007年頃)の課題】
② 頻発する新規サービスの立ち上げ、環境の増改築
→ 人件費の増加
③ ビジネススピードの加速
→ インフラのサービス提供が追いつかない
① インフラを個別最適で拡張
→ 無駄の発生

【インフラ統合前(2006〜2007年頃)の課題】
② 頻発する新規サービスの立ち上げ、環境の増改築
→ 人件費の増加
③ ビジネススピードの加速
→ インフラのサービス提供が追いけない
① インフラを個別最適で拡張
→ 無駄の発生
④ スモールスタート型の新規ビジネスの増加
→ 柔軟なインフラ拡張が求められるように
これらの課題解決のため
2009年にDCを統合し、プライベートクラウド
(RAFTEL)を構築することに！
データセンタ
1
データセンタ
2
データセンタ
4
データセンタ
3
（RAFTEL）

Aサービス Bサービス Cサービス Dサービス Eサービス Fサービス Gサービス Hサービス
課題① インフラを個別最適で拡張、無駄の発生
DC3
サーバ X社
ネットワーク Y社
ストレージ Z社
DC4DC2
サーバ U社
ネットワーク V社
ストレージ W社
サーバ R社
ネットワーク S社
ストレージ T社
サーバ O社
ネットワーク P社
ストレージ Q社
DC1
各サービスの専用のサーバ、NW、ストレージ
リソースが足りない時にはサービスごとにリソース追加
各リソースに余剰があっても
サービス間でリソースは共有できない
DCごとに異なるHWベンダ

課題① インフラを個別最適で拡張、無駄の発生
DC3
サーバ X社
ネットワーク Y社
ストレージ Z社
DC4DC2
サーバ U社
ネットワーク V社
ストレージ W社
サーバ R社
ネットワーク S社
ストレージ T社
サーバ O社
ネットワーク P社
ストレージ Q社
DC1
各サービスの専用のサーバ、NW、ストレージ
リソースが足りない時にはサービスごとにリソース追加
各リソースに余剰があっても
サービス間でリソースは共有できない
DCごとに異なるHWベンダ
個別最適化（分割）による無駄を減らすことが重要！
Aサービス Bサービス Cサービス Dサービス Eサービス Fサービス Gサービス Hサービス

打ち手① DC統合とリソースの標準化、プール化
サーバの標準化
ネットワークスイッチ
の標準化
ストレージの
標準化
単一ベンダで
2スペックのサーバ
(DBサーバ、Webサーバ)
単一ベンダで
単一スペックの
エッジスイッチ
単一ベンダで
単一スペックの
NASヘッド

Aサービス
論理Vol
サーバプール Aサービス
サーバ
Bサービス
サーバ
Cサービス
サーバ
打ち手① DC統合とリソースの標準化、プール化
ネットワークプール (統合ネットワーク)
ストレージプール (統合ストレージ)
…
…
…
…
…
…
標準サーバ、標準NWスイッチ、
標準ストレージによる
リソースプールを形成
必要に応じてサービスに対して
リソースプールから
サーバ、ネットワーク、
ストレージリソースを割り当て
DCを統合することで、
ネットワーク、ストレージを統合
Aサービス
論理NW
Bサービス
論理Vol
Bサービス
論理NW
Cサービス
論理Vol
Cサービス
論理NW
統合
ネットワーク
統合
ストレージ

既存サービス
のエンハンス
新サービス
立ち上げ
アクセス数
インフラ費用
インフラコストの約5割は
構築＋定常運用の人件費
課題② 新サービス立ち上げ、エンハンス対応人件費の増加
新サービスの構築、
既存サービスのエンハンス
個別に検討・設計を実施
構築/運用人件費が増加し続けている
増加傾向にある構築・エンハンスの人件費を
どう抑えていくかが重要！

次世代IT統合基盤
インフラ増改築作業、維持運用作業自動化のために…
・自動化プラットフォームの導入
・インフラ構成情報のデータベース化
運用自動化の対象要素既存インフラ
ネットワーク
ハードウェア
OS
言語
フレームワーク
ミドルウェア
基本構築
テンプレート
手作業（一部効率化）
個別設定作業
基本構築作業
（ﾃﾞｨｽｸｺﾋﾟｰ等）
自動化
システム
構成管理DB
運用作業
テンプレート
打ち手② エンジニア作業・構成管理の自動化

構成管理機能
構成管理DB
MA
構成管理自動化作業
サーバ基本設定
• RAID設定
• OSインストール
• NFSマウント設定
NW基本設定
•SWポート開放
•ACL設定
•DNS設定
•監視設定
MW設定
• Apacheインストール
• Tomcatインストール
• Sophosインストール
• JP1監視インストール
通信設定
• LB設定
• FW設定
サーバプール
Webサー
ビス
Batch
サービス
打ち手② エンジニア作業・構成管理の自動化

新規サービス計画／既存サービスの増改築
調達、設計、構築の各工程で時間がかかっている
（余裕を見越したサイジングの原因）
必要なときにすぐに増設ができないビジネスのスピード感に合わない
ビジネス機会の損失性能問題への対応が遅れる
課題③ ビジネススピードにインフラ提供が追いつかない
発注～納品
(Unixやストレージの場合数ヶ月のことも…)
ラ
ッ
キ
ン
グ
（
サ
ー
ビ
ス
イ
ン
）
Ｌ
Ｂ
開
始
ケ
ー
ブ
リ
ン
グ
Ｓ
Ｗ
設
定
Ｏ
Ｓ
イ
ン
ス
ト
ー
ル
Ｍ
Ｗ
設
定
監
視
設
定
Ｌ
Ｂ
登
録
Ｆ
Ｗ
登
録
テ
ス
ト
監
視
テ
ス
ト
設
計
発注～納品
ラ
ッ
キ
ン
グ
（
サ
ー
ビ
ス
イ
ン
）
Ｌ
Ｂ
開
始
ケ
ー
ブ
リ
ン
グ
Ｓ
Ｗ
設
定
Ｏ
Ｓ
イ
ン
ス
ト
ー
ル
Ｍ
Ｗ
設
定
監
視
設
定
Ｌ
Ｂ
登
録
Ｆ
Ｗ
登
録
テ
ス
ト
監
視
テ
ス
ト
設
計
各工程の時間をいかに短縮できるかが重要！

打ち手③ プール化と自動化による機動力向上
1w 2w 3w 4w 5w 6w
発注～納品
ラ
ッ
キ
ン
グ
（
サ
ー
ビ
ス
イ
ン
）
Ｌ
Ｂ
開
始
ケ
ー
ブ
リ
ン
グ
Ｓ
Ｗ
設
定
Ｏ
Ｓ
イ
ン
ス
ト
ー
ル
Ｍ
Ｗ
設
定
監
視
設
定
Ｌ
Ｂ
登
録
Ｆ
Ｗ
登
録
テ
ス
ト
監
視
テ
ス
ト
標準化されたサーバが
サーバプールに存在
5w1w 6w4w3w2w
（
サ
ー
ビ
ス
イ
ン
）
Ｌ
Ｂ
開
始
ラ
ッ
キ
ン
グ
（
サ
ー
ビ
ス
イ
ン
）
Ｌ
Ｂ
開
始
ケ
ー
ブ
リ
ン
グ
Ｓ
Ｗ
設
定
Ｏ
Ｓ
イ
ン
ス
ト
ー
ル
Ｍ
Ｗ
設
定
監
視
設
定
Ｌ
Ｂ
登
録
Ｆ
Ｗ
登
録
テ
ス
ト
監
視
テ
ス
ト
設
計
設
計
自動化
ツールで
構築作業を
短縮
Webサーバ増設にかかる時間の比較
機器の発注からサービスインまで最短で6週間
発注のリードタイムが不要のため最短2週間で構築
RAFTEL導入後
RAFTEL導入前

② 新規立ち上げ、増改築の頻発で増加した人件費
③ ビジネススピードに追随できない構築スピード
① 個別最適の拡張で発生していた無駄
「RAFTEL」で採用した打ち手と成果
サーバ構成/配置の統一。余剰リソースの利用効率向上
N/W、ストレージの統合/仮想化。論理的に個別利用
エンジニア作業、構成管理を自動化。機動性up＆省力化
サーバ、ストレージ、ネットワークリソースのプール化

【パブリッククラウド利用状況(2010年頃)】
年出来事
2008 ・iphone 日本で発売開始
2009 ・Twitterの流行
・facebookがmyspaceを抜いて世界一
2010 ・ビッグデータの流行

【パブリッククラウド利用状況(2010年頃)】
ライバル企業に対する優位性を確立するために
『小さく、軽く』開発できるパブリッククラウドの利用が拡大
サービス立ち上げ期に開発者主体で使える
インフラサービスの需要が発生
Aサービス Zサービス
・・・
Bサービス

【パブリッククラウド利用時の課題】
インフラだけならすぐに作れるが。。。
② 個別に非機能要件の作り込み
→ 作り込みに時間がかかる
① 個別にセキュリティ対応
→ セキュリティ対応に時間がかかる

【パブリッククラウド利用時の課題】
インフラだけならすぐに作れるが。。。
② 個別に非機能要件の作り込み
→ 作り込みに時間がかかる
① 個別にセキュリティ対応
→ セキュリティ対応に時間がかかる
これらの課題解決のため
・・・
(Rクラウド)
・・・
共通機能
（セキュリティ、非機能対応）
2011年からプライベートクラウド(Rクラウド)を
構築し、順次共通機能の提供を開始！

【プライベートクラウド⇄パブリッククラウド】
パブリッククラウドに対して専用線経由でアクセスすることで
セキュアかつ高品質なアクセス経路が確保され、様々な連携が可能に
（RAFTEL）
（Rクラウド）
専用線
サービス連携
ビッグデータ解析
CI(CD)連携

（RAFTEL）
（Rクラウド）
専用線
ログ取得用
踏み台
サーバ
ログイン
認証
サーバ
・操作ログを取得
既存業務フローを最大限活用し、パブリッククラウドに
対しても監査機能の有効化

（RAFTEL）
（Rクラウド）
専用線
ログ取得用
FTP
サーバ
ログイン
認証
サーバ
・ログイン履歴を取得
ファイルアップロードも既存運用を変えることなく
セキュリティ運用を担保
・ウィルスチェック

4.まとめ〜プライベート／パブリッククラウドの運用から

4.プライベート／パブリッククラウドの運用から
プライベートクラウド／パブリッククラウドの運用のこれから
スクラッチで作っている自動化ツールも機能追加/変更を
繰り返し、複雑化してきているので今後のメンテナンスコ
ストを下げるため、個別環境で利用していた
ansible/jenkins/gitを利用した仕組みへの作り替えを実
施中です。
自動化
標準化
標準化のメリットを最大化するにはバリエーションが少な
いほうが良いが、少ないとビジネスに最適化できないケー
スが出てくる。自動化を整備することでバリエーションを
増やしつつ、コストを上げず、効率を下げないことを目指
しています。

4.プライベート／パブリッククラウドの運用から
自動化も標準化も振り切るとマイナスも出るため、バランス
が大事になります。
じゃあどうやってバランスをとるか？
ビジネス側とバランスをチューニングするしかないと思います
当たり前のことかも知れませんが忙しくても諦めず、きちんと
コミュニケーションをとるに尽きると思っています
【まとめ】

ご清聴ありがとうございました

リクルートのWebサービスを支える共通インフラ「RAFTEL」

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (20)

Similar to リクルートのWebサービスを支える共通インフラ「RAFTEL」

Similar to リクルートのWebサービスを支える共通インフラ「RAFTEL」 (20)

More from Recruit Technologies

More from Recruit Technologies (20)

Recently uploaded

Recently uploaded (8)

リクルートのWebサービスを支える共通インフラ「RAFTEL」