SlideShare a Scribd company logo
1 of 49
Download to read offline
Infrastructure as Codeを活用した
F.O.Xのクラウドビッグデータ環境
の変化
自己紹介
茂木 高宏(もてき たかひろ)
サイバーエージェント グループ
株式会社 CyberZ F.O.X 事業
SRE Engineer
Twitter: @tkmoteki
2014年サイバーエージェント入社。株式会社CyberZで
F.O.X事業部インフラ全体の仕事をやりつつ、ビッグデータ関連の設計/構築/開発/運用
を担当。事業部所属全エンジニアのインフラ/クラウド系技術の育成も担当。
本セッションについて
● 前提知識
○ パブリッククラウド(AWS)の基礎知識
○ Hadoopの基礎知識
● 対象聴講者
○ 全体 Hadoopクラスタ設計者/運用者
○ 後半 クラウドビッグデータ環境/Hadoop利用者
一歩進んだ事例を紹介
F.O.X概要/クラウド移
行1
Infrastructure as Code
とCloudera Director2
開発体制の課題解決と変化
データ共有の課題解決と変化4
アーキテクチャの課題解決と
変化5
運用管理の課題解決と変化6
F.O.Xの課題解決と変化
What?
3
アジェンダ
F.O.X概要/クラウド移
行1
Infrastructure as Code
とCloudera Director2
開発体制の課題解決と変化
データ共有の課題解決と変化4
アーキテクチャの課題解決と
変化5
運用管理の課題解決と変化6
F.O.Xの課題解決と変化
What?
3
アジェンダ
Force Operation X(F.O.X)概要
レポーティング1
アプリ解析機能2
マーケット分析3
リターゲティング機能4
スマートフォン広告におけるマーケティング統合プラットフォーム
F.O.X位置づけ
メディア連携数
1,300
計測端末数
1.2億台
導入アプリ数
6,500
F.O.X サ
ーバ
メディア
App Store スマホ
2. リダイレクト
1. 広告click
3. Install
4. 初回起動
5. 広告成果を連絡
F.O.X連携メディア
Facebook Mobile
Measurement Partner
Twitter Official
Partner
App Attribution
Partner
F.O.Xビッグデータ環境利用形態
データ収集
9
最大30万RPS
処理(ETL/集計/保存) 分析/可視化
計測サーバ 休眠・復旧分析
アクション(イベント)分析
KPI分析
国別分析
ユーザー分析売上分析
プラットフォーム
総UU: 15億~
DAU: 7億~
query: 200/day(batch)
ストレージ
total data : 750TB
total cpu : 960core
total memory:7320GB
RDB
弊社 分析アプリケーション
F.O.Xビッグデータ環境の移行
パブリッククラウド
AWSへ移行
オンプレミス環境
● 2017年6月に移行完了
● ETL/定常集計のメインクラスタへClouderaエンタープライズ
を導入
● ビッグデータ(Hadoop)環境をクラウド移行とInfrastructure
as Codeを導入し様々な変化/課題解決
○ 移行に関してはCloudera E-Sessionsで登壇
( https://jp.cloudera.com/more/news-and-blogs/e-japan-series.html )
弊社のHadoopユーザとして立ち位置
● 弊社はWeb事業会社
● Webエンジニアが、ビッグデータ(Hadoop)環境を利用した開
発や運用管理を行う(専任はいない)
● オンプレミス環境から数年Hadoop運用実績あり(初心者では
ない)
● HadoopのOSSコミュニティ貢献はほぼない(上級者ではない)
● 中間層的なHadoopユーザ
F.O.X概要/クラウド移
行1
Infrastructure as Code
とCloudera Director2
開発体制の課題解決と変化
データ共有の課題解決と変化4
アーキテクチャの課題解決と
変化5
運用管理の課題解決と変化6
F.O.Xの課題解決と変化
What?
3
アジェンダ
Infrastructure as Code(IaC)とは?
13
ソフトウェア開発のプラクティスをインフラのプロビジョニン
グ等の自動化に活かすアプローチ
● 一般的に可能な事(例)
○ 使い捨て可能、再現可能な基盤環境(ペットと家畜)
○ 統一的な基盤環境
○ 変更に対してスケーラブルな基盤環境
○ …
一般的なWebシステムの
IaCライフサイクルとツール(例)
VCSコミット ビルド
(サーバパッケージ)
デプロイ
(インフラ環境動的
作成)
インフラ環境動的破
棄/入替え
ダイナミックなインフラ
プラットフォーム
動的アップデート
継続的インテグレーション
Image
AWS
CloudFormation
環境・運用補完
モニタリング /
サービスディカバリ
定義(コード)
VCSコミット ビルド
(サーバパッケージ)
デプロイ(Hadoop環
境動的作成)
Hadoop環境動的破
棄/入替え
ダイナミックなインフラ
プラットフォーム
動的アップデート
継続的インテグレーション
Image
環境・運用補完
Hadoop IaC
ライフサイクル/ツール(クラウド環境)
Cloudera Manager
Cloudera Director
(CDH)
ジョブスケジューラ
デプロイシステム
Cloudera Director
定義(コード)
Hadoop IaCサポート
Cloudera Director
Cloudera Altus
Amazon EMR
F.O.X概要/クラウド移
行1
Infrastructure as Code
とCloudera Director2
開発体制の課題解決と変化
データ共有の課題解決と変化4
アーキテクチャの課題解決と
変化5
運用管理の課題解決と変化6
F.O.Xの課題解決と変化
What?
3
アジェンダ
Cloudera Directorとは?(1)
異なる
GUI, 設定, API
同じ
GUI, 設定,
API Cloudera
Director
複数GUI AWSアカウントA
/クラスタA
AWSアカウントA
different region/クラスタC
単一のGUI
Cloudera
Director
AWSアカウントA
/クラスタA
AWSアカウントA
different region/クラスタC
● CDH,Cloudera Manager(CM)をクラウド環境で、迅速にプロビジョニングするアプリケーシ
ョン
● 複数のパブリッククラウドへ統一インタフェースで横断的にプロビジョニング可能
○ 統一インタフェース: IaCサポート GUI / configファイル, API
● CDH, CMのライフサイクル管理(Persistent / Transient Cluster)、状態を統合的に把握可能
Cloudera Directorとは?(2)
19
項目/使い方 Cloudera
Director Server
Cloudera Director
Client
Cloudera Director
Server + Clinet
API
用途 テスト環境向け テスト環境向け 本番環境向け 特殊用途
プロビジョニング GUI CLI
• HOCONベースの
config
CLI + GUI
• HOCONベースの
config
• GUIへ状態投入
-
対象 • 新規CM + 新規
CDH
• 新規CM + 新規CDH
• (既存CM) + 新規
CDH
• 新規CM + 新規CDH
• (既存CM) + 新規
CDH
-
オペレーション GUI CLI GUI -
高度な設定
☓ ○ ○ -
Cloudera Directorとは?(3)
Other Region
Tokyo Region
Tokyo Region
Tokyo Region
Tokyo Region
Cloudera Director
Server
Cloudera Director Server
へ状態投入
プロビジョニング
Cloudera
Director Client Y
Cloudera
Director Client Z
Transient Cluster Z-1
Transient Cluster X
Cloudera Manager Z
AWS account X
Cloudera Manager Y
既存Cloudera Managerへ紐付け
AWS account YAWS account
AWS account Z
AWS account Z
Cloudera Manager X
Persistent Cluster Y
F.O.X概要/クラウド移
行1
Infrastructure as Code
とCloudera Director2
開発体制の課題解決と変化
データ共有の課題解決と変化4
アーキテクチャの課題解決と
変化5
運用管理の課題解決と変化6
F.O.Xの課題解決と変化
What?
3
アジェンダ
Hadoop利用した開発体制の課題:
オンプレミス環境(過去)
developers X
team
developers Y
team
全社共通の
infra team性能問題/
ノード増設依頼
状況
Hadoop設定変更/反映 障害対応
依頼確認作業
インフラチーム -> 開発チームへ
Hadoop構成変更
確認作業
開発チーム -> インフラチームへ
障害対応
課題
● 開発チームからは環境がブラックボックス
● 連携に支障があり、障害対応にロス
● 新規開発のスピードが出ない
Hadoop利用した開発体制の課題解決:
クラウド環境(現在)
developers X
team
developers Y
team
ファシリテータ
性能問題/
ノード増設
Hadoop設定変更/反映 障害対応
相談+α
開発チーム -> ファシリテータ
開発チーム
状況
課題解決
● IaCでブラックボックス解消
○ IaCは開発エンジニアが積極的でインフラレイヤ
ーまでレビュー可能
○ インフラ増設が開発エンジニア自身で可能
● 連携/障害対応のロス削減し、新規開発スピードアップ
Hadoop利用した開発体制の変化
マイクロサービス増減
マイクロサービスが
チーム移動(体制移管)
環境増減
(prd/stg/dev..)
システム増強
クラウド
アカウント増減/移行
チーム体制に対してビッグデータ環境がスケーラブル
ビッグデータ環境に対してチーム体制がスケーラブル
● IaCだと柔軟に開発体制の選択が可能
○ 例) 担当チーム変更のためアカウント移行
○ Cloudera Director configファイルを数行変更してプロビジョニング -> 既存
環境破棄
ビジネスのグロース
F.O.X概要/クラウド移
行1
Infrastructure as Code
とCloudera Director2
開発体制の課題解決と変化
データ共有の課題解決と変化4
アーキテクチャの課題解決と
変化5
運用管理の課題解決と変化6
F.O.Xの課題解決と変化
What?
3
アジェンダ
データ利用の課題:
オンプレミス環境(過去)
● データをクラスタごとのlocal diskへ保持
○ HDFS(hdfs://)を使用
● データ共有が煩瑣
○ 別物理環境、別Hadoopディストリーシューション、別データストア間でのデ
ータ共有
● ラック/ネットワーク周りの物理環境まで考えると、HDFSは運用負荷高い
● サーバに状態(不揮発性のデータ)を持つため、動的に環境を置き換えるIaCが不可
状況
課題
データ利用の課題解決:
クラウド環境(現在)
● データをオブジェクトストレージへ保存
○ 計算機リソースとデータストレージを切り離す
○ サーバに状態を持たないため、動的に環境を置き換えるIaCに柔軟に対応
● HDFS(s3a://, s3://)を使用
● データ活用性が向上
○ S3 locationを指定してデータアクセス
○ 別クラウド(アカウント)環境、別Hadoopディストリーシューション、別デー
タストア間のデータ共有が容易
状況
課題解決
データ利用の変化:
マルチディストリービューションのデータ共有
● オブジェクトストレージ利用で簡単にデータ
共有
● AWS+CDHのマルチディストリービューショ
ンを導入
● AWSマネージドサービスからもデータ共有
○ CDH Hive on S3でwrite、EMR presto on S3でread
○ EMR Hive on S3でwrite、CDH Impala on S3で
read
○ CDH Impala on S3でwrite、Athenaでread
● マルチディストリービューション&AWSマネージドサービス間でHiveMetaStore
が共有できず課題(CDH Hive on S3とEMR Hive on S3, CDH Hive on S3とAWS Athena時)
Amazon S3
Amazon
EMR
Amazon
EMR
Amazon
Athena
データ利用の変化:
オブジェクトストレージS3使用時の性能関係
● エコシステムの選択性重視でストレージフォーマットParquet採用
● S3のプロトコル(CDH -> s3a://, EMR,Athena -> s3://)
○ CDHでs3n://等使うと性能劣化
● partition増で性能劣化の対応
○ 例) 大量のpartitionもつテーブルのreadするクエリ / 大量のpartitionまたがってwrite するクエリ / リペアテーブル
○ S3のLIST処理がネック
○ partition数を削減
● write heavyなクエリの性能劣化の対応(例: Hive on S3)
○ CDH5.9以前からhive on s3可能だが性能劣化し本番導入出来なかった
○ CDH5.9, 5.10, 5.11で改善しCDH5.10から本格的に本番導入出来た
○ S3 table write時にHiveのtemporaryデータ(scratchdir)を一時EBS(hdfs)へ書きその後
S3へ書戻し(hive.blobstore.use.blobstore.as.scratchdir=false)
○ S3 write処理のパラレル化(hive.mv.files.thread, hive.mv.file.threads)
○ S3Aコネクタチューニング(fs.s3a.threads.core, fs.s3a.threads.max, fs.s3a.max.total.tasks,
fs.s3a.connection.maximum)
データ利用の変化:
データの保持方法
● Rawデータとparquet変換済
データでS3バケットを分離
● parquet変換済データ(S3バ
ケット)は作成したHadoop
クラスタごと1:1の関係性
Amazon S3
データストア
Amazon S3
rawデータ ETL
Amazon
Athena
分析データ
アクセス
● マルチディストリービューション&AWSマネージドサービス間でS3のコン
システンシー関連で課題(CDH Hive on S3でwriteしてAWS Athenaでread時)
tsv
Parquet
中間データ
F.O.X概要/クラウド移
行1
Infrastructure as Code
とCloudera Director2
開発体制の課題解決と変化
データ共有の課題解決と変化4
アーキテクチャの課題解決と
変化5
運用管理の課題解決と変化6
F.O.Xの課題解決と変化
What?
3
アジェンダ
● リソース管理(YARN)の負荷
○ 新チーム/新プロジェクト相乗りでキャパシティ再見積もり(既存処理を考慮)
○ 各種Metastore等の負荷
● 本番想定のテストが出来ない
● 新規Hadoopクラスタのサービスインが数日…
アーキテクチャの課題:
オンプレミス環境(過去)
結果、属人化
● Hadoopクラスタを複数の開発チーム/プロジェクトで相乗り使用
○ リソース管理(YARN)
● 本番環境と同等のテスト環境がない
状況
課題
アーキテクチャの課題解決:
クラウド環境(現在)
● 複数の開発チーム/プロジェクトで相乗りしないマイクロHadoopクラスタ設計(リ
ソース管理撤廃)
○ チーム別/目的別で分け
● コードベース定義を使用、本番Hadoopクラスタと同等の検証環境を動的生成(IaC)
● Hadoopクラスタテンプレートを用意、新規マイクロHadoopクラスタを迅速にサ
ービスイン(IaC)
● リソース管理の負荷削減
● 検証環境を使用し、ライトユーザが安全にテスト可能(本番データ複製)
● 新規Hadoopクラスタのサービスインが数日 -> 数十分
状況
課題解決
アーキテクチャの変化:
マイクロHadoopクラスタ構成
S3(生成中間データ)S3(rawデータ)
Amazon RDS
(集計データ)
~調査/分析~
集計アプリ
~ETL/集計クラスタ~
~集計クラスタ~
Amazon
RDS(metadata)
他分析アプリ
developers X
developers Y
Amazon RDS
(集計データ)
集計アプリ
developers A
Amazon
RDS(metadata)
アーキテクチャの変化:
本番Hadoopクラスタと同等環境の実現
Cloudera Director 同一
configファイル
本番環境用
環境変数
テスト環境
本番環境
テスト用環境
変数
● コードベース定義を使用し本番Hadoopクラスタと同等の検証Hadoopクラスタを動的生成
● Cloudera Director confファイルを最大限活用
○ 目的別に分解/階層分け、各種parameterを環境変数で分離
○ 統一的なHadoop環境の実現
36
アーキテクチャの変化:
Hadoopクラスタのバージョニング
ClouderaManager
ClouderaDirector
GIthub
● Githubを正としてプロビジョニングした環境にversionを定義
○ 特定のversionをロールバック可能
○ 環境の再現性が可能なHadoop環境を実現
アーキテクチャの変化:
Hadoopクラスタテンプレート
github
● Hadoopクラスタテンプレートを用意して、新規マイクロHadoopクラスタを迅速(数十分)に
サービスイン(IaC)
○ 反復可能なHadoop環境を実現
○ 使い捨て可能なHadoop環境を実現
F.O.X概要/クラウド移
行1
Infrastructure as Code
とCloudera Director2
開発体制の課題解決と変化
データ共有の課題解決と変化4
アーキテクチャの課題解決と
変化5
運用管理の課題解決と変化6
F.O.Xの課題解決と変化
What?
3
アジェンダ
運用管理の課題:
オンプレミス環境(過去)
● 運用オペレーションほぼ手動
○ クラスタverision update、ノード増設
○ サーバ内部の構成管理を行い、サーバ外部の構成管理は行っていない
● 追加設定は既存環境へ上乗せ
● 安全かつ効率なクラスタ運用オペレーションが出来てない
○ 物理マシンがあってもノード増設に数日…(レガシーな環境)
● 追加設定を既存環境へ上乗せるため、設定依存問題
状況
課題
運用管理の課題解決:
クラウド環境(現在)
● IaC管理の環境 + 運用オペレーションをコード化
○ サーバ内部&サーバ外部を構成化
○ クラスタのノード増設を簡略化
○ クラスタupdateをHadoopクラスタ Blue Green Deploymentへ
● IaCでクラスタのノード増設が数日 -> 数十分で実現
● Hadoop環境を動的に入れ替えるため、設定依存問題が発生しない
状況
課題解決
Cloudera Director
configファイル
本番環境
環境変数定義
独自tool
オペレーション
configファイル
運用管理の変化:
運用オペレーションのコード化
● 運用オペレーション コード化のため独自ツール(ztool)を開発
○ Hadoop以外の各種クラウドコンポーネントと結合
○ Cloudera Managerを使用したラッパー(Hadoop config動的投入)
○ 構成を司るCloudera Directorとシームレスに連携
Hadoop Cluster Update
Hadoop Cluster Blue Green Deployment
Hadoop Cluster Distributed Clone
Hadoop Cluster Migration
Hadoop Cluster Orchestration
Hadoop Cluster Auto-Scaling
Hadoop Cluster Auto-Healing
Hadoop Event-Driven Cluster
運用管理の変化:
運用オペレーションの例
Hadoop Cluster Update
Hadoop Cluster Blue Green Deployment
Hadoop Cluster Distributed Clone
Hadoop Cluster Migration
Hadoop Cluster Orchestration
Hadoop Cluster Auto-Scaling
Hadoop Cluster Auto-Healing
Hadoop Event-Driven Cluster
運用管理の変化:
運用オペレーションの例
44
運用管理の変化:
Hadoop Cluster Update
概要
Hadoop Clusterへノード増減する
オペレーション
ユースケース
性能スケール…
ボタンポチポ
チで20台増設,
概要
Hadoop Clusterを入れ替えるオペレーション
ユースケース
CDH version up, Hadoop Cluster側の構成設定変更,
OSレイヤの各種パッチ適用
運用管理の変化:
Hadoop Cluster Blue Green Deployment
ELB(proxy)
S3 RDS
(metadata) Cloudera Director
Client
parameter
集計/分析
アプリ
SET A(Blue)
running
SET A(Green) wait
Blue Green DeployMent
③
create
switch
already exists
Cloudera Director
config file
~Production環境~
① 投入
② submit
概要
雛形なHadoop Clusterを複製する
ユースケース
それぞれのチームの開発者レベルでCleanで競
合しないHadoop Cluster環境を用意
運用管理の変化:
Hadoop Cluster Distributed Clone
S3
RDS
(metadata)
Cloudera Director
Client
parameter
集計/分析アプリ
③ create
Cloudera Director
config file
~テスト環境~
Hadoopクラスタ
の雛形
HadoopクラスタA Hadoop
クラスタ
B
③ create
集計/分析アプリCloneClone
User A User B
① 投入
② submit
User B
User A
S3 location: identity-id/
RDS schema: identity_id
運用管理の変化:
クラウドでのCloudera Managerのメリット
● エコシステム/ジョブの可視性
○ ジョブの実行時間が伸びていないか?、エコシステムの状態はどうか?
● エコシステム運用オペレーション
○ クラウド特有の動的ノード追従(activeノードの位置まで追従)
○ ゴシッププロトコル不要
● 監視系
○ ノード単体よりも全体の傾向把握(クラウドだと要求高い)
● ログ検索
○ 検索性(EMRのようなオブジェクトストレージ内のログを手動検索だと負荷高い)
● 日本語マニュアル
○ 運用時でのHadoopエコシステムのパラメータ変更、日本語で読める
運用管理の変化 発展Tips:
Hadoopクラスタの継続的インテグレーション
● CI(ジョブスケジューラとデプロイシステム)の選択肢
○ Transientクラスタにすると開発ジョブ(バッチプログラム)との親和性が高い
○ 開発ジョブ実行前にTransientクラスタ起動
○ Transientクラスタ起動ジョブを別に分け、ジョブスケジューラで管理
● Cluster CI
○ IaCのインテグレーション
○ 開発ジョブ(バッチプログラム)のインテグレーションと連携
● Data CI
○ ETLやジョブ開発、性能検証目的で使用
○ データセットを本番環境から複製
○ ライトユーザが安全/簡単に使える状態をCI
● Node CI
○ 金額的なマネジメントでノードをプランニングするCI
まとめ
Infrastructure as Codeを活用したF.O.Xのクラウドビッグデータ
環境の変化について紹介
○ 開発体制: IaCでシステムに対して柔軟な開発体制が選択できスケーラブル
○ アーキテクチャ: IaCでビジネス要件の変化に強く、本番と同等環境で
Hadoop検証が可能
○ データ共有: 複数クラスタ間のデータ共有が容易となりデータ活用性向上
○ 運用オペレーション: IaCでオペレーションが、オンプレミス環境と比
較すると数日->数十分で安全に実現

More Related Content

What's hot

Hadoopビッグデータ基盤の歴史を振り返る #cwt2015
Hadoopビッグデータ基盤の歴史を振り返る #cwt2015Hadoopビッグデータ基盤の歴史を振り返る #cwt2015
Hadoopビッグデータ基盤の歴史を振り返る #cwt2015Cloudera Japan
 
機械学習の定番プラットフォームSparkの紹介
機械学習の定番プラットフォームSparkの紹介機械学習の定番プラットフォームSparkの紹介
機械学習の定番プラットフォームSparkの紹介Cloudera Japan
 
#cwt2016 Cloudera Managerを用いた Hadoop のトラブルシューティング
#cwt2016 Cloudera Managerを用いた Hadoop のトラブルシューティング #cwt2016 Cloudera Managerを用いた Hadoop のトラブルシューティング
#cwt2016 Cloudera Managerを用いた Hadoop のトラブルシューティング Cloudera Japan
 
MapReduceを置き換えるSpark 〜HadoopとSparkの統合〜 #cwt2015
MapReduceを置き換えるSpark 〜HadoopとSparkの統合〜 #cwt2015MapReduceを置き換えるSpark 〜HadoopとSparkの統合〜 #cwt2015
MapReduceを置き換えるSpark 〜HadoopとSparkの統合〜 #cwt2015Cloudera Japan
 
HBase活用事例 #hbase_ca
HBase活用事例 #hbase_caHBase活用事例 #hbase_ca
HBase活用事例 #hbase_caCloudera Japan
 
PCIコンプライアンスに向けたビジネス指針〜MasterCardの事例〜 #cwt2015
PCIコンプライアンスに向けたビジネス指針〜MasterCardの事例〜 #cwt2015PCIコンプライアンスに向けたビジネス指針〜MasterCardの事例〜 #cwt2015
PCIコンプライアンスに向けたビジネス指針〜MasterCardの事例〜 #cwt2015Cloudera Japan
 
Apache Hadoop YARNとマルチテナントにおけるリソース管理
Apache Hadoop YARNとマルチテナントにおけるリソース管理Apache Hadoop YARNとマルチテナントにおけるリソース管理
Apache Hadoop YARNとマルチテナントにおけるリソース管理Cloudera Japan
 
エンタープライズデータハブ活用の落とし穴 2015 08-27
エンタープライズデータハブ活用の落とし穴 2015 08-27エンタープライズデータハブ活用の落とし穴 2015 08-27
エンタープライズデータハブ活用の落とし穴 2015 08-27Cloudera Japan
 
基調講演: 「データエコシステムへの挑戦」 #cwt2015
基調講演: 「データエコシステムへの挑戦」 #cwt2015基調講演: 「データエコシステムへの挑戦」 #cwt2015
基調講演: 「データエコシステムへの挑戦」 #cwt2015Cloudera Japan
 
Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017
Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017
Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017Cloudera Japan
 
HBase Across the World #LINE_DM
HBase Across the World #LINE_DMHBase Across the World #LINE_DM
HBase Across the World #LINE_DMCloudera Japan
 
Apache Impalaパフォーマンスチューニング #dbts2018
Apache Impalaパフォーマンスチューニング #dbts2018Apache Impalaパフォーマンスチューニング #dbts2018
Apache Impalaパフォーマンスチューニング #dbts2018Cloudera Japan
 
大規模データに対するデータサイエンスの進め方 #CWT2016
大規模データに対するデータサイエンスの進め方 #CWT2016大規模データに対するデータサイエンスの進め方 #CWT2016
大規模データに対するデータサイエンスの進め方 #CWT2016Cloudera Japan
 
[DI06] 並列分散処理の考え方とオープンソース分散処理系の動向
[DI06] 並列分散処理の考え方とオープンソース分散処理系の動向[DI06] 並列分散処理の考え方とオープンソース分散処理系の動向
[DI06] 並列分散処理の考え方とオープンソース分散処理系の動向de:code 2017
 
Spark徹底入門 #cwt2015
Spark徹底入門 #cwt2015Spark徹底入門 #cwt2015
Spark徹底入門 #cwt2015Cloudera Japan
 
G-Tech2015 Hadoop/Sparkを中核としたビッグデータ基盤_20151006
G-Tech2015 Hadoop/Sparkを中核としたビッグデータ基盤_20151006G-Tech2015 Hadoop/Sparkを中核としたビッグデータ基盤_20151006
G-Tech2015 Hadoop/Sparkを中核としたビッグデータ基盤_20151006Cloudera Japan
 
クラウド上でHadoopを構築できる Cloudera Director 2.0 の紹介 #dogenzakalt
クラウド上でHadoopを構築できる Cloudera Director 2.0 の紹介 #dogenzakaltクラウド上でHadoopを構築できる Cloudera Director 2.0 の紹介 #dogenzakalt
クラウド上でHadoopを構築できる Cloudera Director 2.0 の紹介 #dogenzakaltCloudera Japan
 
C5.2 (Cloudera Manager + CDH) アップデート #cwt2014
C5.2 (Cloudera Manager + CDH) アップデート #cwt2014C5.2 (Cloudera Manager + CDH) アップデート #cwt2014
C5.2 (Cloudera Manager + CDH) アップデート #cwt2014Cloudera Japan
 
基調講演:「ビッグデータのセキュリティとガバナンス要件」 #cwt2015
基調講演:「ビッグデータのセキュリティとガバナンス要件」 #cwt2015基調講演:「ビッグデータのセキュリティとガバナンス要件」 #cwt2015
基調講演:「ビッグデータのセキュリティとガバナンス要件」 #cwt2015Cloudera Japan
 

What's hot (20)

Hadoopビッグデータ基盤の歴史を振り返る #cwt2015
Hadoopビッグデータ基盤の歴史を振り返る #cwt2015Hadoopビッグデータ基盤の歴史を振り返る #cwt2015
Hadoopビッグデータ基盤の歴史を振り返る #cwt2015
 
機械学習の定番プラットフォームSparkの紹介
機械学習の定番プラットフォームSparkの紹介機械学習の定番プラットフォームSparkの紹介
機械学習の定番プラットフォームSparkの紹介
 
#cwt2016 Cloudera Managerを用いた Hadoop のトラブルシューティング
#cwt2016 Cloudera Managerを用いた Hadoop のトラブルシューティング #cwt2016 Cloudera Managerを用いた Hadoop のトラブルシューティング
#cwt2016 Cloudera Managerを用いた Hadoop のトラブルシューティング
 
MapReduceを置き換えるSpark 〜HadoopとSparkの統合〜 #cwt2015
MapReduceを置き換えるSpark 〜HadoopとSparkの統合〜 #cwt2015MapReduceを置き換えるSpark 〜HadoopとSparkの統合〜 #cwt2015
MapReduceを置き換えるSpark 〜HadoopとSparkの統合〜 #cwt2015
 
HBase活用事例 #hbase_ca
HBase活用事例 #hbase_caHBase活用事例 #hbase_ca
HBase活用事例 #hbase_ca
 
PCIコンプライアンスに向けたビジネス指針〜MasterCardの事例〜 #cwt2015
PCIコンプライアンスに向けたビジネス指針〜MasterCardの事例〜 #cwt2015PCIコンプライアンスに向けたビジネス指針〜MasterCardの事例〜 #cwt2015
PCIコンプライアンスに向けたビジネス指針〜MasterCardの事例〜 #cwt2015
 
Apache Hadoop YARNとマルチテナントにおけるリソース管理
Apache Hadoop YARNとマルチテナントにおけるリソース管理Apache Hadoop YARNとマルチテナントにおけるリソース管理
Apache Hadoop YARNとマルチテナントにおけるリソース管理
 
エンタープライズデータハブ活用の落とし穴 2015 08-27
エンタープライズデータハブ活用の落とし穴 2015 08-27エンタープライズデータハブ活用の落とし穴 2015 08-27
エンタープライズデータハブ活用の落とし穴 2015 08-27
 
基調講演: 「データエコシステムへの挑戦」 #cwt2015
基調講演: 「データエコシステムへの挑戦」 #cwt2015基調講演: 「データエコシステムへの挑戦」 #cwt2015
基調講演: 「データエコシステムへの挑戦」 #cwt2015
 
Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017
Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017
Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017
 
HBase Across the World #LINE_DM
HBase Across the World #LINE_DMHBase Across the World #LINE_DM
HBase Across the World #LINE_DM
 
Apache Impalaパフォーマンスチューニング #dbts2018
Apache Impalaパフォーマンスチューニング #dbts2018Apache Impalaパフォーマンスチューニング #dbts2018
Apache Impalaパフォーマンスチューニング #dbts2018
 
金融機関でのHive/Presto事例紹介
金融機関でのHive/Presto事例紹介金融機関でのHive/Presto事例紹介
金融機関でのHive/Presto事例紹介
 
大規模データに対するデータサイエンスの進め方 #CWT2016
大規模データに対するデータサイエンスの進め方 #CWT2016大規模データに対するデータサイエンスの進め方 #CWT2016
大規模データに対するデータサイエンスの進め方 #CWT2016
 
[DI06] 並列分散処理の考え方とオープンソース分散処理系の動向
[DI06] 並列分散処理の考え方とオープンソース分散処理系の動向[DI06] 並列分散処理の考え方とオープンソース分散処理系の動向
[DI06] 並列分散処理の考え方とオープンソース分散処理系の動向
 
Spark徹底入門 #cwt2015
Spark徹底入門 #cwt2015Spark徹底入門 #cwt2015
Spark徹底入門 #cwt2015
 
G-Tech2015 Hadoop/Sparkを中核としたビッグデータ基盤_20151006
G-Tech2015 Hadoop/Sparkを中核としたビッグデータ基盤_20151006G-Tech2015 Hadoop/Sparkを中核としたビッグデータ基盤_20151006
G-Tech2015 Hadoop/Sparkを中核としたビッグデータ基盤_20151006
 
クラウド上でHadoopを構築できる Cloudera Director 2.0 の紹介 #dogenzakalt
クラウド上でHadoopを構築できる Cloudera Director 2.0 の紹介 #dogenzakaltクラウド上でHadoopを構築できる Cloudera Director 2.0 の紹介 #dogenzakalt
クラウド上でHadoopを構築できる Cloudera Director 2.0 の紹介 #dogenzakalt
 
C5.2 (Cloudera Manager + CDH) アップデート #cwt2014
C5.2 (Cloudera Manager + CDH) アップデート #cwt2014C5.2 (Cloudera Manager + CDH) アップデート #cwt2014
C5.2 (Cloudera Manager + CDH) アップデート #cwt2014
 
基調講演:「ビッグデータのセキュリティとガバナンス要件」 #cwt2015
基調講演:「ビッグデータのセキュリティとガバナンス要件」 #cwt2015基調講演:「ビッグデータのセキュリティとガバナンス要件」 #cwt2015
基調講演:「ビッグデータのセキュリティとガバナンス要件」 #cwt2015
 

Viewers also liked

本当にあったApache Spark障害の話
本当にあったApache Spark障害の話本当にあったApache Spark障害の話
本当にあったApache Spark障害の話x1 ichi
 
AWS Black Belt Techシリーズ AWS CloudTrail & CloudWatch Logs
AWS Black Belt Techシリーズ AWS CloudTrail & CloudWatch LogsAWS Black Belt Techシリーズ AWS CloudTrail & CloudWatch Logs
AWS Black Belt Techシリーズ AWS CloudTrail & CloudWatch LogsAmazon Web Services Japan
 
[社内合同勉強会]インフラ業務を開発エンジニアへ移譲して 移譲前-移譲後-そして今-
[社内合同勉強会]インフラ業務を開発エンジニアへ移譲して 移譲前-移譲後-そして今-[社内合同勉強会]インフラ業務を開発エンジニアへ移譲して 移譲前-移譲後-そして今-
[社内合同勉強会]インフラ業務を開発エンジニアへ移譲して 移譲前-移譲後-そして今-Takahiro Moteki
 
Do you like scala
Do you like scalaDo you like scala
Do you like scalaYuto Suzuki
 
改善したほうがいい私の7つの開発習慣
改善したほうがいい私の7つの開発習慣改善したほうがいい私の7つの開発習慣
改善したほうがいい私の7つの開発習慣Noriaki Kadota
 
[serverlessconf2017]FaaSで簡単に実現する数十万RPSスパイク負荷試験
[serverlessconf2017]FaaSで簡単に実現する数十万RPSスパイク負荷試験[serverlessconf2017]FaaSで簡単に実現する数十万RPSスパイク負荷試験
[serverlessconf2017]FaaSで簡単に実現する数十万RPSスパイク負荷試験Takahiro Moteki
 
AWS Blackbelt 2015シリーズ Amazon CloudWatch & Amazon CloudWatch Logs
AWS Blackbelt 2015シリーズ Amazon CloudWatch & Amazon CloudWatch LogsAWS Blackbelt 2015シリーズ Amazon CloudWatch & Amazon CloudWatch Logs
AWS Blackbelt 2015シリーズ Amazon CloudWatch & Amazon CloudWatch LogsAmazon Web Services Japan
 

Viewers also liked (7)

本当にあったApache Spark障害の話
本当にあったApache Spark障害の話本当にあったApache Spark障害の話
本当にあったApache Spark障害の話
 
AWS Black Belt Techシリーズ AWS CloudTrail & CloudWatch Logs
AWS Black Belt Techシリーズ AWS CloudTrail & CloudWatch LogsAWS Black Belt Techシリーズ AWS CloudTrail & CloudWatch Logs
AWS Black Belt Techシリーズ AWS CloudTrail & CloudWatch Logs
 
[社内合同勉強会]インフラ業務を開発エンジニアへ移譲して 移譲前-移譲後-そして今-
[社内合同勉強会]インフラ業務を開発エンジニアへ移譲して 移譲前-移譲後-そして今-[社内合同勉強会]インフラ業務を開発エンジニアへ移譲して 移譲前-移譲後-そして今-
[社内合同勉強会]インフラ業務を開発エンジニアへ移譲して 移譲前-移譲後-そして今-
 
Do you like scala
Do you like scalaDo you like scala
Do you like scala
 
改善したほうがいい私の7つの開発習慣
改善したほうがいい私の7つの開発習慣改善したほうがいい私の7つの開発習慣
改善したほうがいい私の7つの開発習慣
 
[serverlessconf2017]FaaSで簡単に実現する数十万RPSスパイク負荷試験
[serverlessconf2017]FaaSで簡単に実現する数十万RPSスパイク負荷試験[serverlessconf2017]FaaSで簡単に実現する数十万RPSスパイク負荷試験
[serverlessconf2017]FaaSで簡単に実現する数十万RPSスパイク負荷試験
 
AWS Blackbelt 2015シリーズ Amazon CloudWatch & Amazon CloudWatch Logs
AWS Blackbelt 2015シリーズ Amazon CloudWatch & Amazon CloudWatch LogsAWS Blackbelt 2015シリーズ Amazon CloudWatch & Amazon CloudWatch Logs
AWS Blackbelt 2015シリーズ Amazon CloudWatch & Amazon CloudWatch Logs
 

Similar to [CWT2017]Infrastructure as Codeを活用したF.O.Xのクラウドビッグデータ環境の変化

【ウェブセミナー】マネージドな 100% OSS アナリティクス プラットフォーム HDInsight の最新事情
【ウェブセミナー】マネージドな 100% OSS アナリティクス プラットフォーム HDInsight の最新事情【ウェブセミナー】マネージドな 100% OSS アナリティクス プラットフォーム HDInsight の最新事情
【ウェブセミナー】マネージドな 100% OSS アナリティクス プラットフォーム HDInsight の最新事情Hideo Takagi
 
Cloudian FlexStore at cloudian seminar 2014
Cloudian FlexStore at cloudian seminar 2014Cloudian FlexStore at cloudian seminar 2014
Cloudian FlexStore at cloudian seminar 2014CLOUDIAN KK
 
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)NTT DATA OSS Professional Services
 
(2017.6.2) Azure HDInsightで実現するスケーラブル分析環境
(2017.6.2) Azure HDInsightで実現するスケーラブル分析環境(2017.6.2) Azure HDInsightで実現するスケーラブル分析環境
(2017.6.2) Azure HDInsightで実現するスケーラブル分析環境Mitsutoshi Kiuchi
 
【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~
【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~
【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~Developers Summit
 
Azure IaaS 解説
Azure IaaS 解説Azure IaaS 解説
Azure IaaS 解説wintechq
 
ownCloud2015年まとめ
ownCloud2015年まとめownCloud2015年まとめ
ownCloud2015年まとめTetsurou Yano
 
CDH5最新情報 #cwt2013
CDH5最新情報 #cwt2013CDH5最新情報 #cwt2013
CDH5最新情報 #cwt2013Cloudera Japan
 
Open for data_summer_for_slideshare
Open for data_summer_for_slideshareOpen for data_summer_for_slideshare
Open for data_summer_for_slidesharejapan_db2
 
Openfordatasummerforslideshare 160816054829
Openfordatasummerforslideshare 160816054829Openfordatasummerforslideshare 160816054829
Openfordatasummerforslideshare 160816054829mtanaka0111
 
オープンソースで構築するWebメタバース ~Mozilla Hubsで学ぶUX開発から運用コスト最小化まで #CEDEC2022
オープンソースで構築するWebメタバース ~Mozilla Hubsで学ぶUX開発から運用コスト最小化まで #CEDEC2022オープンソースで構築するWebメタバース ~Mozilla Hubsで学ぶUX開発から運用コスト最小化まで #CEDEC2022
オープンソースで構築するWebメタバース ~Mozilla Hubsで学ぶUX開発から運用コスト最小化まで #CEDEC2022GREE VR Studio Lab
 
祝★AWSスタンダードコンサルティングパートナーに認定されました
祝★AWSスタンダードコンサルティングパートナーに認定されました祝★AWSスタンダードコンサルティングパートナーに認定されました
祝★AWSスタンダードコンサルティングパートナーに認定されましたCore Concept Technologies
 
ownCloud2015年まとめ
ownCloud2015年まとめownCloud2015年まとめ
ownCloud2015年まとめTetsurou Yano
 
Cloud Native Appのデプロイ先に関する考察:VM? コンテナ? aPaaS? or Serverless?
Cloud Native Appのデプロイ先に関する考察:VM? コンテナ? aPaaS? or Serverless?Cloud Native Appのデプロイ先に関する考察:VM? コンテナ? aPaaS? or Serverless?
Cloud Native Appのデプロイ先に関する考察:VM? コンテナ? aPaaS? or Serverless?Yosuke Arai
 
実践!AWSクラウドデザインパターン
実践!AWSクラウドデザインパターン実践!AWSクラウドデザインパターン
実践!AWSクラウドデザインパターンHiroyasu Suzuki
 
大規模データ処理の定番OSS Hadoop / Spark 最新動向 - 2021秋 -(db tech showcase 2021 / ONLINE 発...
大規模データ処理の定番OSS Hadoop / Spark 最新動向 - 2021秋 -(db tech showcase 2021 / ONLINE 発...大規模データ処理の定番OSS Hadoop / Spark 最新動向 - 2021秋 -(db tech showcase 2021 / ONLINE 発...
大規模データ処理の定番OSS Hadoop / Spark 最新動向 - 2021秋 -(db tech showcase 2021 / ONLINE 発...NTT DATA Technology & Innovation
 
Hinemosによるハイブリッドクラウド運用管理の最新情報
Hinemosによるハイブリッドクラウド運用管理の最新情報Hinemosによるハイブリッドクラウド運用管理の最新情報
Hinemosによるハイブリッドクラウド運用管理の最新情報Hinemos
 

Similar to [CWT2017]Infrastructure as Codeを活用したF.O.Xのクラウドビッグデータ環境の変化 (20)

Oracle Big Data SQL3.1のご紹介
Oracle Big Data SQL3.1のご紹介Oracle Big Data SQL3.1のご紹介
Oracle Big Data SQL3.1のご紹介
 
AWS re:Invent2017で見た AWSの強さとは
AWS re:Invent2017で見た AWSの強さとは AWS re:Invent2017で見た AWSの強さとは
AWS re:Invent2017で見た AWSの強さとは
 
【ウェブセミナー】マネージドな 100% OSS アナリティクス プラットフォーム HDInsight の最新事情
【ウェブセミナー】マネージドな 100% OSS アナリティクス プラットフォーム HDInsight の最新事情【ウェブセミナー】マネージドな 100% OSS アナリティクス プラットフォーム HDInsight の最新事情
【ウェブセミナー】マネージドな 100% OSS アナリティクス プラットフォーム HDInsight の最新事情
 
Cloudian FlexStore at cloudian seminar 2014
Cloudian FlexStore at cloudian seminar 2014Cloudian FlexStore at cloudian seminar 2014
Cloudian FlexStore at cloudian seminar 2014
 
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
 
(2017.6.2) Azure HDInsightで実現するスケーラブル分析環境
(2017.6.2) Azure HDInsightで実現するスケーラブル分析環境(2017.6.2) Azure HDInsightで実現するスケーラブル分析環境
(2017.6.2) Azure HDInsightで実現するスケーラブル分析環境
 
【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~
【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~
【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~
 
Azure IaaS 解説
Azure IaaS 解説Azure IaaS 解説
Azure IaaS 解説
 
ownCloud2015年まとめ
ownCloud2015年まとめownCloud2015年まとめ
ownCloud2015年まとめ
 
CDH5最新情報 #cwt2013
CDH5最新情報 #cwt2013CDH5最新情報 #cwt2013
CDH5最新情報 #cwt2013
 
Open for data_summer_for_slideshare
Open for data_summer_for_slideshareOpen for data_summer_for_slideshare
Open for data_summer_for_slideshare
 
Openfordatasummerforslideshare 160816054829
Openfordatasummerforslideshare 160816054829Openfordatasummerforslideshare 160816054829
Openfordatasummerforslideshare 160816054829
 
Oracle GoldenGate Cloud Service(GGCS)概要
Oracle GoldenGate Cloud Service(GGCS)概要Oracle GoldenGate Cloud Service(GGCS)概要
Oracle GoldenGate Cloud Service(GGCS)概要
 
オープンソースで構築するWebメタバース ~Mozilla Hubsで学ぶUX開発から運用コスト最小化まで #CEDEC2022
オープンソースで構築するWebメタバース ~Mozilla Hubsで学ぶUX開発から運用コスト最小化まで #CEDEC2022オープンソースで構築するWebメタバース ~Mozilla Hubsで学ぶUX開発から運用コスト最小化まで #CEDEC2022
オープンソースで構築するWebメタバース ~Mozilla Hubsで学ぶUX開発から運用コスト最小化まで #CEDEC2022
 
祝★AWSスタンダードコンサルティングパートナーに認定されました
祝★AWSスタンダードコンサルティングパートナーに認定されました祝★AWSスタンダードコンサルティングパートナーに認定されました
祝★AWSスタンダードコンサルティングパートナーに認定されました
 
ownCloud2015年まとめ
ownCloud2015年まとめownCloud2015年まとめ
ownCloud2015年まとめ
 
Cloud Native Appのデプロイ先に関する考察:VM? コンテナ? aPaaS? or Serverless?
Cloud Native Appのデプロイ先に関する考察:VM? コンテナ? aPaaS? or Serverless?Cloud Native Appのデプロイ先に関する考察:VM? コンテナ? aPaaS? or Serverless?
Cloud Native Appのデプロイ先に関する考察:VM? コンテナ? aPaaS? or Serverless?
 
実践!AWSクラウドデザインパターン
実践!AWSクラウドデザインパターン実践!AWSクラウドデザインパターン
実践!AWSクラウドデザインパターン
 
大規模データ処理の定番OSS Hadoop / Spark 最新動向 - 2021秋 -(db tech showcase 2021 / ONLINE 発...
大規模データ処理の定番OSS Hadoop / Spark 最新動向 - 2021秋 -(db tech showcase 2021 / ONLINE 発...大規模データ処理の定番OSS Hadoop / Spark 最新動向 - 2021秋 -(db tech showcase 2021 / ONLINE 発...
大規模データ処理の定番OSS Hadoop / Spark 最新動向 - 2021秋 -(db tech showcase 2021 / ONLINE 発...
 
Hinemosによるハイブリッドクラウド運用管理の最新情報
Hinemosによるハイブリッドクラウド運用管理の最新情報Hinemosによるハイブリッドクラウド運用管理の最新情報
Hinemosによるハイブリッドクラウド運用管理の最新情報
 

More from Takahiro Moteki

[excite open beerbash 特別篇]レガシーシステムをAWS移行で幸せになった話
[excite open beerbash 特別篇]レガシーシステムをAWS移行で幸せになった話[excite open beerbash 特別篇]レガシーシステムをAWS移行で幸せになった話
[excite open beerbash 特別篇]レガシーシステムをAWS移行で幸せになった話Takahiro Moteki
 
[AWSセミナーマイグレーション事例祭20190409]分析環境をAWS_Athenaに移行_その後1年間の運用課題を振り返る
[AWSセミナーマイグレーション事例祭20190409]分析環境をAWS_Athenaに移行_その後1年間の運用課題を振り返る[AWSセミナーマイグレーション事例祭20190409]分析環境をAWS_Athenaに移行_その後1年間の運用課題を振り返る
[AWSセミナーマイグレーション事例祭20190409]分析環境をAWS_Athenaに移行_その後1年間の運用課題を振り返るTakahiro Moteki
 
[社内勉強会]ワークフローエンジンdigdag研究&プロダクトF.O.Xに導入
[社内勉強会]ワークフローエンジンdigdag研究&プロダクトF.O.Xに導入[社内勉強会]ワークフローエンジンdigdag研究&プロダクトF.O.Xに導入
[社内勉強会]ワークフローエンジンdigdag研究&プロダクトF.O.Xに導入Takahiro Moteki
 
[2018bcu30]1年半もかけてしまったビッグデータ環境のリプレイス
[2018bcu30]1年半もかけてしまったビッグデータ環境のリプレイス[2018bcu30]1年半もかけてしまったビッグデータ環境のリプレイス
[2018bcu30]1年半もかけてしまったビッグデータ環境のリプレイスTakahiro Moteki
 
[社内共有会]AWS NAT-GW導入と構成変化 2年運用して 同時接続数 秒間100->10万へ成長
[社内共有会]AWS NAT-GW導入と構成変化 2年運用して 同時接続数 秒間100->10万へ成長[社内共有会]AWS NAT-GW導入と構成変化 2年運用して 同時接続数 秒間100->10万へ成長
[社内共有会]AWS NAT-GW導入と構成変化 2年運用して 同時接続数 秒間100->10万へ成長Takahiro Moteki
 
[F.O.XMeetup#2]インフラ業務を開発エンジニアへ移譲して_2年間の軌跡_
[F.O.XMeetup#2]インフラ業務を開発エンジニアへ移譲して_2年間の軌跡_[F.O.XMeetup#2]インフラ業務を開発エンジニアへ移譲して_2年間の軌跡_
[F.O.XMeetup#2]インフラ業務を開発エンジニアへ移譲して_2年間の軌跡_Takahiro Moteki
 
[社内勉強会]サクっと業務でつくったログ/データ調査環境(re:dash ☓ AWS Athena ☓ embulk)
[社内勉強会]サクっと業務でつくったログ/データ調査環境(re:dash ☓ AWS Athena ☓ embulk)[社内勉強会]サクっと業務でつくったログ/データ調査環境(re:dash ☓ AWS Athena ☓ embulk)
[社内勉強会]サクっと業務でつくったログ/データ調査環境(re:dash ☓ AWS Athena ☓ embulk)Takahiro Moteki
 
[社内勉強会]計算機工学のスケジューリングを現実世界に活かせないだろうか(ネタ)
[社内勉強会]計算機工学のスケジューリングを現実世界に活かせないだろうか(ネタ)[社内勉強会]計算機工学のスケジューリングを現実世界に活かせないだろうか(ネタ)
[社内勉強会]計算機工学のスケジューリングを現実世界に活かせないだろうか(ネタ)Takahiro Moteki
 
[社内勉強会]エンジニアな僕の情報収集法
[社内勉強会]エンジニアな僕の情報収集法[社内勉強会]エンジニアな僕の情報収集法
[社内勉強会]エンジニアな僕の情報収集法Takahiro Moteki
 
[社内勉強会]ELBとALBと数万スパイク負荷テスト
[社内勉強会]ELBとALBと数万スパイク負荷テスト[社内勉強会]ELBとALBと数万スパイク負荷テスト
[社内勉強会]ELBとALBと数万スパイク負荷テストTakahiro Moteki
 
[社内勉強会]Webエンジニアへ送るインフラのおすすめ本:記事7本
[社内勉強会]Webエンジニアへ送るインフラのおすすめ本:記事7本[社内勉強会]Webエンジニアへ送るインフラのおすすめ本:記事7本
[社内勉強会]Webエンジニアへ送るインフラのおすすめ本:記事7本Takahiro Moteki
 

More from Takahiro Moteki (11)

[excite open beerbash 特別篇]レガシーシステムをAWS移行で幸せになった話
[excite open beerbash 特別篇]レガシーシステムをAWS移行で幸せになった話[excite open beerbash 特別篇]レガシーシステムをAWS移行で幸せになった話
[excite open beerbash 特別篇]レガシーシステムをAWS移行で幸せになった話
 
[AWSセミナーマイグレーション事例祭20190409]分析環境をAWS_Athenaに移行_その後1年間の運用課題を振り返る
[AWSセミナーマイグレーション事例祭20190409]分析環境をAWS_Athenaに移行_その後1年間の運用課題を振り返る[AWSセミナーマイグレーション事例祭20190409]分析環境をAWS_Athenaに移行_その後1年間の運用課題を振り返る
[AWSセミナーマイグレーション事例祭20190409]分析環境をAWS_Athenaに移行_その後1年間の運用課題を振り返る
 
[社内勉強会]ワークフローエンジンdigdag研究&プロダクトF.O.Xに導入
[社内勉強会]ワークフローエンジンdigdag研究&プロダクトF.O.Xに導入[社内勉強会]ワークフローエンジンdigdag研究&プロダクトF.O.Xに導入
[社内勉強会]ワークフローエンジンdigdag研究&プロダクトF.O.Xに導入
 
[2018bcu30]1年半もかけてしまったビッグデータ環境のリプレイス
[2018bcu30]1年半もかけてしまったビッグデータ環境のリプレイス[2018bcu30]1年半もかけてしまったビッグデータ環境のリプレイス
[2018bcu30]1年半もかけてしまったビッグデータ環境のリプレイス
 
[社内共有会]AWS NAT-GW導入と構成変化 2年運用して 同時接続数 秒間100->10万へ成長
[社内共有会]AWS NAT-GW導入と構成変化 2年運用して 同時接続数 秒間100->10万へ成長[社内共有会]AWS NAT-GW導入と構成変化 2年運用して 同時接続数 秒間100->10万へ成長
[社内共有会]AWS NAT-GW導入と構成変化 2年運用して 同時接続数 秒間100->10万へ成長
 
[F.O.XMeetup#2]インフラ業務を開発エンジニアへ移譲して_2年間の軌跡_
[F.O.XMeetup#2]インフラ業務を開発エンジニアへ移譲して_2年間の軌跡_[F.O.XMeetup#2]インフラ業務を開発エンジニアへ移譲して_2年間の軌跡_
[F.O.XMeetup#2]インフラ業務を開発エンジニアへ移譲して_2年間の軌跡_
 
[社内勉強会]サクっと業務でつくったログ/データ調査環境(re:dash ☓ AWS Athena ☓ embulk)
[社内勉強会]サクっと業務でつくったログ/データ調査環境(re:dash ☓ AWS Athena ☓ embulk)[社内勉強会]サクっと業務でつくったログ/データ調査環境(re:dash ☓ AWS Athena ☓ embulk)
[社内勉強会]サクっと業務でつくったログ/データ調査環境(re:dash ☓ AWS Athena ☓ embulk)
 
[社内勉強会]計算機工学のスケジューリングを現実世界に活かせないだろうか(ネタ)
[社内勉強会]計算機工学のスケジューリングを現実世界に活かせないだろうか(ネタ)[社内勉強会]計算機工学のスケジューリングを現実世界に活かせないだろうか(ネタ)
[社内勉強会]計算機工学のスケジューリングを現実世界に活かせないだろうか(ネタ)
 
[社内勉強会]エンジニアな僕の情報収集法
[社内勉強会]エンジニアな僕の情報収集法[社内勉強会]エンジニアな僕の情報収集法
[社内勉強会]エンジニアな僕の情報収集法
 
[社内勉強会]ELBとALBと数万スパイク負荷テスト
[社内勉強会]ELBとALBと数万スパイク負荷テスト[社内勉強会]ELBとALBと数万スパイク負荷テスト
[社内勉強会]ELBとALBと数万スパイク負荷テスト
 
[社内勉強会]Webエンジニアへ送るインフラのおすすめ本:記事7本
[社内勉強会]Webエンジニアへ送るインフラのおすすめ本:記事7本[社内勉強会]Webエンジニアへ送るインフラのおすすめ本:記事7本
[社内勉強会]Webエンジニアへ送るインフラのおすすめ本:記事7本
 

Recently uploaded

20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdfAyachika Kitazaki
 
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~arts yokohama
 
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-LoopへTetsuya Nihonmatsu
 
2024 01 Virtual_Counselor
2024 01 Virtual_Counselor 2024 01 Virtual_Counselor
2024 01 Virtual_Counselor arts yokohama
 
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見Shumpei Kishi
 
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdfTaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdfMatsushita Laboratory
 
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦Sadao Tokuyama
 
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法ssuser370dd7
 
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)ssuser539845
 

Recently uploaded (12)

20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf
 
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
 
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
 
2024 01 Virtual_Counselor
2024 01 Virtual_Counselor 2024 01 Virtual_Counselor
2024 01 Virtual_Counselor
 
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
 
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdfTaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
 
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
 
What is the world where you can make your own semiconductors?
What is the world where you can make your own semiconductors?What is the world where you can make your own semiconductors?
What is the world where you can make your own semiconductors?
 
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
 
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
 
2024 03 CTEA
2024 03 CTEA2024 03 CTEA
2024 03 CTEA
 
2024 04 minnanoito
2024 04 minnanoito2024 04 minnanoito
2024 04 minnanoito
 

[CWT2017]Infrastructure as Codeを活用したF.O.Xのクラウドビッグデータ環境の変化