Submit Search
Upload
オンプレとクラウドのHadoopを比較して僕の思うとこ
•
3 likes
•
2,431 views
Yu Yamada
Follow
これからはじめるHadoop / Spark LT資料 山田 雄(株式会社リクルートライフスタイル)
Read less
Read more
Technology
Report
Share
Report
Share
1 of 19
Download Now
Download to read offline
Recommended
僕の考える最強のビックデータエンジニア
僕の考える最強のビックデータエンジニア
Yu Yamada
リクルートライフスタイルのデータを支える技術
リクルートライフスタイルのデータを支える技術
Yu Yamada
kafkaのデータをRedshiftへ入れるパイプライン作ってみた
kafkaのデータをRedshiftへ入れるパイプライン作ってみた
Yu Yamada
オンプレ、クラウドを組み合わせて作るビックデータ基盤 データ基盤の選び方
オンプレ、クラウドを組み合わせて作るビックデータ基盤 データ基盤の選び方
Yu Yamada
CDH4->5 update苦労話
CDH4->5 update苦労話
Yu Yamada
リクルートライフスタイルの売上を支える共通分析基盤
リクルートライフスタイルの売上を支える共通分析基盤
Yu Yamada
リクルートライフスタイルの売上を支える共通分析基盤
リクルートライフスタイルの売上を支える共通分析基盤
Recruit Lifestyle Co., Ltd.
Google cloudnext recap_DataAnalytics
Google cloudnext recap_DataAnalytics
Yu Yamada
More Related Content
What's hot
リクルートライフスタイルが考える、万人に使ってもらえる分析基盤の作り方
リクルートライフスタイルが考える、万人に使ってもらえる分析基盤の作り方
Yu Yamada
実務で役立つデータベースの活用法
実務で役立つデータベースの活用法
Soudai Sone
Osh2014
Osh2014
Soudai Sone
20211019 rpa勉強会!「自動化ネタ・rpaネタ・itネタ」ライトニングトーク大会! vol.31
20211019 rpa勉強会!「自動化ネタ・rpaネタ・itネタ」ライトニングトーク大会! vol.31
TakutoIde
Web エンジニアが postgre sql を選ぶ 3 つの理由
Web エンジニアが postgre sql を選ぶ 3 つの理由
Soudai Sone
Uuidはどこまでuuidか試してみた
Uuidはどこまでuuidか試してみた
Yu Yamada
売上に効くデータ組織~データから売上や利益を作るために何をしているか~
売上に効くデータ組織~データから売上や利益を作るために何をしているか~
Recruit Lifestyle Co., Ltd.
20170221 cnet live講演資料
20170221 cnet live講演資料
Retrieva inc.
すぐ始めれるクラウド
すぐ始めれるクラウド
Soudai Sone
金沢ハッカソン2013~オープンガバメント~
金沢ハッカソン2013~オープンガバメント~
Taisuke Fukuno
Japan.r 2013 「実ビジネスデータへのrの活用とその限界」
Japan.r 2013 「実ビジネスデータへのrの活用とその限界」
tetsuro ito
正規表現で楽しよう
正規表現で楽しよう
笹川 純一
DDDハンズオン
DDDハンズオン
Soudai Sone
中国地方Db勉強会
中国地方Db勉強会
Soudai Sone
Web で変わったクラウドと postgre sql の今と昔
Web で変わったクラウドと postgre sql の今と昔
Soudai Sone
20201130 rpal tvol26
20201130 rpal tvol26
KEI INOUE
Postgre sqlから見るnosql
Postgre sqlから見るnosql
Soudai Sone
データ分析基盤を支えるエンジニアリング
データ分析基盤を支えるエンジニアリング
Recruit Lifestyle Co., Ltd.
DBの闇を書くにはこの余白は狭すぎる
DBの闇を書くにはこの余白は狭すぎる
Soudai Sone
Ansibleで始めるpostgre sqlの冗長化
Ansibleで始めるpostgre sqlの冗長化
Soudai Sone
What's hot
(20)
リクルートライフスタイルが考える、万人に使ってもらえる分析基盤の作り方
リクルートライフスタイルが考える、万人に使ってもらえる分析基盤の作り方
実務で役立つデータベースの活用法
実務で役立つデータベースの活用法
Osh2014
Osh2014
20211019 rpa勉強会!「自動化ネタ・rpaネタ・itネタ」ライトニングトーク大会! vol.31
20211019 rpa勉強会!「自動化ネタ・rpaネタ・itネタ」ライトニングトーク大会! vol.31
Web エンジニアが postgre sql を選ぶ 3 つの理由
Web エンジニアが postgre sql を選ぶ 3 つの理由
Uuidはどこまでuuidか試してみた
Uuidはどこまでuuidか試してみた
売上に効くデータ組織~データから売上や利益を作るために何をしているか~
売上に効くデータ組織~データから売上や利益を作るために何をしているか~
20170221 cnet live講演資料
20170221 cnet live講演資料
すぐ始めれるクラウド
すぐ始めれるクラウド
金沢ハッカソン2013~オープンガバメント~
金沢ハッカソン2013~オープンガバメント~
Japan.r 2013 「実ビジネスデータへのrの活用とその限界」
Japan.r 2013 「実ビジネスデータへのrの活用とその限界」
正規表現で楽しよう
正規表現で楽しよう
DDDハンズオン
DDDハンズオン
中国地方Db勉強会
中国地方Db勉強会
Web で変わったクラウドと postgre sql の今と昔
Web で変わったクラウドと postgre sql の今と昔
20201130 rpal tvol26
20201130 rpal tvol26
Postgre sqlから見るnosql
Postgre sqlから見るnosql
データ分析基盤を支えるエンジニアリング
データ分析基盤を支えるエンジニアリング
DBの闇を書くにはこの余白は狭すぎる
DBの闇を書くにはこの余白は狭すぎる
Ansibleで始めるpostgre sqlの冗長化
Ansibleで始めるpostgre sqlの冗長化
Similar to オンプレとクラウドのHadoopを比較して僕の思うとこ
アラフォーでプログラミングをはじめて思ったこと
アラフォーでプログラミングをはじめて思ったこと
hide ogawa
社外コニュニティでLTした話とQiitaアドベントカレンダーに参加した話
社外コニュニティでLTした話とQiitaアドベントカレンダーに参加した話
Hironori Yokoyama
DaiNishino_SDN-conference-2014_TB-07_2012-02-18
DaiNishino_SDN-conference-2014_TB-07_2012-02-18
Dai Nishino
My cordovaprojectstory
My cordovaprojectstory
Yuichiro Ebihara
スタートアップだからこそ使うAWS(第5回JAWS-UG Nagoya)
スタートアップだからこそ使うAWS(第5回JAWS-UG Nagoya)
Tomotsune Murata
元ソフトウェアエンジニアが語る、ものづくりスタートアップのリアル【Garage Channel】
元ソフトウェアエンジニアが語る、ものづくりスタートアップのリアル【Garage Channel】
schoowebcampus
~新しい着回しと出会おう~ 『XZ(クローゼット)』 を支える技術 -Cordova編-
~新しい着回しと出会おう~ 『XZ(クローゼット)』 を支える技術 -Cordova編-
Shinichiro Yoshida
【勉強会】 はじめてのRuby on Rails 4入門
【勉強会】 はじめてのRuby on Rails 4入門
Yuta Nakamura
Global Azure Bootcamp 2019@Tokyo資料【ExpressRoute構築でハメられた】
Global Azure Bootcamp 2019@Tokyo資料【ExpressRoute構築でハメられた】
Dai Iwai
20190517 Spark+AI Summit2019最新レポート
20190517 Spark+AI Summit2019最新レポート
Ryoma Nagata
Sparkコミュニティに飛び込もう!(Spark Meetup Tokyo 2015 講演資料、NTTデータ 猿田 浩輔)
Sparkコミュニティに飛び込もう!(Spark Meetup Tokyo 2015 講演資料、NTTデータ 猿田 浩輔)
NTT DATA OSS Professional Services
jaws-ug kansai-special_aurora_20150207
jaws-ug kansai-special_aurora_20150207
Toshiyuki Konparu
Railsで新規サービスを開発する際にやったこと
Railsで新規サービスを開発する際にやったこと
Jyunichi Kuriyama
インフラCICDの勘所
インフラCICDの勘所
Toru Makabe
Devlove仙台20130309 レガシープロジェクト脱出大作戦
Devlove仙台20130309 レガシープロジェクト脱出大作戦
Masaki Yamamoto
Drupal Market in Japan @ 「DrupalCon 2016 New Orleans」情報交換会
Drupal Market in Japan @ 「DrupalCon 2016 New Orleans」情報交換会
Hidekazu Ikeda
吟遊プログラマーをめざして
吟遊プログラマーをめざして
Hitoshi Wada
10/12 WordBench神戸 WordPressの学習方法
10/12 WordBench神戸 WordPressの学習方法
Yoshiko Sarakai
DMMのIPv6に関する取り組み 2016年2月版
DMMのIPv6に関する取り組み 2016年2月版
Ken SASAKI
Sparkをノートブックにまとめちゃおう。Zeppelinでね!(Hadoopソースコードリーディング 第19回 発表資料)
Sparkをノートブックにまとめちゃおう。Zeppelinでね!(Hadoopソースコードリーディング 第19回 発表資料)
NTT DATA OSS Professional Services
Similar to オンプレとクラウドのHadoopを比較して僕の思うとこ
(20)
アラフォーでプログラミングをはじめて思ったこと
アラフォーでプログラミングをはじめて思ったこと
社外コニュニティでLTした話とQiitaアドベントカレンダーに参加した話
社外コニュニティでLTした話とQiitaアドベントカレンダーに参加した話
DaiNishino_SDN-conference-2014_TB-07_2012-02-18
DaiNishino_SDN-conference-2014_TB-07_2012-02-18
My cordovaprojectstory
My cordovaprojectstory
スタートアップだからこそ使うAWS(第5回JAWS-UG Nagoya)
スタートアップだからこそ使うAWS(第5回JAWS-UG Nagoya)
元ソフトウェアエンジニアが語る、ものづくりスタートアップのリアル【Garage Channel】
元ソフトウェアエンジニアが語る、ものづくりスタートアップのリアル【Garage Channel】
~新しい着回しと出会おう~ 『XZ(クローゼット)』 を支える技術 -Cordova編-
~新しい着回しと出会おう~ 『XZ(クローゼット)』 を支える技術 -Cordova編-
【勉強会】 はじめてのRuby on Rails 4入門
【勉強会】 はじめてのRuby on Rails 4入門
Global Azure Bootcamp 2019@Tokyo資料【ExpressRoute構築でハメられた】
Global Azure Bootcamp 2019@Tokyo資料【ExpressRoute構築でハメられた】
20190517 Spark+AI Summit2019最新レポート
20190517 Spark+AI Summit2019最新レポート
Sparkコミュニティに飛び込もう!(Spark Meetup Tokyo 2015 講演資料、NTTデータ 猿田 浩輔)
Sparkコミュニティに飛び込もう!(Spark Meetup Tokyo 2015 講演資料、NTTデータ 猿田 浩輔)
jaws-ug kansai-special_aurora_20150207
jaws-ug kansai-special_aurora_20150207
Railsで新規サービスを開発する際にやったこと
Railsで新規サービスを開発する際にやったこと
インフラCICDの勘所
インフラCICDの勘所
Devlove仙台20130309 レガシープロジェクト脱出大作戦
Devlove仙台20130309 レガシープロジェクト脱出大作戦
Drupal Market in Japan @ 「DrupalCon 2016 New Orleans」情報交換会
Drupal Market in Japan @ 「DrupalCon 2016 New Orleans」情報交換会
吟遊プログラマーをめざして
吟遊プログラマーをめざして
10/12 WordBench神戸 WordPressの学習方法
10/12 WordBench神戸 WordPressの学習方法
DMMのIPv6に関する取り組み 2016年2月版
DMMのIPv6に関する取り組み 2016年2月版
Sparkをノートブックにまとめちゃおう。Zeppelinでね!(Hadoopソースコードリーディング 第19回 発表資料)
Sparkをノートブックにまとめちゃおう。Zeppelinでね!(Hadoopソースコードリーディング 第19回 発表資料)
Recently uploaded
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
ssuser370dd7
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
Matsushita Laboratory
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
ssuser539845
20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf
Ayachika Kitazaki
2024 01 Virtual_Counselor
2024 01 Virtual_Counselor
arts yokohama
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
Shumpei Kishi
2024 03 CTEA
2024 03 CTEA
arts yokohama
What is the world where you can make your own semiconductors?
What is the world where you can make your own semiconductors?
Industrial Technology Research Institute (ITRI)(工業技術研究院, 工研院)
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
arts yokohama
2024 04 minnanoito
2024 04 minnanoito
arts yokohama
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
Tetsuya Nihonmatsu
Recently uploaded
(11)
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf
2024 01 Virtual_Counselor
2024 01 Virtual_Counselor
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
2024 03 CTEA
2024 03 CTEA
What is the world where you can make your own semiconductors?
What is the world where you can make your own semiconductors?
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 04 minnanoito
2024 04 minnanoito
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
オンプレとクラウドのHadoopを比較して僕の思うとこ
1.
オンプレとクラウドのHadoopを比較 して僕の思うとこ 〜クラウドがいいのはわかってる、で もオンプレも楽しい〜 これから始めるHadoop / Spark 03/22
2016 山田 雄 ネットビジネス本部 データ基盤T
2.
■山田 雄(ヤマダ ユウ) 株式会社
リクルートライフスタイル ネットビジネス本部 データ基盤T Twitter:@nii_yan Blog:イクジニアブログ ・元々フリーランスエンジニア 縁があってリクルートライフスタイルにお世話になることになった。 ビックデータ、Ruby、ビールが好き。 自己紹介
3.
会社紹介
4.
今回の話は私の個人的感想によ るもので、会社の意見ではあり ません。 弊社のHadoop/Spark環境は全 てクラウド上で動いています。
5.
クラウドとオンプレの比較
6.
初期投資(クラウドの場合)
7.
初期投資 (オンプレの場合) どのサーバ買おうか?PowerEdgeでいいかね? HDD買うときは製造番号近いの買うといっぺんに壊れるから・・・ SSDじゃなくてHDDで十分だよね! HDFSはRAID組まない方がいいから・・・
8.
初期投資 (オンプレの場合) どのサーバ買おうか?PowerEdgeでいいかね? HDD買うときは製造番号近いの買うといっぺんに壊れるから・・・ SSDじゃなくてHDDで十分だよね! HDFSはRAID組まない方がいいから・・・ 楽しい!!
9.
Hadoopインストール(クラウドの場合) AWSなら、EMRでポチッとな
10.
Hadoopインストール(オンプレの場合) Kernelチューニングしないと!vm.swappinessが!! Diskが逝った〜〜〜 ToT ClouderaManager使うとインストール楽だよね。 パーティションどう切ろう・・・
11.
Hadoopインストール(オンプレの場合) Kernelチューニングしないと!vm.swappinessが!! Diskが逝った〜〜〜 ToT ClouderaManager使うとインストール楽だよね。 パーティションどう切ろう・・・ 楽しい!!
12.
Hadoopアップデート(クラウドの場合) AWSなら、EMRでポチッとな (やったことないけど多分・・・)
13.
Hadoopアップデート(オンプレの場合) もう1つ検証用クラスタ用意する?? HiveのSelect結果が合わない!Hive-9613問題が〜 ToT Tezすげ〜!ファイル形式も変えてみよう!! データの同期どうしよう??Hbaseつらたん・・・
14.
Hadoopアップデート(オンプレの場合) もう1つ検証用クラスタ用意する?? HiveのSelect結果が合わない!Hive-9613問題が〜 ToT Tezすげ〜!ファイル形式も変えてみよう!! データの同期どうしよう??Hbaseつらたん・・・ 楽しい!!
15.
こうやってみると圧倒的に(特にコ スト面)クラウドがいいのですが、 オンプレの楽しさはプライスレス (ROI?なにそれおいしいの?)
16.
だが、クラウドは機能が充実しす ぎてて、色々な事が出来てしまう のも事実・・・
17.
DynamoDB Lambda API Gateway Kafka on-premises AWS
cloud Web Server Configuration Management Monitoring Grafana 弊社のストリーム基盤例
18.
Hadoopを新規で作る時一瞬オ ンプレとクラウドで迷ってみても いいと思います。 ただ、たいていの場合クラウド がいいんじゃないかなぁ・・・
19.
ご清聴ありがとうございました (@nii_yan)
Editor's Notes
これからHadoop導入する方がオンプレかクラウドか悩んだ際に少しでも参考になれば嬉しいです。
じゃらんやホットペッパーなどのサービスを持っていて、そこそこ売り上げあって3000人くらい従業員いて、かわいいお姉さんのいる会社です。
RAIDコントローラーの話とか
EMRFS使ってS3にデータ置いてエンジンだけ変えたりできる?
まとめ
何か追加で聞きたいことや、弊社のことで聴きたいことある方はこのアカウントまでご連絡ください。
Download Now