SlideShare a Scribd company logo
1 of 37
Download to read offline
Hadoop	ソースコードリーディング 第25回
HBase	最新情報
Apache	HBase	Committer
鈴⽊ 俊裕
⾃⼰紹介
鈴⽊ 俊裕(すずき としひろ)
• Apache	HBase	Committer
• Hortonworks
• Sr.	Software	Engineer,	Breakfix
• サポートチームで働いています
• エスカレーションされたサポートチケットのトラブルシュー
ティング
• プロダクトのバグフィックス(主にHBase/Phoenix)
• 著書「HBase徹底⼊⾨」
• Twitter:	@brfrn169
アジェンダ
• HBase	2.0	のおさらい
• HBase	の最新情報
• Evolving	HBase	in	the	Cloud
• HBase	on	Persistent	Memory
• その他の最新情報
HBase	2.0	のおさらい
HBase	2.0
• 2018年4⽉末にリリース
• 4年前に2.0のブランチが作られた
• 安定させるのに1年以上かかった
• hbase-2.0.0	released,	April	29th,	2018
• hbase-2.0.0-beta2	released,	March	22nd,	2018
• hbase-2.0.0-beta1	released	January,	16th,	2018
• hbase-2.0.0-alpha4	released	November	4th,	2017
• hbase-2.0.0-alpha3	released	September	17th,	2017
• hbase-2.0.0-alpha2	released	August	21st,	2017
• hbase-2.0.0-alpha1	released	June	22nd,	2017
HBase	2.0
• JDK8	only
• Hadoop-2.7.7	以上をサポート
• Hadoop-3.x	上でも動作する
• 新機能
• Assignment	Manager	version	2
• Off-heap	Read/Write	Path
• Accordion	(In-memory	Compaction)
• その他
Assignment	Manager	version	2
• Assignment	Manager	v1	は問題が多かった
• アサインに Zookeeper	を使⽤
• Region	の状態を Zookeeper	と Master	のメモリ、HDFS	に持っていた
• Assignment	Manager	v2では
• Zookeeper	less	assignment
• hbase:meta へは最終状態だけいれる
• Region	の状態は Masterが⼀元管理
• 信頼性とスケーラビリティが向上
• Region	数が多くなっても(数百万)のアサインが早い
• Master	の起動も早くなる
Off-heap
• JVMのヒープを⼩さくする
• ヒープが⼤きいとGCに影響が出やすい
• メモリのコピーを減らす
• GCを減らすことができる
• Off-heap	Read	Path
• HDFS	->	BucketCache ->	ソケットに書き込むところまでコピーなし
• Off-heap	Write	Path
• RPC	->	HDFS	(WAL)	までコピーなし
• MSLAB	を off-heapへ
Off-heap
• Alibabaのユースケース
Before:
After:
Accordion	(in-memory	compaction)
• In-memory	LSM
• in-memory	flush	と in-memory	compaction
• ディスクへの Flush	回数の減少
• 書き込みパフォーマンスの向上
• Compaction	の回数も減り、 読み書きのパフォーマンスを阻害する要因
を減らすことができる
• ディスク使⽤量の減少
• BlockCache の容量削減され、その使⽤効率も向上するのでキャッシュ
ヒット率も上がり、読み込みのパフォーマンスを向上させる
その他
• New	Async Client
• New	Netty Server/Client
• Async DFSClient
• Fanout,	fail-fast
• Client	API	Changes
• Better	dependency	management
その他
⼀部ディストリビューションではバックポート済み
• MOB	(Medium	Object	Blobs)
• Region	Server	Groups
• Spark	Module
• WAL	and	HFiles in	different	FileSystem
• FileSystem Quotas
HBase	の最新情報
Evolving	HBase	in	the	Cloud
• HBASE-20951 Ratis	LogService	backed	WALs
• 近年のクラウドの普及によりIaaS	(Amazon	EC2,	Google	Compute	
Engine,	Microsoft	Azure	Compute)上にHBaseを作るという選択肢
• increase	capabilities
• 運⽤コスト削減
• パブリッククラウドの IaaS	環境で HBase	を効率的に動かすため
の提案
• HFile	を Amazon	S3	や Google	Cloud Storage に保存し、WAL	(Write	
Ahead	Log) を Apache	Ratis をベースとした LogService に実装を置
き換えることで HDFS	の依存をなくす
Evolving	HBase	in	the	Cloud
• IaaS	の⼀般的な料⾦体系は稼働時間に対しての従量課⾦
• 料⾦を安くするために、Amazon	EC2	ではスポットインスタンス
がある
• スポットインスタンスを使⽤することで料⾦はかなり安くなる
が、AWS	の都合でインスタンスが終了させられてしまうことが
ある
• スポットインスタンスでHDFS	を運⽤する場合
• DataNodeが落ちると、ブロックのコピーが発⽣してしまう
• AWS	がスポットインスタンスを終了する前に通知がくるが、それから
デコミッションをしても間に合わない
Evolving	HBase	in	the	Cloud
• Amazon	EBS	(Elastic	Block	Store)	や Google Persistent	Storage	を使っ
たらデータロス・コピーは防げるが、料⾦が(かなり)⾼くなっ
てしまうことがある
• Amazon	EBS	(Elastic	Block	Store)	や Google Persistent	Storage	は使⽤容量に
対して課⾦
• Amazon	S3	や Google	Cloud	Storage	等の分散ストレージ
• データアクセスに対して課⾦
• Amazon	EBS	や Google Persistent	Storage	と⽐べて安い
• しかし、 Amazon	S3	や Google	Cloud	Storage	は整合性モデルが
HBase	にフィットしない
• WALの書き込みに、fsync (HDFSだとhflush/hsync)	が必要
• ちなみに、Azure	Blog	Storage/Azure	Data	Lake	は fsync がある
Evolving	HBase	in	the	Cloud
• HBase	は、HFile	と WAL	を HDFS	に保存している
• HFile:データファイル。イミュータブルでキャッシュ可能
• WAL:⽐較的⼩さい。short-lived,	sub-second	durability	requirements
HDFS
HFile
HFile
HFile
WAL
RegionServerPuts Memstore
Flush
Evolving	HBase	in	the	Cloud
• HFile	を保存するのに S3	(with	S3Guard)	を使うことができるが、
WAL	には使えない
• HBase	を Iaas 上で運⽤していくために理想的なソリューションは
• WAL	のために HDFS	を必要としない
• コストが低いスポットインスタンスが使える
• ⾼価な EBS,	Google Persistent	Storage	などを使わなくて良い
• HDFSを置き換える場合には、運⽤が⼤変なので、新しいシステム
をデプロイする必要のないようなものに置き換えるのが望ましい
Evolving	HBase	in	the	Cloud
• Apache	Ratis
• Apache	Software	Foundation	のインキュベータプロジェクト
• RAFT	プロトコルの Java	実装
• Apache	Hadoop	Ozone	でも使われている
• Ratis を使って WAL	の実装を置き換えることで HDFS	の依存をなくす
• WAL	の実装を置き換えるためには
• traversalable queue	(FIFO)	が必要
• constant-time	append	complexity
• linear-time	traversal
• sub-linear	seek	to	an	arbitrary	offset
Evolving	HBase	in	the	Cloud
• Ratis 以外の選択肢としては、Kafka	と DistributedLog がある
• 両⽅とも HBase	の WAL	で必要な要件を備えている
• しかし、両⽅とも別デーモンを⽴ち上げる必要があり運⽤コストがあ
がる
• Ratis はライブラリとして提供されていてスタンドアロンなデー
モンを⽴ち上げる必要がない
• Ratis LogService
• Kafka	や DistributedLog と同じような API	を持つ必要がある
• Ratis LogSerivce のコードは HBase	から完全に切り離す
• Ratis 側で開発
Evolving	HBase	in	the	Cloud
• 並⾏に2フェーズに分けて進めていく予定
1. Ratis LogService 実装を進める(RATIS-271)
2. HBase	に WAL	の抽象化レイヤをいれる(HBASE-20952)
• HDFS	への依存を排除。HDFS	も WAL	実装の1つという扱いにできる
• Ratis LogService 以外にも Kafka	や DistributedLog の実装も可能になる
Evolving	HBase	in	the	Cloud
• イメージ図
RegionServer1
ReginoServer2
New	WAL	API
Ratis LogService
Amazon	S3/Google Cloud	Storage
ReginoServer3
Flush
Memstore
WAL
Storage
WAL
Storage
WAL
Storage
Puts
HFile
HFile
HFile
RAFT
Evolving	HBase	in	the	Cloud
• 現在のステータス
• WAL	API	のリファクタリング中
• WAL	API	の変更は影響範囲が⼤きい
• ⼀部、FS	に依存した作りがある
• Ratis 側の変更も進⾏中
HBase	on	Persistent	Memory
• HBASE-20003	WALLess	HBase	on	Persistent	Memory
• HBase を Persistent	Memory	を使うように変更する提案
• Intel	のエンジニアが中⼼に開発
• Persistent	Memory	を使うことによって WAL	が必要なくなる
• データの Availability	のために、Region	のレプリケーションをする
• 現在の Region	Replica	を少し変更
HBase	on	Persistent	Memory
• 現在のHBaseのモデルは
• 書き込まれたデータを Memstore (メモリ上)	に
蓄積する
• Sorted	Map
• 実際のデータは MSLAB	(図ではLABs)	に配置される
• 同時にWAL	にも書き込む
• クラッシュ時にメモリ上のデータを復旧するため
• ここでHDFSのhflush/hsyncを発⾏するため多少レイ
テンシが上がる
• Memstore のサイズがしきい値を超えたら HDFS	
に flush	される
• サーバクラッシュ時に WAL	をリプレイ
• リプレイが終わるまでデータにアクセスできない
• ⼤きなクラスタだと数分かかる場合もある
HBase	on	Persistent	Memory
• Region	Replica
• primary	region	とリードオンリーな replica	region	
を他のRegionServerに配置する機能
• replica	region	は同じ HFile	を参照する
• Memstore のデータはレプリケーションされる
• WAL	を使⽤
• ⾮同期で更新される
• primary region を持つ RegionServer	がダウンして
も replica	region	を参照できる (TIMELINE	
Consistency)
• 古いデータが⾒える場合がある
• Availability	は良くなるが、 Consistency	が弱くな
るのでユースケースに合わせて使⽤すべき
HBase	on	Persistent	Memory
• Persistent Memory テクノロジー
• 不揮発性メモリ (NVM)	の⼀種
• 電源が落ちてもデータが消えないメモリ
• 3D	XPoint
• Intel	と Micron	Technology	による新しい NVM	テクノロジー
• DRAM	よりもアクセス速度はやや遅いながらも、容量当たりの価格は DRAM	より
も安い
HBase	on	Persistent	Memory
• Persistent	Memory	を採⽤後のモデル
• MSLAB	(図ではLABs)	をPersistent	Memory	(
図では Pmem)	上に配置する
• Region	Replica	を他のRegionServerに配置
• 現在の Region	Replica	は⾮同期なので、同期的
に更新するように変更する (Pipeline	モデル)
• WAL	は書かない
• サーバクラッシュ時には
• primary	region	を即座にスイッチする
• replica	region	は(正常時には)常に同期が取れて
いる
• 完全にクラスタがダウンした際には、
Persistent	Memory	上のデータから Memstore
(Sorted	Map	部分)を復旧
HBase	on	Persistent	Memory
• Region のレプリケーション (Pipeline	モデル)
HBase	on	Persistent	Memory
• メリット
• 書き込みが速くなる
• WAL	への書き込みがなくなる
• パフォーマンステストの結果によるとスループットが2倍以上になった
• クラッシュ時の復旧時間 (MTTR)	が短くなる
• WAL	からの復旧が必要なくなる
• Memstore のサイズを⼤きくできる
• 通常は、DRAM	より Persistent	Memory	のほうが容量が⼤きい
• Memstore の Flush	を減らすことができて、さらに HFile	の Compaction	も減らすこ
とができる
HBase	on	Persistent	Memory
• 現在のステータス
• 現時点ではパッチは公開されてない
• Intel	内部で PoC はされている
• Write	Path	と Read	path	のコード変更は完了
• WAL	を使った機能 (クラスタレプリケーション、バックアップ)	につい
てはまだ未実装
その他の最新情報
• HBCK	version	2
• HBASE-19121 HBCK	for AMv2	(A.K.A	HBCK2)
• HBCK	v1	は Assignment	Manager	v1	専⽤なので、 Assignment	Manager	v2	
⽤に HBCK	v2	を開発する必要があった
• レポジトリは分けて開発されている
• https://github.com/apache/hbase-operator-tools
• 最新の HBase	2.0,	2.1	には⼊っている
その他の最新情報
• CCSMap:	A	faster,	GC-friendly,	less	memory	Concurrent	Map	for	
memstore
• HBASE-20312	CCSMap:	A	faster,	GC-friendly,	less	memory	Concurrent	Map	for	
memstore
• Alibaba	のエンジニアによって開発中
• Memstore に Java	の ConcurrentSkipListMap を使っていたが、CCSMap
(CompactdConcurrentSkipListMap)	というデータ構造を使うように変更す
るという提案
• ConcurrentSkipListMap は GC-unfriendly	でオーバヘッドが⼤きい。メモリフラグメ
ントも起きやすい
• CCSMap は データ (key-value)	が⼊る際の⽣成されるオブジェクトの数が少ない
その他の最新情報
• Synchronous	Replication	for	HBase
• HBASE-19064 Synchronous	replication	for	Hbase
• HBASE-20422 Synchronous	replication	for	HBase	phase	II
• もともとは、Alibaba	で開発されたものを HBase	へ実装
• hbaseconasia2017:	Synchronous	Replication	for	HBase
• https://www.slideshare.net/HBaseCon/synchronous-replication-for-hbase
• これまでのレプリケーションは⾮同期
• マスタクラスタがダウンしてしまった場合に、スレーブクラスタが最新状態とは
限らない
• 同期レプリケーションにする
• 通常の⾮同期レプリケーションをしながら、書き込み時に WAL	をスレーブクラ
スタ側のHDFSにも書き込む (remote	WAL)
• マスタクラスタがダウンして、スレーブクラスタをアクティブとして⽴ち上げる
ときに、remote	WAL	をリプレイすることで最新状態になる
• レプリケーションが完了したら、必要のない remote	WALは削除される
その他の最新情報
• Heatmap for	key access patterns
• HBASE-21301 Heatmap	for	key	access	patterns
• Cloud	Bigtable の Key	Visualizer	をHBaseでも実装しようという提案
• 現在、開発中
Cloud	Bigtable の Key	Visualizer
まとめ
• HBase	2.0	のおさらい
• HBase	の最新情報
• Evolving	HBase	in	the	Cloud
• HBase	を IaaS	環境上で効率的に
• HBase	on	Persistent	Memory
• HBase	を Persistent	Memory	を使うように
• その他の最新情報
• HBCK	version	2
• CCSMap:	A	faster,	GC-friendly,	less	memory	Concurrent	Map	for	memstore
• Synchronous	Replication	for	HBase
• Heatmap for	key access patterns
ご清聴ありがとうございました

More Related Content

What's hot

HBaseを用いたグラフDB「Hornet」の設計と運用
HBaseを用いたグラフDB「Hornet」の設計と運用HBaseを用いたグラフDB「Hornet」の設計と運用
HBaseを用いたグラフDB「Hornet」の設計と運用Toshihiro Suzuki
 
HDFS HA セミナー #hadoop
HDFS HA セミナー #hadoopHDFS HA セミナー #hadoop
HDFS HA セミナー #hadoopCloudera Japan
 
Evolution of Impala #hcj2014
Evolution of Impala #hcj2014Evolution of Impala #hcj2014
Evolution of Impala #hcj2014Cloudera Japan
 
Cloudera Manager 5 (hadoop運用) #cwt2013
Cloudera Manager 5 (hadoop運用)  #cwt2013Cloudera Manager 5 (hadoop運用)  #cwt2013
Cloudera Manager 5 (hadoop運用) #cwt2013Cloudera Japan
 
Introduction to Impala ~Hadoop用のSQLエンジン~ #hcj13w
Introduction to Impala ~Hadoop用のSQLエンジン~ #hcj13wIntroduction to Impala ~Hadoop用のSQLエンジン~ #hcj13w
Introduction to Impala ~Hadoop用のSQLエンジン~ #hcj13wCloudera Japan
 
Impala データサイエンティストのための 高速大規模分散基盤 #tokyowebmining
Impala データサイエンティストのための 高速大規模分散基盤 #tokyowebminingImpala データサイエンティストのための 高速大規模分散基盤 #tokyowebmining
Impala データサイエンティストのための 高速大規模分散基盤 #tokyowebminingSho Shimauchi
 
100億超メッセージ/日のサービスを 支えるHBase運用におけるチャレンジ
100億超メッセージ/日のサービスを 支えるHBase運用におけるチャレンジ100億超メッセージ/日のサービスを 支えるHBase運用におけるチャレンジ
100億超メッセージ/日のサービスを 支えるHBase運用におけるチャレンジLINE Corporation
 
Cloudera大阪セミナー 20130219
Cloudera大阪セミナー 20130219Cloudera大阪セミナー 20130219
Cloudera大阪セミナー 20130219Cloudera Japan
 
Cloudera impalaの性能評価(Hiveとの比較)
Cloudera impalaの性能評価(Hiveとの比較)Cloudera impalaの性能評価(Hiveとの比較)
Cloudera impalaの性能評価(Hiveとの比較)Yukinori Suda
 
Kuduを調べてみた #dogenzakalt
Kuduを調べてみた #dogenzakaltKuduを調べてみた #dogenzakalt
Kuduを調べてみた #dogenzakaltToshihiro Suzuki
 
マルチテナント Hadoop クラスタのためのモニタリング Best Practice
マルチテナント Hadoop クラスタのためのモニタリング Best Practiceマルチテナント Hadoop クラスタのためのモニタリング Best Practice
マルチテナント Hadoop クラスタのためのモニタリング Best PracticeHadoop / Spark Conference Japan
 
Impala 2.0 Update 日本語版 #impalajp
Impala 2.0 Update 日本語版 #impalajpImpala 2.0 Update 日本語版 #impalajp
Impala 2.0 Update 日本語版 #impalajpCloudera Japan
 
Hive-sub-second-sql-on-hadoop-public
Hive-sub-second-sql-on-hadoop-publicHive-sub-second-sql-on-hadoop-public
Hive-sub-second-sql-on-hadoop-publicYifeng Jiang
 
[db tech showcase Tokyo 2016] A32: Oracle脳で考えるSQL Server運用 by 株式会社インサイトテクノロジー...
[db tech showcase Tokyo 2016] A32: Oracle脳で考えるSQL Server運用 by 株式会社インサイトテクノロジー...[db tech showcase Tokyo 2016] A32: Oracle脳で考えるSQL Server運用 by 株式会社インサイトテクノロジー...
[db tech showcase Tokyo 2016] A32: Oracle脳で考えるSQL Server運用 by 株式会社インサイトテクノロジー...Insight Technology, Inc.
 
20190314 PGStrom Arrow_Fdw
20190314 PGStrom Arrow_Fdw20190314 PGStrom Arrow_Fdw
20190314 PGStrom Arrow_FdwKohei KaiGai
 
CDH4.1オーバービュー
CDH4.1オーバービューCDH4.1オーバービュー
CDH4.1オーバービューCloudera Japan
 
HBase×Impalaで作るアドテク 「GMOプライベートDMP」@HBaseMeetupTokyo2015Summer
HBase×Impalaで作るアドテク「GMOプライベートDMP」@HBaseMeetupTokyo2015SummerHBase×Impalaで作るアドテク「GMOプライベートDMP」@HBaseMeetupTokyo2015Summer
HBase×Impalaで作るアドテク 「GMOプライベートDMP」@HBaseMeetupTokyo2015SummerMichio Katano
 

What's hot (20)

HDFS Deep Dive
HDFS Deep DiveHDFS Deep Dive
HDFS Deep Dive
 
HBaseを用いたグラフDB「Hornet」の設計と運用
HBaseを用いたグラフDB「Hornet」の設計と運用HBaseを用いたグラフDB「Hornet」の設計と運用
HBaseを用いたグラフDB「Hornet」の設計と運用
 
HDFS HA セミナー #hadoop
HDFS HA セミナー #hadoopHDFS HA セミナー #hadoop
HDFS HA セミナー #hadoop
 
Evolution of Impala #hcj2014
Evolution of Impala #hcj2014Evolution of Impala #hcj2014
Evolution of Impala #hcj2014
 
Hiveを高速化するLLAP
Hiveを高速化するLLAPHiveを高速化するLLAP
Hiveを高速化するLLAP
 
Cloudera Manager 5 (hadoop運用) #cwt2013
Cloudera Manager 5 (hadoop運用)  #cwt2013Cloudera Manager 5 (hadoop運用)  #cwt2013
Cloudera Manager 5 (hadoop運用) #cwt2013
 
Introduction to Impala ~Hadoop用のSQLエンジン~ #hcj13w
Introduction to Impala ~Hadoop用のSQLエンジン~ #hcj13wIntroduction to Impala ~Hadoop用のSQLエンジン~ #hcj13w
Introduction to Impala ~Hadoop用のSQLエンジン~ #hcj13w
 
Impala データサイエンティストのための 高速大規模分散基盤 #tokyowebmining
Impala データサイエンティストのための 高速大規模分散基盤 #tokyowebminingImpala データサイエンティストのための 高速大規模分散基盤 #tokyowebmining
Impala データサイエンティストのための 高速大規模分散基盤 #tokyowebmining
 
100億超メッセージ/日のサービスを 支えるHBase運用におけるチャレンジ
100億超メッセージ/日のサービスを 支えるHBase運用におけるチャレンジ100億超メッセージ/日のサービスを 支えるHBase運用におけるチャレンジ
100億超メッセージ/日のサービスを 支えるHBase運用におけるチャレンジ
 
Cloudera大阪セミナー 20130219
Cloudera大阪セミナー 20130219Cloudera大阪セミナー 20130219
Cloudera大阪セミナー 20130219
 
Cloudera impalaの性能評価(Hiveとの比較)
Cloudera impalaの性能評価(Hiveとの比較)Cloudera impalaの性能評価(Hiveとの比較)
Cloudera impalaの性能評価(Hiveとの比較)
 
Kuduを調べてみた #dogenzakalt
Kuduを調べてみた #dogenzakaltKuduを調べてみた #dogenzakalt
Kuduを調べてみた #dogenzakalt
 
マルチテナント Hadoop クラスタのためのモニタリング Best Practice
マルチテナント Hadoop クラスタのためのモニタリング Best Practiceマルチテナント Hadoop クラスタのためのモニタリング Best Practice
マルチテナント Hadoop クラスタのためのモニタリング Best Practice
 
Impala 2.0 Update 日本語版 #impalajp
Impala 2.0 Update 日本語版 #impalajpImpala 2.0 Update 日本語版 #impalajp
Impala 2.0 Update 日本語版 #impalajp
 
Hive-sub-second-sql-on-hadoop-public
Hive-sub-second-sql-on-hadoop-publicHive-sub-second-sql-on-hadoop-public
Hive-sub-second-sql-on-hadoop-public
 
HBase at Ameba
HBase at AmebaHBase at Ameba
HBase at Ameba
 
[db tech showcase Tokyo 2016] A32: Oracle脳で考えるSQL Server運用 by 株式会社インサイトテクノロジー...
[db tech showcase Tokyo 2016] A32: Oracle脳で考えるSQL Server運用 by 株式会社インサイトテクノロジー...[db tech showcase Tokyo 2016] A32: Oracle脳で考えるSQL Server運用 by 株式会社インサイトテクノロジー...
[db tech showcase Tokyo 2016] A32: Oracle脳で考えるSQL Server運用 by 株式会社インサイトテクノロジー...
 
20190314 PGStrom Arrow_Fdw
20190314 PGStrom Arrow_Fdw20190314 PGStrom Arrow_Fdw
20190314 PGStrom Arrow_Fdw
 
CDH4.1オーバービュー
CDH4.1オーバービューCDH4.1オーバービュー
CDH4.1オーバービュー
 
HBase×Impalaで作るアドテク 「GMOプライベートDMP」@HBaseMeetupTokyo2015Summer
HBase×Impalaで作るアドテク「GMOプライベートDMP」@HBaseMeetupTokyo2015SummerHBase×Impalaで作るアドテク「GMOプライベートDMP」@HBaseMeetupTokyo2015Summer
HBase×Impalaで作るアドテク 「GMOプライベートDMP」@HBaseMeetupTokyo2015Summer
 

Similar to 第25回 Hadoopソースコードリーディング 「HBase 最新情報」

sparksql-hive-bench-by-nec-hwx-at-hcj16
sparksql-hive-bench-by-nec-hwx-at-hcj16sparksql-hive-bench-by-nec-hwx-at-hcj16
sparksql-hive-bench-by-nec-hwx-at-hcj16Yifeng Jiang
 
2014-07-26 Exploration into HDInsight Tuning Maniax 2014 Hadoopコース参戦記
2014-07-26 Exploration into HDInsight Tuning Maniax 2014 Hadoopコース参戦記2014-07-26 Exploration into HDInsight Tuning Maniax 2014 Hadoopコース参戦記
2014-07-26 Exploration into HDInsight Tuning Maniax 2014 Hadoopコース参戦記Yoshiyuki Nakamura
 
Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017
Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017
Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017Cloudera Japan
 
Hadoop Trends & Hadoop on EC2
Hadoop Trends & Hadoop on EC2Hadoop Trends & Hadoop on EC2
Hadoop Trends & Hadoop on EC2Yifeng Jiang
 
Hadoopビッグデータ基盤の歴史を振り返る #cwt2015
Hadoopビッグデータ基盤の歴史を振り返る #cwt2015Hadoopビッグデータ基盤の歴史を振り返る #cwt2015
Hadoopビッグデータ基盤の歴史を振り返る #cwt2015Cloudera Japan
 
HBase Across the World #LINE_DM
HBase Across the World #LINE_DMHBase Across the World #LINE_DM
HBase Across the World #LINE_DMCloudera Japan
 
TokyoWebminig カジュアルなHadoop
TokyoWebminig カジュアルなHadoopTokyoWebminig カジュアルなHadoop
TokyoWebminig カジュアルなHadoopTeruo Kawasaki
 
ATN No.1 MapReduceだけでない!? Hadoopとその仲間たち
ATN No.1 MapReduceだけでない!? Hadoopとその仲間たちATN No.1 MapReduceだけでない!? Hadoopとその仲間たち
ATN No.1 MapReduceだけでない!? Hadoopとその仲間たちAdvancedTechNight
 
Osc2012 spring HBase Report
Osc2012 spring HBase ReportOsc2012 spring HBase Report
Osc2012 spring HBase ReportSeiichiro Ishida
 
Apache Hadoop の現在と将来(Hadoop / Spark Conference Japan 2016 キーノート講演資料)
Apache Hadoop の現在と将来(Hadoop / Spark Conference Japan 2016 キーノート講演資料)Apache Hadoop の現在と将来(Hadoop / Spark Conference Japan 2016 キーノート講演資料)
Apache Hadoop の現在と将来(Hadoop / Spark Conference Japan 2016 キーノート講演資料)Hadoop / Spark Conference Japan
 
NHN techcon-20120519-fujimoto
NHN techcon-20120519-fujimotoNHN techcon-20120519-fujimoto
NHN techcon-20120519-fujimotoMasaki Fujimoto
 
Impala概要 道玄坂LT祭り 20150312 #dogenzakalt
Impala概要 道玄坂LT祭り 20150312 #dogenzakaltImpala概要 道玄坂LT祭り 20150312 #dogenzakalt
Impala概要 道玄坂LT祭り 20150312 #dogenzakaltCloudera Japan
 
Hadoop summit 2012 report
Hadoop summit 2012 reportHadoop summit 2012 report
Hadoop summit 2012 reportSho Shimauchi
 

Similar to 第25回 Hadoopソースコードリーディング 「HBase 最新情報」 (20)

HBaseCon 2012 参加レポート
HBaseCon 2012 参加レポートHBaseCon 2012 参加レポート
HBaseCon 2012 参加レポート
 
sparksql-hive-bench-by-nec-hwx-at-hcj16
sparksql-hive-bench-by-nec-hwx-at-hcj16sparksql-hive-bench-by-nec-hwx-at-hcj16
sparksql-hive-bench-by-nec-hwx-at-hcj16
 
2014-07-26 Exploration into HDInsight Tuning Maniax 2014 Hadoopコース参戦記
2014-07-26 Exploration into HDInsight Tuning Maniax 2014 Hadoopコース参戦記2014-07-26 Exploration into HDInsight Tuning Maniax 2014 Hadoopコース参戦記
2014-07-26 Exploration into HDInsight Tuning Maniax 2014 Hadoopコース参戦記
 
Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017
Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017
Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017
 
Hadoop Trends & Hadoop on EC2
Hadoop Trends & Hadoop on EC2Hadoop Trends & Hadoop on EC2
Hadoop Trends & Hadoop on EC2
 
Hadoopビッグデータ基盤の歴史を振り返る #cwt2015
Hadoopビッグデータ基盤の歴史を振り返る #cwt2015Hadoopビッグデータ基盤の歴史を振り返る #cwt2015
Hadoopビッグデータ基盤の歴史を振り返る #cwt2015
 
The truth about SQL and Data Warehousing on Hadoop
The truth about SQL and Data Warehousing on HadoopThe truth about SQL and Data Warehousing on Hadoop
The truth about SQL and Data Warehousing on Hadoop
 
HBase Across the World #LINE_DM
HBase Across the World #LINE_DMHBase Across the World #LINE_DM
HBase Across the World #LINE_DM
 
Hadoop Summit 2016 San Jose ストリーム処理関連の報告 #streamctjp
Hadoop Summit 2016 San Jose ストリーム処理関連の報告 #streamctjpHadoop Summit 2016 San Jose ストリーム処理関連の報告 #streamctjp
Hadoop Summit 2016 San Jose ストリーム処理関連の報告 #streamctjp
 
TokyoWebminig カジュアルなHadoop
TokyoWebminig カジュアルなHadoopTokyoWebminig カジュアルなHadoop
TokyoWebminig カジュアルなHadoop
 
ATN No.1 MapReduceだけでない!? Hadoopとその仲間たち
ATN No.1 MapReduceだけでない!? Hadoopとその仲間たちATN No.1 MapReduceだけでない!? Hadoopとその仲間たち
ATN No.1 MapReduceだけでない!? Hadoopとその仲間たち
 
OSC2014 Tokyo/Spring Hadoop
OSC2014 Tokyo/Spring HadoopOSC2014 Tokyo/Spring Hadoop
OSC2014 Tokyo/Spring Hadoop
 
Osc2012 spring HBase Report
Osc2012 spring HBase ReportOsc2012 spring HBase Report
Osc2012 spring HBase Report
 
Apache Hadoop の現在と将来(Hadoop / Spark Conference Japan 2016 キーノート講演資料)
Apache Hadoop の現在と将来(Hadoop / Spark Conference Japan 2016 キーノート講演資料)Apache Hadoop の現在と将来(Hadoop / Spark Conference Japan 2016 キーノート講演資料)
Apache Hadoop の現在と将来(Hadoop / Spark Conference Japan 2016 キーノート講演資料)
 
NHN techcon-20120519-fujimoto
NHN techcon-20120519-fujimotoNHN techcon-20120519-fujimoto
NHN techcon-20120519-fujimoto
 
Couchbaseの紹介 2015/03/05
Couchbaseの紹介 2015/03/05Couchbaseの紹介 2015/03/05
Couchbaseの紹介 2015/03/05
 
Java Clientで入門する Apache Kafka #jjug_ccc #ccc_e2
Java Clientで入門する Apache Kafka #jjug_ccc #ccc_e2Java Clientで入門する Apache Kafka #jjug_ccc #ccc_e2
Java Clientで入門する Apache Kafka #jjug_ccc #ccc_e2
 
Impala概要 道玄坂LT祭り 20150312 #dogenzakalt
Impala概要 道玄坂LT祭り 20150312 #dogenzakaltImpala概要 道玄坂LT祭り 20150312 #dogenzakalt
Impala概要 道玄坂LT祭り 20150312 #dogenzakalt
 
Osdt s3
Osdt s3Osdt s3
Osdt s3
 
Hadoop summit 2012 report
Hadoop summit 2012 reportHadoop summit 2012 report
Hadoop summit 2012 report
 

More from Toshihiro Suzuki

Apache HBaseの現在 - 火山と呼ばれたHBaseは今どうなっているのか
Apache HBaseの現在 - 火山と呼ばれたHBaseは今どうなっているのかApache HBaseの現在 - 火山と呼ばれたHBaseは今どうなっているのか
Apache HBaseの現在 - 火山と呼ばれたHBaseは今どうなっているのかToshihiro Suzuki
 
HDP ハンズオンセミナー
HDP ハンズオンセミナーHDP ハンズオンセミナー
HDP ハンズオンセミナーToshihiro Suzuki
 
HBaseを用いたグラフDB「Hornet」
HBaseを用いたグラフDB「Hornet」HBaseを用いたグラフDB「Hornet」
HBaseを用いたグラフDB「Hornet」Toshihiro Suzuki
 
HBaseでグラフ構造を扱う(開発中)
HBaseでグラフ構造を扱う(開発中)HBaseでグラフ構造を扱う(開発中)
HBaseでグラフ構造を扱う(開発中)Toshihiro Suzuki
 
Amebaサービスのログ解析基盤
Amebaサービスのログ解析基盤Amebaサービスのログ解析基盤
Amebaサービスのログ解析基盤Toshihiro Suzuki
 
MySQLによってタフになる会12章
MySQLによってタフになる会12章MySQLによってタフになる会12章
MySQLによってタフになる会12章Toshihiro Suzuki
 
第2回 Hadoop 輪読会
第2回 Hadoop 輪読会第2回 Hadoop 輪読会
第2回 Hadoop 輪読会Toshihiro Suzuki
 

More from Toshihiro Suzuki (7)

Apache HBaseの現在 - 火山と呼ばれたHBaseは今どうなっているのか
Apache HBaseの現在 - 火山と呼ばれたHBaseは今どうなっているのかApache HBaseの現在 - 火山と呼ばれたHBaseは今どうなっているのか
Apache HBaseの現在 - 火山と呼ばれたHBaseは今どうなっているのか
 
HDP ハンズオンセミナー
HDP ハンズオンセミナーHDP ハンズオンセミナー
HDP ハンズオンセミナー
 
HBaseを用いたグラフDB「Hornet」
HBaseを用いたグラフDB「Hornet」HBaseを用いたグラフDB「Hornet」
HBaseを用いたグラフDB「Hornet」
 
HBaseでグラフ構造を扱う(開発中)
HBaseでグラフ構造を扱う(開発中)HBaseでグラフ構造を扱う(開発中)
HBaseでグラフ構造を扱う(開発中)
 
Amebaサービスのログ解析基盤
Amebaサービスのログ解析基盤Amebaサービスのログ解析基盤
Amebaサービスのログ解析基盤
 
MySQLによってタフになる会12章
MySQLによってタフになる会12章MySQLによってタフになる会12章
MySQLによってタフになる会12章
 
第2回 Hadoop 輪読会
第2回 Hadoop 輪読会第2回 Hadoop 輪読会
第2回 Hadoop 輪読会
 

Recently uploaded

IGDA Japan SIG Audio #22 オンラインセミナー VRの知る.pdf
IGDA Japan SIG Audio #22 オンラインセミナー VRの知る.pdfIGDA Japan SIG Audio #22 オンラインセミナー VRの知る.pdf
IGDA Japan SIG Audio #22 オンラインセミナー VRの知る.pdfIGDA Japan SIG-Audio
 
チームで開発するための環境を整える
チームで開発するための環境を整えるチームで開発するための環境を整える
チームで開発するための環境を整えるonozaty
 
SIG-AUDIO 2024 Vol.02 オンラインセミナー 「必殺使音人(ひっさつしおとにん)カットシーンを成敗せよ」
SIG-AUDIO 2024 Vol.02 オンラインセミナー 「必殺使音人(ひっさつしおとにん)カットシーンを成敗せよ」SIG-AUDIO 2024 Vol.02 オンラインセミナー 「必殺使音人(ひっさつしおとにん)カットシーンを成敗せよ」
SIG-AUDIO 2024 Vol.02 オンラインセミナー 「必殺使音人(ひっさつしおとにん)カットシーンを成敗せよ」IGDA Japan SIG-Audio
 
JAWS DAYS 2024 E-3 ランチにまつわるちょっといい話 〜給食がない町の小中学生に温かい昼食を〜
JAWS DAYS 2024 E-3 ランチにまつわるちょっといい話 〜給食がない町の小中学生に温かい昼食を〜JAWS DAYS 2024 E-3 ランチにまつわるちょっといい話 〜給食がない町の小中学生に温かい昼食を〜
JAWS DAYS 2024 E-3 ランチにまつわるちょっといい話 〜給食がない町の小中学生に温かい昼食を〜Naomi Yamasaki
 
これからはじめるAnsible - Ansible Night Tokyo 2024
これからはじめるAnsible - Ansible Night Tokyo 2024これからはじめるAnsible - Ansible Night Tokyo 2024
これからはじめるAnsible - Ansible Night Tokyo 2024Hideki Saito
 
バイオリンの運弓動作計測による初心者と経験者の差異分析
バイオリンの運弓動作計測による初心者と経験者の差異分析バイオリンの運弓動作計測による初心者と経験者の差異分析
バイオリンの運弓動作計測による初心者と経験者の差異分析sugiuralab
 
The 86th National Convention of IPSJ (Student Encouragement Award))
The 86th National Convention of IPSJ (Student Encouragement Award))The 86th National Convention of IPSJ (Student Encouragement Award))
The 86th National Convention of IPSJ (Student Encouragement Award))yoshidakids7
 
AWS Lambdaと AWS API Gatewayを使ったREST API作り
AWS Lambdaと AWS API Gatewayを使ったREST API作りAWS Lambdaと AWS API Gatewayを使ったREST API作り
AWS Lambdaと AWS API Gatewayを使ったREST API作りiPride Co., Ltd.
 
キンドリル_ネットワーク自動化成熟度診断サービス ご紹介資料 2024年3月版
キンドリル_ネットワーク自動化成熟度診断サービス ご紹介資料 2024年3月版キンドリル_ネットワーク自動化成熟度診断サービス ご紹介資料 2024年3月版
キンドリル_ネットワーク自動化成熟度診断サービス ご紹介資料 2024年3月版Takayuki Nakayama
 
00001_test_automation_portfolio_20240313
00001_test_automation_portfolio_2024031300001_test_automation_portfolio_20240313
00001_test_automation_portfolio_20240313ssuserf8ea02
 
AWS_Bedrock入門 このスライドは2024/03/08の勉強会で発表されたものです。
AWS_Bedrock入門 このスライドは2024/03/08の勉強会で発表されたものです。AWS_Bedrock入門 このスライドは2024/03/08の勉強会で発表されたものです。
AWS_Bedrock入門 このスライドは2024/03/08の勉強会で発表されたものです。iPride Co., Ltd.
 
キャラで動かすGPT ~GPTsでどんな感じに作っているとか考えていることとか~
キャラで動かすGPT ~GPTsでどんな感じに作っているとか考えていることとか~キャラで動かすGPT ~GPTsでどんな感じに作っているとか考えていることとか~
キャラで動かすGPT ~GPTsでどんな感じに作っているとか考えていることとか~honeshabri
 

Recently uploaded (12)

IGDA Japan SIG Audio #22 オンラインセミナー VRの知る.pdf
IGDA Japan SIG Audio #22 オンラインセミナー VRの知る.pdfIGDA Japan SIG Audio #22 オンラインセミナー VRの知る.pdf
IGDA Japan SIG Audio #22 オンラインセミナー VRの知る.pdf
 
チームで開発するための環境を整える
チームで開発するための環境を整えるチームで開発するための環境を整える
チームで開発するための環境を整える
 
SIG-AUDIO 2024 Vol.02 オンラインセミナー 「必殺使音人(ひっさつしおとにん)カットシーンを成敗せよ」
SIG-AUDIO 2024 Vol.02 オンラインセミナー 「必殺使音人(ひっさつしおとにん)カットシーンを成敗せよ」SIG-AUDIO 2024 Vol.02 オンラインセミナー 「必殺使音人(ひっさつしおとにん)カットシーンを成敗せよ」
SIG-AUDIO 2024 Vol.02 オンラインセミナー 「必殺使音人(ひっさつしおとにん)カットシーンを成敗せよ」
 
JAWS DAYS 2024 E-3 ランチにまつわるちょっといい話 〜給食がない町の小中学生に温かい昼食を〜
JAWS DAYS 2024 E-3 ランチにまつわるちょっといい話 〜給食がない町の小中学生に温かい昼食を〜JAWS DAYS 2024 E-3 ランチにまつわるちょっといい話 〜給食がない町の小中学生に温かい昼食を〜
JAWS DAYS 2024 E-3 ランチにまつわるちょっといい話 〜給食がない町の小中学生に温かい昼食を〜
 
これからはじめるAnsible - Ansible Night Tokyo 2024
これからはじめるAnsible - Ansible Night Tokyo 2024これからはじめるAnsible - Ansible Night Tokyo 2024
これからはじめるAnsible - Ansible Night Tokyo 2024
 
バイオリンの運弓動作計測による初心者と経験者の差異分析
バイオリンの運弓動作計測による初心者と経験者の差異分析バイオリンの運弓動作計測による初心者と経験者の差異分析
バイオリンの運弓動作計測による初心者と経験者の差異分析
 
The 86th National Convention of IPSJ (Student Encouragement Award))
The 86th National Convention of IPSJ (Student Encouragement Award))The 86th National Convention of IPSJ (Student Encouragement Award))
The 86th National Convention of IPSJ (Student Encouragement Award))
 
AWS Lambdaと AWS API Gatewayを使ったREST API作り
AWS Lambdaと AWS API Gatewayを使ったREST API作りAWS Lambdaと AWS API Gatewayを使ったREST API作り
AWS Lambdaと AWS API Gatewayを使ったREST API作り
 
キンドリル_ネットワーク自動化成熟度診断サービス ご紹介資料 2024年3月版
キンドリル_ネットワーク自動化成熟度診断サービス ご紹介資料 2024年3月版キンドリル_ネットワーク自動化成熟度診断サービス ご紹介資料 2024年3月版
キンドリル_ネットワーク自動化成熟度診断サービス ご紹介資料 2024年3月版
 
00001_test_automation_portfolio_20240313
00001_test_automation_portfolio_2024031300001_test_automation_portfolio_20240313
00001_test_automation_portfolio_20240313
 
AWS_Bedrock入門 このスライドは2024/03/08の勉強会で発表されたものです。
AWS_Bedrock入門 このスライドは2024/03/08の勉強会で発表されたものです。AWS_Bedrock入門 このスライドは2024/03/08の勉強会で発表されたものです。
AWS_Bedrock入門 このスライドは2024/03/08の勉強会で発表されたものです。
 
キャラで動かすGPT ~GPTsでどんな感じに作っているとか考えていることとか~
キャラで動かすGPT ~GPTsでどんな感じに作っているとか考えていることとか~キャラで動かすGPT ~GPTsでどんな感じに作っているとか考えていることとか~
キャラで動かすGPT ~GPTsでどんな感じに作っているとか考えていることとか~
 

第25回 Hadoopソースコードリーディング 「HBase 最新情報」