Submit Search
Upload
分散ファイルシステムGfarm上でのHadoop MapReduce
•
Download as PPTX, PDF
•
1 like
•
3,955 views
shunsuke Mikami
Follow
Report
Share
Report
Share
1 of 20
Download now
Recommended
遊休リソースを用いた相同性検索処理の並列化とその評価
遊休リソースを用いた相同性検索処理の並列化とその評価
Satoshi Nagayasu
Hdfsソースコードリーディング第2回
Hdfsソースコードリーディング第2回
shunsuke Mikami
Hdfsソースコードリーディング第一回
Hdfsソースコードリーディング第一回
shunsuke Mikami
Linux Performance Analysis in 15 minutes
Linux Performance Analysis in 15 minutes
Yohei Azekatsu
Sencha と CakePHP の連携について
Sencha と CakePHP の連携について
Kazuyuki Aoki
OSS-DB Goldへの第一歩~実践!運用管理~
OSS-DB Goldへの第一歩~実践!運用管理~
Shigeru Hanada
CVE-2021-3156 Baron samedit (sudoの脆弱性)
CVE-2021-3156 Baron samedit (sudoの脆弱性)
Tetsuya Hasegawa
分散処理のすゝめ?
分散処理のすゝめ?
yoshito oe
Recommended
遊休リソースを用いた相同性検索処理の並列化とその評価
遊休リソースを用いた相同性検索処理の並列化とその評価
Satoshi Nagayasu
Hdfsソースコードリーディング第2回
Hdfsソースコードリーディング第2回
shunsuke Mikami
Hdfsソースコードリーディング第一回
Hdfsソースコードリーディング第一回
shunsuke Mikami
Linux Performance Analysis in 15 minutes
Linux Performance Analysis in 15 minutes
Yohei Azekatsu
Sencha と CakePHP の連携について
Sencha と CakePHP の連携について
Kazuyuki Aoki
OSS-DB Goldへの第一歩~実践!運用管理~
OSS-DB Goldへの第一歩~実践!運用管理~
Shigeru Hanada
CVE-2021-3156 Baron samedit (sudoの脆弱性)
CVE-2021-3156 Baron samedit (sudoの脆弱性)
Tetsuya Hasegawa
分散処理のすゝめ?
分散処理のすゝめ?
yoshito oe
Kernel ext4
Kernel ext4
Kai Sasaki
Burstを使ってSHA-256のハッシュ計算を高速に行う話
Burstを使ってSHA-256のハッシュ計算を高速に行う話
Unity Technologies Japan K.K.
パケット解析ノススメ
パケット解析ノススメ
彰 村地
20031030 「読み込み専用マウントによる改ざん防止Linuxサーバの構築」
20031030 「読み込み専用マウントによる改ざん防止Linuxサーバの構築」
Toshiharu Harada, Ph.D
Tokyo.r girls#3 network
Tokyo.r girls#3 network
Sachiko Hirata
OSC東京2013/Spring_JPUG資料
OSC東京2013/Spring_JPUG資料
Chika SATO
JPUG 沖縄支部セミナー資料(2013-04-27)
JPUG 沖縄支部セミナー資料(2013-04-27)
Chika SATO
OSSラボ様講演 OpenStack最新情報セミナー 2014年6月
OSSラボ様講演 OpenStack最新情報セミナー 2014年6月
VirtualTech Japan Inc.
Reverse proxyによるWebサーバの負荷分散構成
Reverse proxyによるWebサーバの負荷分散構成
CLARA ONLINE, Inc.
iba m
iba m
harmonylab
分散ファイルストレージ
分散ファイルストレージ
Makoto Haruyama
senda m
senda m
harmonylab
デザイナーにもできる再構築の高速化/負荷分散
デザイナーにもできる再構築の高速化/負荷分散
Hajime Fujimoto
[G-Tech2014講演資料] Microsoft Azureで負荷分散された仮想マシンを作ってみよう ~Amazon Web Servicesと比べな...
[G-Tech2014講演資料] Microsoft Azureで負荷分散された仮想マシンを作ってみよう ~Amazon Web Servicesと比べな...
Trainocate Japan, Ltd.
ネットワークの負荷分散を手軽に - OSC2015 Hokkaido
ネットワークの負荷分散を手軽に - OSC2015 Hokkaido
Shinya Takebayashi
ネットワーク仮想化におけるVMwareの取り組み #jvum2013a
ネットワーク仮想化におけるVMwareの取り組み #jvum2013a
Toru Kaneko
年の瀬リアルタイム通信サーバ勉強会
年の瀬リアルタイム通信サーバ勉強会
モノビット エンジン
成功したチームと成功しなかったチーム 20160608
成功したチームと成功しなかったチーム 20160608
Keiichi Endo
L3HA-VRRP-20141201
L3HA-VRRP-20141201
Manabu Ori
完全分散エッジ処理で実現するNeutron仮想ネットワーク
完全分散エッジ処理で実現するNeutron仮想ネットワーク
Etsuji Nakai
第31回「今アツい、分散ストレージを語ろう」(2013/11/28 on しすなま!)
第31回「今アツい、分散ストレージを語ろう」(2013/11/28 on しすなま!)
System x 部 (生!) : しすなま! @ Lenovo Enterprise Solutions Ltd.
年の瀬!リアルタイム通信ゲームサーバ勉強会
年の瀬!リアルタイム通信ゲームサーバ勉強会
monobit
More Related Content
What's hot
Kernel ext4
Kernel ext4
Kai Sasaki
Burstを使ってSHA-256のハッシュ計算を高速に行う話
Burstを使ってSHA-256のハッシュ計算を高速に行う話
Unity Technologies Japan K.K.
パケット解析ノススメ
パケット解析ノススメ
彰 村地
20031030 「読み込み専用マウントによる改ざん防止Linuxサーバの構築」
20031030 「読み込み専用マウントによる改ざん防止Linuxサーバの構築」
Toshiharu Harada, Ph.D
Tokyo.r girls#3 network
Tokyo.r girls#3 network
Sachiko Hirata
OSC東京2013/Spring_JPUG資料
OSC東京2013/Spring_JPUG資料
Chika SATO
JPUG 沖縄支部セミナー資料(2013-04-27)
JPUG 沖縄支部セミナー資料(2013-04-27)
Chika SATO
What's hot
(7)
Kernel ext4
Kernel ext4
Burstを使ってSHA-256のハッシュ計算を高速に行う話
Burstを使ってSHA-256のハッシュ計算を高速に行う話
パケット解析ノススメ
パケット解析ノススメ
20031030 「読み込み専用マウントによる改ざん防止Linuxサーバの構築」
20031030 「読み込み専用マウントによる改ざん防止Linuxサーバの構築」
Tokyo.r girls#3 network
Tokyo.r girls#3 network
OSC東京2013/Spring_JPUG資料
OSC東京2013/Spring_JPUG資料
JPUG 沖縄支部セミナー資料(2013-04-27)
JPUG 沖縄支部セミナー資料(2013-04-27)
Viewers also liked
OSSラボ様講演 OpenStack最新情報セミナー 2014年6月
OSSラボ様講演 OpenStack最新情報セミナー 2014年6月
VirtualTech Japan Inc.
Reverse proxyによるWebサーバの負荷分散構成
Reverse proxyによるWebサーバの負荷分散構成
CLARA ONLINE, Inc.
iba m
iba m
harmonylab
分散ファイルストレージ
分散ファイルストレージ
Makoto Haruyama
senda m
senda m
harmonylab
デザイナーにもできる再構築の高速化/負荷分散
デザイナーにもできる再構築の高速化/負荷分散
Hajime Fujimoto
[G-Tech2014講演資料] Microsoft Azureで負荷分散された仮想マシンを作ってみよう ~Amazon Web Servicesと比べな...
[G-Tech2014講演資料] Microsoft Azureで負荷分散された仮想マシンを作ってみよう ~Amazon Web Servicesと比べな...
Trainocate Japan, Ltd.
ネットワークの負荷分散を手軽に - OSC2015 Hokkaido
ネットワークの負荷分散を手軽に - OSC2015 Hokkaido
Shinya Takebayashi
ネットワーク仮想化におけるVMwareの取り組み #jvum2013a
ネットワーク仮想化におけるVMwareの取り組み #jvum2013a
Toru Kaneko
年の瀬リアルタイム通信サーバ勉強会
年の瀬リアルタイム通信サーバ勉強会
モノビット エンジン
成功したチームと成功しなかったチーム 20160608
成功したチームと成功しなかったチーム 20160608
Keiichi Endo
L3HA-VRRP-20141201
L3HA-VRRP-20141201
Manabu Ori
完全分散エッジ処理で実現するNeutron仮想ネットワーク
完全分散エッジ処理で実現するNeutron仮想ネットワーク
Etsuji Nakai
第31回「今アツい、分散ストレージを語ろう」(2013/11/28 on しすなま!)
第31回「今アツい、分散ストレージを語ろう」(2013/11/28 on しすなま!)
System x 部 (生!) : しすなま! @ Lenovo Enterprise Solutions Ltd.
年の瀬!リアルタイム通信ゲームサーバ勉強会
年の瀬!リアルタイム通信ゲームサーバ勉強会
monobit
[db tech showcase Tokyo 2015] B17:PostgreSQLで動的にスケールアウト可能な負荷分散DBクラスタを作ろう! by ...
[db tech showcase Tokyo 2015] B17:PostgreSQLで動的にスケールアウト可能な負荷分散DBクラスタを作ろう! by ...
Insight Technology, Inc.
【CEDEC2013】20対20リアルタイム通信対戦オンラインゲームのサーバ開発&運営技法
【CEDEC2013】20対20リアルタイム通信対戦オンラインゲームのサーバ開発&運営技法
モノビット エンジン
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
NTT DATA OSS Professional Services
[社内勉強会]ELBとALBと数万スパイク負荷テスト
[社内勉強会]ELBとALBと数万スパイク負荷テスト
Takahiro Moteki
負荷分散勉強会
負荷分散勉強会
Yuji Otani
Viewers also liked
(20)
OSSラボ様講演 OpenStack最新情報セミナー 2014年6月
OSSラボ様講演 OpenStack最新情報セミナー 2014年6月
Reverse proxyによるWebサーバの負荷分散構成
Reverse proxyによるWebサーバの負荷分散構成
iba m
iba m
分散ファイルストレージ
分散ファイルストレージ
senda m
senda m
デザイナーにもできる再構築の高速化/負荷分散
デザイナーにもできる再構築の高速化/負荷分散
[G-Tech2014講演資料] Microsoft Azureで負荷分散された仮想マシンを作ってみよう ~Amazon Web Servicesと比べな...
[G-Tech2014講演資料] Microsoft Azureで負荷分散された仮想マシンを作ってみよう ~Amazon Web Servicesと比べな...
ネットワークの負荷分散を手軽に - OSC2015 Hokkaido
ネットワークの負荷分散を手軽に - OSC2015 Hokkaido
ネットワーク仮想化におけるVMwareの取り組み #jvum2013a
ネットワーク仮想化におけるVMwareの取り組み #jvum2013a
年の瀬リアルタイム通信サーバ勉強会
年の瀬リアルタイム通信サーバ勉強会
成功したチームと成功しなかったチーム 20160608
成功したチームと成功しなかったチーム 20160608
L3HA-VRRP-20141201
L3HA-VRRP-20141201
完全分散エッジ処理で実現するNeutron仮想ネットワーク
完全分散エッジ処理で実現するNeutron仮想ネットワーク
第31回「今アツい、分散ストレージを語ろう」(2013/11/28 on しすなま!)
第31回「今アツい、分散ストレージを語ろう」(2013/11/28 on しすなま!)
年の瀬!リアルタイム通信ゲームサーバ勉強会
年の瀬!リアルタイム通信ゲームサーバ勉強会
[db tech showcase Tokyo 2015] B17:PostgreSQLで動的にスケールアウト可能な負荷分散DBクラスタを作ろう! by ...
[db tech showcase Tokyo 2015] B17:PostgreSQLで動的にスケールアウト可能な負荷分散DBクラスタを作ろう! by ...
【CEDEC2013】20対20リアルタイム通信対戦オンラインゲームのサーバ開発&運営技法
【CEDEC2013】20対20リアルタイム通信対戦オンラインゲームのサーバ開発&運営技法
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
[社内勉強会]ELBとALBと数万スパイク負荷テスト
[社内勉強会]ELBとALBと数万スパイク負荷テスト
負荷分散勉強会
負荷分散勉強会
More from shunsuke Mikami
アクセス解析システムの裏側 (公開用)
アクセス解析システムの裏側 (公開用)
shunsuke Mikami
Fluent plugin-dstat
Fluent plugin-dstat
shunsuke Mikami
広域分散ファイルシステムGfarm上でのMapReduceを用いた大規模分散データ処理 @ SWoPP2010
広域分散ファイルシステムGfarm上でのMapReduceを用いた大規模分散データ処理 @ SWoPP2010
shunsuke Mikami
Hadoop gfarm使い方
Hadoop gfarm使い方
shunsuke Mikami
Hadoop gfarm使い方
Hadoop gfarm使い方
shunsuke Mikami
HDFSのスケーラビリティとマルチマスタへの取り組み
HDFSのスケーラビリティとマルチマスタへの取り組み
shunsuke Mikami
More from shunsuke Mikami
(6)
アクセス解析システムの裏側 (公開用)
アクセス解析システムの裏側 (公開用)
Fluent plugin-dstat
Fluent plugin-dstat
広域分散ファイルシステムGfarm上でのMapReduceを用いた大規模分散データ処理 @ SWoPP2010
広域分散ファイルシステムGfarm上でのMapReduceを用いた大規模分散データ処理 @ SWoPP2010
Hadoop gfarm使い方
Hadoop gfarm使い方
Hadoop gfarm使い方
Hadoop gfarm使い方
HDFSのスケーラビリティとマルチマスタへの取り組み
HDFSのスケーラビリティとマルチマスタへの取り組み
分散ファイルシステムGfarm上でのHadoop MapReduce
1.
分散ファイルシステムGfarm上でのHadoopMapReduce 三上俊輔 <shun0102@gmail.com>
2.
自己紹介 筑波大学システム情報工学研究科コンピュータサイエンス専攻M1 HPCS研究室
分散ファイルシステム サイト、twitter http://shun0102.net Twitter: shun0102
3.
HDFSの問題点 POSIXに準拠してない 追記以外の再書き込み不可、複数ライターからの書き込み不可
マウントしたい Hdfs-fuse は不安定 マスターが単一障害点 まだ簡単な解決策はない
4.
他のファイルシステムの利用 Gfarm 今日話します
GlusterFS 性能評価をとってみました Ceph 負荷をかけると固まる、、、 Lustre, PVFS2 今後調べてみたい
5.
Gfarmの特徴 汎用的な分散ファイルシステム サーバーの余ってるローカルファイルシステムを束ねて分散共有ストレージにできる
Better NFS メタデータサーバ1台(active-standby可) 多数ファイルシステムノード スケールアウト データアクセスはファイルシステムノードへ直接 HDFSの様にメタデータサーバの処理能力までスケールアウト
6.
Gfarmの活用事例 筑波大、産総研、KEK、NICT、KDDI研究所、NTTコミュニケーションズ 商用サポート
ベストシステムズ 参考(GfarmWorkshop 2010) http://datafarm.apgrid.org/event/gfarm10/program.html
7.
Gfarmの構成 Gfarmメタデータサーバー Gfarmストレージサーバー
Gfarmストレージサーバー Gfarmストレージサーバー Client Metadata ops Read or Write Read or Write files files files 仮想的な共有ファイルシステム(Gfarm)
8.
HDFSと比較した欠点 ブロック分割しない 単一ファイルへのアクセスがスケールしない
複製作成が非同期 レプリカが一つしかない時間がある
9.
他のファイルシステムの利用法 JNIのlayerを挟むか、マウントしてアクセス マウントの場合はファイルの格納場所がわからない
HadoopMapReduce applications File System API HDFS client library FUSE JNI shim layer FUSE client Client library Filesystemservers Filesystemservers HDFS servers
10.
マシン性能その1
11.
12.
各ノードが別々の50GBのファイルを書き込む(複製はなし)
13.
ローカルに書き込むのでスケールする
14.
15.
各ノードが5GBの別々のファイルを読み込む
16.
17.
GlusterFS ローカルファイルシステムを束ねて一つのファイルシステムにできる マスターなし
FUSEベース 複製ありなし、ストライピングするしないを選択
18.
マシン性能その2
19.
GlusterFSvsHDFS 7.4 MB/sec/node
22 MB/sec/node 10.3 MB/sec/node
20.
GlusterFSvs HDFS 5.5
MB/sec/node 10.8 MB/sec/node 10.8 MB/sec/node
21.
HDFSに負ける理由は? ローカリティを利用できないから? FUSEのオーバヘッド?
22.
むしろ良い方と思うべき? FUSEベースでインストールしやすい マスターなし
23.
まとめ GfarmはHDFSと同等の性能 GlusterFSは性能では劣るが使いやすい印象
Cephはまだ運用では使えない
Download now