SlideShare a Scribd company logo
1 of 25
VMware ESXi トラブルシューティング
フランちゃんウフフなシステムエンジニア
おおかわ かずひと
IIJ Global Solutions Inc.
アジェンダ
• はじめに
• 自己紹介
• IaaSにおける自社の立ち位置
• ESXiのトラブルシューティング話
• まとめ
はじめに
Casual Talkという事で軽めです。
といわけでトークメインで。
(後からスライド見る皆さんごめんなさい キャハ♪)
時間がなくてネタの仕込みはございません。
よろしくお願いします。
自己紹介
• おおかわかずひと@SatchanP (相変わらず意識低い系)
• IIJ GlobalでSE初めて半年ちょっと
• 以前はウェブ系のインフラエンジニア (前職はKauli 株式会社)
• VOYAGE GROUPに買収されたため緊急脱出
• プライベートラリースト
• 二次属性
アイマス : やよい 真美
東方 : フランちゃん 咲夜さん
艦これ : Верный 響
IaaSにおける自社の立ち位置
ストレージ
SAN/NW
サーバ
HV
OS
SAP/ERP
VM
IIJGIO利用時の
担当範囲
オンプレ構築
担当範囲
VMware ESXi によるERP基盤提供が主
要件定義、個別設計(WAN/NW/Server)、構築、運用など
エンドユーザ/アプリベンダー範囲
ESXiトラブルシューティングの必要性
• OSS当たり前で生きてきて初めてまともな商用にのった
• 金で解決できるバラ色の世界が待っているはずだった
• 現実は甘くなく…
• サポートに確実な問題個所を伝えないと調査に時間がかかる、真面目
に調べてくれない、的外れな回答が返ってくる
• サポートからの回答がだけではエンドユーザに説明がつかない場合も
• 結局高いお金払ってるのに、自前で納得いくまで調査するしかない
• 調査結果のエビデンスを得るためにサポートを追いつめる
• ProxyしているだけではSEの意味がない
トラブルの切り分け方 (NW)
各レイヤーごとに分けて切り分けが必要
Virtual Switch
OS/Kernel
vmnic
vDS/vSS
アプリケーション
物理NIC
物理スイッチ
イーサネット
トラブルの切り分け方 (Storage I/O)
vHBA
(vSCSI)
FC, Ethernet Adapter
SAN
Storage
SCSI Host
SCSI
便利なツール群
• ESXi ssh
• vSphere Client / Web Client
• IDA Debugger
• 各種SNMPツール
社内の制度上Zabbix
(中の人的は cacti + GrowthForecast + nagios が好き)
便利なツール群(CLI編 よく使う人たち)
• vmdumper
• memstats
• tcpdump-uw
pktcap-uw
• strace
• ethtool
• dmesg
• vProbe
• vsish
• esxcfg-*
• esxtop
• vscsiStats
• vmkping
• vmkbacktrace
vsishが便利!
• Linuxのprocfs/sysctrlのようなもの
• Linux使いには親和性が高い
• Vmkernelのパラメータやカウンタの参照、変更が可能
• 軽い 使いやすい わかりやすい
• ノンインタラクティブモードで、シェルから実行して
出力だけ得ることも可能 (-e : option)
vsishでNWトラブルの調査 (vDS)
esx-top -> n で調査対象のポートを特定する
vsishでNWトラブルの調査 (vDS)
仮想スイッチポートのカウンターを確認する
vsishでNWトラブルの調査 (VM Ring Buffer)
vmnicの種類を確認する
vsishでNWトラブルの調査 (VM Ring Buffer)
エラーカウンターを確認する
vsishでNWトラブルの調査 (TCPスタック)
vmkernel の TCPスタックカウンターを見てみる
vsishでNWトラブルの調査 (TCPスタック)
ブラックホールの形跡がないか確認
物理NICはethtool or vsish でも可
esxtop (memory)でNUMAの確認
NUMA Remote | NUMA Local (MB)
esxtop (memory)でNUMAの確認
アカンやつ
フリーズしたVMの情報収集
NMIを発生させてクラッシュダンプから解析
(ダンプさせる設定がゲストOS側に必要)
ダンプ解析は気合で!
(時間がなかったから省略…)
その他アプライアンス
• vCenter, RM, SRM等、ほぼJava + DB(PG, MSSQL)
• Log4Jのアレ、ログの量が多く冗長
• 上記以外のログがひっそりある場合も
• 何かあったらとにかくログの回収を光速で行う
(2,3日でlotateされてしまうログもある)
• アプライアンスは調子にのって増やさない
問題の原因が増えるし、切り分けが面倒
ご利用はご計画的に!
まとめ
• みんなVMwareを使ってサービスしているので、サ
ポートまかせでは差別化できるはずがない
• 商用でもOSSでも手間がかかるのは一緒(だった…)
• 日本の中途半端なSI/SE屋は淘汰されていきそう
• 見せ方は綺麗だけど、ESXi自体レガシーの塊になりつ
つある印象
• そんなわけでSE大変だけど楽しい!
ありがとうございました!

More Related Content

What's hot

OpenStack超入門シリーズ いまさら聞けないSwiftの使い方
OpenStack超入門シリーズ いまさら聞けないSwiftの使い方OpenStack超入門シリーズ いまさら聞けないSwiftの使い方
OpenStack超入門シリーズ いまさら聞けないSwiftの使い方Toru Makabe
 
AWSのログ管理ベストプラクティス
AWSのログ管理ベストプラクティスAWSのログ管理ベストプラクティス
AWSのログ管理ベストプラクティスAkihiro Kuwano
 
ChatGPTは思ったほど賢くない
ChatGPTは思ったほど賢くないChatGPTは思ったほど賢くない
ChatGPTは思ったほど賢くないCarnot Inc.
 
WebAssemblyのWeb以外のことぜんぶ話す
WebAssemblyのWeb以外のことぜんぶ話すWebAssemblyのWeb以外のことぜんぶ話す
WebAssemblyのWeb以外のことぜんぶ話すTakaya Saeki
 
DynamoDBを導入した話
DynamoDBを導入した話DynamoDBを導入した話
DynamoDBを導入した話dcubeio
 
Ws2012フェールオーバークラスタリングdeep dive 130802
Ws2012フェールオーバークラスタリングdeep dive 130802Ws2012フェールオーバークラスタリングdeep dive 130802
Ws2012フェールオーバークラスタリングdeep dive 130802wintechq
 
Kubernetesのしくみ やさしく学ぶ 内部構造とアーキテクチャー
Kubernetesのしくみ やさしく学ぶ 内部構造とアーキテクチャーKubernetesのしくみ やさしく学ぶ 内部構造とアーキテクチャー
Kubernetesのしくみ やさしく学ぶ 内部構造とアーキテクチャーToru Makabe
 
Hyper-V ネットワークの基本
Hyper-V ネットワークの基本Hyper-V ネットワークの基本
Hyper-V ネットワークの基本Syuichi Murashima
 
細かすぎて伝わらないかもしれない Azure Container Networking Deep Dive
細かすぎて伝わらないかもしれない Azure Container Networking Deep Dive細かすぎて伝わらないかもしれない Azure Container Networking Deep Dive
細かすぎて伝わらないかもしれない Azure Container Networking Deep DiveToru Makabe
 
インフラCICDの勘所
インフラCICDの勘所インフラCICDの勘所
インフラCICDの勘所Toru Makabe
 
コンテナの作り方「Dockerは裏方で何をしているのか?」
コンテナの作り方「Dockerは裏方で何をしているのか?」コンテナの作り方「Dockerは裏方で何をしているのか?」
コンテナの作り方「Dockerは裏方で何をしているのか?」Masahito Zembutsu
 
はじめようARCore:自己位置推定・平面検出・FaceTracking
はじめようARCore:自己位置推定・平面検出・FaceTrackingはじめようARCore:自己位置推定・平面検出・FaceTracking
はじめようARCore:自己位置推定・平面検出・FaceTrackingTakashi Yoshinaga
 
Knative Eventing 入門(Kubernetes Novice Tokyo #11 発表資料)
Knative Eventing 入門(Kubernetes Novice Tokyo #11 発表資料)Knative Eventing 入門(Kubernetes Novice Tokyo #11 発表資料)
Knative Eventing 入門(Kubernetes Novice Tokyo #11 発表資料)NTT DATA Technology & Innovation
 
ゼロから始める自作 CPU 入門
ゼロから始める自作 CPU 入門ゼロから始める自作 CPU 入門
ゼロから始める自作 CPU 入門Hirotaka Kawata
 
10分でわかる Cilium と XDP / BPF
10分でわかる Cilium と XDP / BPF10分でわかる Cilium と XDP / BPF
10分でわかる Cilium と XDP / BPFShuji Yamada
 
低レイヤー入門
低レイヤー入門低レイヤー入門
低レイヤー入門demuyan
 
初心者向けMongoDBのキホン!
初心者向けMongoDBのキホン!初心者向けMongoDBのキホン!
初心者向けMongoDBのキホン!Tetsutaro Watanabe
 

What's hot (20)

OpenStack超入門シリーズ いまさら聞けないSwiftの使い方
OpenStack超入門シリーズ いまさら聞けないSwiftの使い方OpenStack超入門シリーズ いまさら聞けないSwiftの使い方
OpenStack超入門シリーズ いまさら聞けないSwiftの使い方
 
AWSのログ管理ベストプラクティス
AWSのログ管理ベストプラクティスAWSのログ管理ベストプラクティス
AWSのログ管理ベストプラクティス
 
ChatGPTは思ったほど賢くない
ChatGPTは思ったほど賢くないChatGPTは思ったほど賢くない
ChatGPTは思ったほど賢くない
 
WebAssemblyのWeb以外のことぜんぶ話す
WebAssemblyのWeb以外のことぜんぶ話すWebAssemblyのWeb以外のことぜんぶ話す
WebAssemblyのWeb以外のことぜんぶ話す
 
DynamoDBを導入した話
DynamoDBを導入した話DynamoDBを導入した話
DynamoDBを導入した話
 
Ws2012フェールオーバークラスタリングdeep dive 130802
Ws2012フェールオーバークラスタリングdeep dive 130802Ws2012フェールオーバークラスタリングdeep dive 130802
Ws2012フェールオーバークラスタリングdeep dive 130802
 
Kubernetesのしくみ やさしく学ぶ 内部構造とアーキテクチャー
Kubernetesのしくみ やさしく学ぶ 内部構造とアーキテクチャーKubernetesのしくみ やさしく学ぶ 内部構造とアーキテクチャー
Kubernetesのしくみ やさしく学ぶ 内部構造とアーキテクチャー
 
Hyper-V ネットワークの基本
Hyper-V ネットワークの基本Hyper-V ネットワークの基本
Hyper-V ネットワークの基本
 
細かすぎて伝わらないかもしれない Azure Container Networking Deep Dive
細かすぎて伝わらないかもしれない Azure Container Networking Deep Dive細かすぎて伝わらないかもしれない Azure Container Networking Deep Dive
細かすぎて伝わらないかもしれない Azure Container Networking Deep Dive
 
インフラCICDの勘所
インフラCICDの勘所インフラCICDの勘所
インフラCICDの勘所
 
コンテナの作り方「Dockerは裏方で何をしているのか?」
コンテナの作り方「Dockerは裏方で何をしているのか?」コンテナの作り方「Dockerは裏方で何をしているのか?」
コンテナの作り方「Dockerは裏方で何をしているのか?」
 
AWS Systems manager 入門
AWS Systems manager 入門AWS Systems manager 入門
AWS Systems manager 入門
 
はじめようARCore:自己位置推定・平面検出・FaceTracking
はじめようARCore:自己位置推定・平面検出・FaceTrackingはじめようARCore:自己位置推定・平面検出・FaceTracking
はじめようARCore:自己位置推定・平面検出・FaceTracking
 
Knative Eventing 入門(Kubernetes Novice Tokyo #11 発表資料)
Knative Eventing 入門(Kubernetes Novice Tokyo #11 発表資料)Knative Eventing 入門(Kubernetes Novice Tokyo #11 発表資料)
Knative Eventing 入門(Kubernetes Novice Tokyo #11 発表資料)
 
ニフクラでDockerを使う際のTips
ニフクラでDockerを使う際のTipsニフクラでDockerを使う際のTips
ニフクラでDockerを使う際のTips
 
GitLab から GitLab に移行したときの思い出
GitLab から GitLab に移行したときの思い出GitLab から GitLab に移行したときの思い出
GitLab から GitLab に移行したときの思い出
 
ゼロから始める自作 CPU 入門
ゼロから始める自作 CPU 入門ゼロから始める自作 CPU 入門
ゼロから始める自作 CPU 入門
 
10分でわかる Cilium と XDP / BPF
10分でわかる Cilium と XDP / BPF10分でわかる Cilium と XDP / BPF
10分でわかる Cilium と XDP / BPF
 
低レイヤー入門
低レイヤー入門低レイヤー入門
低レイヤー入門
 
初心者向けMongoDBのキホン!
初心者向けMongoDBのキホン!初心者向けMongoDBのキホン!
初心者向けMongoDBのキホン!
 

Viewers also liked

Nutanixを導入してみて思ったこと(仮)
Nutanixを導入してみて思ったこと(仮)Nutanixを導入してみて思ったこと(仮)
Nutanixを導入してみて思ったこと(仮)Kazuhito Ohkawa
 
Kauli SSPにおけるVyOSの導入事例
Kauli SSPにおけるVyOSの導入事例Kauli SSPにおけるVyOSの導入事例
Kauli SSPにおけるVyOSの導入事例Kazuhito Ohkawa
 
インフラエンジニアなら知っておきたい 仮想化環境とストレージの新しい形
インフラエンジニアなら知っておきたい 仮想化環境とストレージの新しい形インフラエンジニアなら知っておきたい 仮想化環境とストレージの新しい形
インフラエンジニアなら知っておきたい 仮想化環境とストレージの新しい形Satoshi Shimazaki
 
モバイルネットワークと広告配信
モバイルネットワークと広告配信モバイルネットワークと広告配信
モバイルネットワークと広告配信Kazuhito Ohkawa
 
Nutanix Community Meetup #1 - Nutanix入門編
Nutanix Community Meetup #1 - Nutanix入門編Nutanix Community Meetup #1 - Nutanix入門編
Nutanix Community Meetup #1 - Nutanix入門編Satoshi Shimazaki
 
AHVでみるCVM Autopathの仕組み
AHVでみるCVM Autopathの仕組みAHVでみるCVM Autopathの仕組み
AHVでみるCVM Autopathの仕組みKazuhito Ohkawa
 
密かに話題のBufferbloat
密かに話題のBufferbloat密かに話題のBufferbloat
密かに話題のBufferbloatKazuhito Ohkawa
 
Nutanix@Open Source Conference 2015 Tokyo/Fall
Nutanix@Open Source Conference 2015 Tokyo/FallNutanix@Open Source Conference 2015 Tokyo/Fall
Nutanix@Open Source Conference 2015 Tokyo/FallSatoshi Shimazaki
 
netfilterを利用したDSP監視
netfilterを利用したDSP監視netfilterを利用したDSP監視
netfilterを利用したDSP監視Kazuhito Ohkawa
 

Viewers also liked (11)

Nutanixを導入してみて思ったこと(仮)
Nutanixを導入してみて思ったこと(仮)Nutanixを導入してみて思ったこと(仮)
Nutanixを導入してみて思ったこと(仮)
 
Nutanix 概要紹介
Nutanix 概要紹介Nutanix 概要紹介
Nutanix 概要紹介
 
Kauli SSPにおけるVyOSの導入事例
Kauli SSPにおけるVyOSの導入事例Kauli SSPにおけるVyOSの導入事例
Kauli SSPにおけるVyOSの導入事例
 
インフラエンジニアなら知っておきたい 仮想化環境とストレージの新しい形
インフラエンジニアなら知っておきたい 仮想化環境とストレージの新しい形インフラエンジニアなら知っておきたい 仮想化環境とストレージの新しい形
インフラエンジニアなら知っておきたい 仮想化環境とストレージの新しい形
 
Nutanixってナニ?
Nutanixってナニ?Nutanixってナニ?
Nutanixってナニ?
 
モバイルネットワークと広告配信
モバイルネットワークと広告配信モバイルネットワークと広告配信
モバイルネットワークと広告配信
 
Nutanix Community Meetup #1 - Nutanix入門編
Nutanix Community Meetup #1 - Nutanix入門編Nutanix Community Meetup #1 - Nutanix入門編
Nutanix Community Meetup #1 - Nutanix入門編
 
AHVでみるCVM Autopathの仕組み
AHVでみるCVM Autopathの仕組みAHVでみるCVM Autopathの仕組み
AHVでみるCVM Autopathの仕組み
 
密かに話題のBufferbloat
密かに話題のBufferbloat密かに話題のBufferbloat
密かに話題のBufferbloat
 
Nutanix@Open Source Conference 2015 Tokyo/Fall
Nutanix@Open Source Conference 2015 Tokyo/FallNutanix@Open Source Conference 2015 Tokyo/Fall
Nutanix@Open Source Conference 2015 Tokyo/Fall
 
netfilterを利用したDSP監視
netfilterを利用したDSP監視netfilterを利用したDSP監視
netfilterを利用したDSP監視
 

VMware ESXi トラブルシューティング