Nutanix Acropolis File Services ( AFS ) を「一足先に」試してみる
•
4 likes•7,171 views
Nutanix Community Meetup #14で発表させていただいた資料になります。Acropolis File Services ( AFS ) は，Nutanixが提供するファイルサーバー機能で，まだTech Preview段階ですが，一足先に試してみました。
Recommended
More Related Content
What's hot
What's hot (20)
Similar to Nutanix Acropolis File Services ( AFS ) を「一足先に」試してみる
Similar to Nutanix Acropolis File Services ( AFS ) を「一足先に」試してみる (14)
More from milk hanakara
Recently uploaded
Recently uploaded (9)
Nutanix Acropolis File Services ( AFS ) を「一足先に」試してみる
- 1. 1 @hanakara_milk Nutanix Community Meetup #14 27th Sep 2016 @hanakara_milk Nutanix Acropolis File Services （AFS） を「一足先に」試してみる
- 2. 2 @hanakara_milk 目次 1. Introduction – 自己紹介，本日の発表の前説 2. What is AFS - Acropolis File Services（AFS）とは – AFSとは，AFSの概要やそのメリットなどについて紹介 3. Deploying AFS 1st - AFSのデプロイ（しくじり先生編） – 何も考えずにAFSデプロイを試してみた結果 4. Deploying AFS 2nd AFSのデプロイ（激闘編） – 反省をもとに再度AFSのデプロイに挑戦してみた結果 5. AFS Impression – AFS俯瞰 – とりあえずデプロイされたAFSの俯瞰 6. Conclusion – AFSまとめ – まとめ
- 4. 4 @hanakara_milk About me • 自己紹介 –@hanakara_milkと申します –普段は，最高にトラディショナルなSIerに偽装派遣 されている，しがない営業職見習い –仕事でインフラに触れる機会はない（たまに開発の いない保守なし案件の障害対応に駆り出さる，ただ し解決できるとは言ってない） • マイブーム（前々回から変わらず） –3年ぶり4回目，MMORPGのFFXIに復帰しました （Lakshim鯖：タルタル），そろそろまた飽きてきた 検閲済 • Twitter • @hanakara_milk • Qiita • hanakara_milk
- 5. 5 @hanakara_milk はじめに • Acropolis File Services（以下，AFS）は，2016年9月27日時 点で，まだ開発版（Tech Preview（TP））です。 • 当スライドで公開している情報は，正式リリース版（General Availability（GA））の際に変わっている可能性があります。 WARNING: DO NOT TRY THIS AT PRODUCTION ENVIRONMENT ! Server Admin
- 6. 6 @hanakara_milk ご注意 • この資料は， VMware上のNested環境上に構築したNutanix CE ce-2016.06.30-stableに基づいています， • そのためベアメタル上に構築したNutanix CEや商用版の Nutanixと一部，仕様や動作が異なる場合があります。 • この資料の発表時点で，Nutanix CE ce-2016.08.27-stable がリリースされているため，既に情報が古くなっている可能性が あります（ce-2016.08.27-stableで，AFSに対するアップデー トが入っているかは未検証）。 WARNING:
- 7. 7 @hanakara_milk 免責等 • 今回は，大急ぎでさらっとAFSを確認しているだけなので，内容や 設定方法等に誤りがある可能性があります。ご注意ください。 – 本資料で公開される内容について、その正確性、有用性、確実性その他の保証をする ものではありません。 – 本資料のご利用等により万一何らかの損害が発生したとしても、hanakara_milkは 一切責任を負いません。 WARNING:
- 8. 8 @hanakara_milk 2. What is AFS - Acropolis File Services（AFS）とは -
- 10. 10 @hanakara_milk Acropolis File Services（AFS） • Nutanixが提供するファイルサーバー機能で，Nutainxからイ ンボックスで提供される – 類似した機能としては，Acropolis Block Services（ABS）がある。AFSがファイル レベルの共有サービス機能を提供するのに対して，ABSはブロックレベルのストレー ジ機能を提供 AFS ABS SSD Nutanix Nutanix Nutanix ファイルレベルアクセス ブロックレベルアクセス
- 11. 11 @hanakara_milk AFSの概要 • AFSは，Nutanixのコア機能の1つである，高速な分散ファイ ルシステム（Distributed File System（DFS））と Nutanixの特徴であるスケール性をうまく活用したファイル サーバー機能 – AFSの実体は，Sambaサービスを提供するNVMと呼ばれるCentOSベースの VMが，Nutanix上に複数起動したもの – AFSは，Nutanixからマネージドで提供され，可用性，耐障害性，スケーラビリ ティを備えた，分散アーキテクチャを用いたファイルサーバーとして動作する
- 12. 12 @hanakara_milk AFSの目指すところ（公式の見解ではなく私見） • 仮想化された基盤上にビジネスに必要なITリソースの多くは 集約できるようになった – LDAP，DNS，DHCP，アプリケーション，Webサーバー，など • しかし，ストレージヘビィなITリソースは仮想化基盤上に集約 されていないものも多い – データベース，メールサーバー（のストレージ），ファイルサーバーなど，非常に 高いIOPSや高速で，かつ大容量なストレージと高性能なストレージコントロー ラーが必要 – （Nutanixなどの）仮想化基盤から分離されているケースが多い
- 13. 13 @hanakara_milk AFSの目指すところ（公式の見解ではなく私見） • せっかくNutanixを導入し，多くのITリソースを仮想化基盤 上に集約したはいいが，ストレージヘビィなITリソースは集約 できていない – どうせなら，これらもNutanixにお任せすることで，もっとリソースや運用の管 理を楽にしたい • せっかくNutanixの優れたストレージ機能があるのだから有 効活用して，それらもNutanixに集約してしまおう
- 14. 14 @hanakara_milk AFSのメリット（公式の見解ではなく私見） • 導入コストの抑制 – 企業活動に必要なITリソースをNutanixに集約したが，ファイルサーバだけは， 別のプロダクトが必要と言った場合に，AFSを利用することでファイルサーバ導 入分のコストを抑制できる • 運用コストの抑制 – 仮想化基盤上にファイルサーバーOSをインストールし，NutanixのDFSを利用 することも可能だが，可用性や耐障害性を含む個々の設定や運用コストを考え ると，それらがマネージドで提供されるAFSは，運用コストの抑制ができる • 簡単なスケール – 1クリックで拡張が可能（ファイルサーバーVMを増やす），つまり性能や容量を 拡張したいケースにおいて，簡単にスケールさせることができる
- 17. 17 @hanakara_milk ノープランでAFSデプロイ開始 • なにも考えずに，AFSの構成ウィザードを開始する（Nutanixは PRISMで簡単操作すぎて少し嘗めていた） – そもそも，まだTech Preview段階なので，資料，情報がほとんどなかった そして・・・いきなり躓く
- 20. 20 @hanakara_milk ノープランでAFSデプロイ開始 • External Data Services IP addressが足りない
- 24. 24 @hanakara_milk ノープランでAFSデプロイ開始 • 最後にActive Directoryが足りない
- 26. 26 @hanakara_milk 事象から見えてくるAFSの動作要件 • ここまで操作して，はじめてAFSの動作要件について見えてくる • 今更ながら，ここで改めてAFSの動作要件について ※くどいようですが，AFSの動作要件や仕様は，2016年9月27日時点の 開発版（Tech Preview（TP））のもので，正式リリース版（General Availability（GA））の際に変更されている可能性があります
- 27. 27 @hanakara_milk AFSの動作要件（サマリ） • 3つ以上のNutanixノード • 2つ以上のネットワーク • 各ネットワークの管理設定 • External Data Services IP addressの設定 • 1TiB以上のディスク領域 • ノードあたり約32GiB以上のメモリ • ノードあたり4つのvCPU • Active Directory • 内部用DNSサービス（サーバー） • NTPサービス（サーバー） • Active Directory，DNSサーバーの2つのVLANへの接続 • インターネットアクセス
- 28. 28 @hanakara_milk AFSの動作要件（詳細）-1 • 3つ以上のノード – AFSは3つ以上のノードが必要で，シングルノードクラスター環境ではデプロイでき ない，ノード障害を想定すると4ノード以上の構成が望ましい • 2つ以上のネットワーク – NutanixのNetwork Configurationで構成するVLANの数，1つのVLANはNVM とCVMとの通信，もう1つのVLANはNVMとファイルサービスの提供を受けるクライ アントPC等との通信に利用される • 各ネットワークの管理設定 – 各ネットワークは，最低でもENABLE IP ADDRESS MANAGEMENTでNETWORK IP ADDRESS / PREFEX LENGTHとIP ADDRESS POOLがそれぞれ設定されてい ること（AFSデプロイ時にDHCPが必要となるため）
- 29. 29 @hanakara_milk AFSの動作要件（詳細）-2 • External Data Services IP addressの設定 – AFSはファイルサービスの提供にABSのiSCSIブロックサービスを利用するため • 1TiB以上のディスク領域 – Nutanixのストレージプール上で，1TiB以上の空き容量があること，AFSが3ノード 以上必要でかつ，Nutanix自体が1ノードあたり200GiBのSSDと500GiBのHDDが 必要なので，動作要件どおりを組んでいればクリアできていたハズ • ノードあたり約32GiB以上のメモリ – NutanixではCVMが16GiB，AFSが動作するNVMが12GiBのメモリを必要とする ほか，ファイルサービス用のディスク領域において，デフォルトで圧縮とパフォーマン スティアでの重複排除が有効になるため，最低でも約32GiB以上のメモリが必要
- 30. 30 @hanakara_milk AFSの動作要件（詳細）-3 • ノードあたり4つのvCPU – NVMは最低でも4つのvCPUが必要，ユーザーがインストールするVMや既にCVMに 2vCPUを取られていることを踏まえると，8vCPU程度を提供可能な物理CPUが必要 • Active Directory – AFSはActive Directoryと連動して動作する，そのため事前にActive Directory ドメインサービスが構成されている必要がある • 内部用DNSサービス（サーバー） – AFSは，1つのFQDNに対して複数のNVMが応答する，イントラネット内部のノードや ホストの名前解決が可能なDNSサービス（又はサーバー）が必要，最も簡単なのは， Active Directoryサーバーに連動して構成するDNSサーバーを指定する
- 31. 31 @hanakara_milk AFSの動作要件（詳細）-4 • NTPサービス（サーバー） – AFSは，Active Directoryやファイルサービスを提供するクライアントPCと同一 のNTPサービス（サーバー）が必要，通常はActive Directoryを構成した時点で Active Directoryでタイムサービスが提供されるため，そちらを指定 • Active Directory，DNSサーバーの2つのVLANへの接続 – AFSには2つのVLANが必要なのは前述のとおり，Active Directoryサーバーや DNSはそのいずれのVLANにもコネクティビティが必要（AFSのドメイン参加とファ イルサービスを利用するクライアントPCなどからのActive Directoryアクセス） • インターネットアクセス – AFSは，デプロイ時に必要なコンポーネントやファイルをインターネット経由でダウ ンロードしてくるように見えるためインターネットアクセスが必要
- 33. 33 @hanakara_milk Day 2Day 1 Day 3 March 2016 Day 5 AFSが発表 される AFS試す （しくじり先生編） Day 4 ここまでのタイムライン おおー！と感心 する ノープランで AFSデプロイ開 始して，躓く
- 36. 36 @hanakara_milk AFSの動作要件に基づいてデプロイ • 自宅の事情（主に電気料金）から物理ノードを利用したAFSの検 証は躊躇われるため，Nestedの環境で試してみる • 自宅の2ノードvSphereクラスター上に4つのNutanixノードを 構成 • Nutanixノードあたりの主なハードウェア構成は以下のとおり – vCPU：6vCPU – メモリ：40GB – ディスク：200GB（SSD相当），500GB（HDD相当），500GB（HDD相当） – ネットワーク：Nested用のポートグループ フラグ
- 37. 37 @hanakara_milk フラグを回収-1 • 1つのNutanixノードを構成した後，クローンで4つのノードを作 成し，電源を入れてNutanixのセットアップを開始する • Nutanixのセットアップ中，2つのVMがインストールにコケる • セットアップ中のMinimum Requirementのチェックフェーズ でESXiやストレージ対して負荷がかかり，2つのVMが Minimum Requirementチェックで弾かれた模様 教訓 Nestedで構成する際は，一気にインストールしない， おとなしく1つずつNested Nutanixノードを構成する
- 38. 38 @hanakara_milk フラグを回収-2 • 自宅で利用しているvSphere環境にNested環境を構築していく ので，片ノードのみを利用してNestedの環境を構築していく • メモリのオーバーコミットを過信しすぎて，Nested Nutanix ノードを構成したらESXiが落ちて，片ノードが全滅し， vSphere クラスターが崩壊，いろいろ復旧作業を行うハメになる 教訓 メモリのオーバーコミットを信じすぎない，DRSを有効 にし，オートでのバランシング設定で，2つのESXiノー ドを使うようにする
- 39. 39 @hanakara_milk フラグを回収-3 • インストール後，クラスターを構成し，Nutanix CEの初期設定と アクティベートを済ませPRISMを起動する
- 41. 41 @hanakara_milk フラグを回収-3 • Nested環境の場合，ホスト，ハイパーバイザーがそれぞれディ スクを認識していても，クラスター構成時にディスクを見失うこと がある模様 <disk> <source dev='/dev/sdd'/> <target dev='sda' bus='scsi'/> <address type='drive' controller='0' bus='0' target='0' unit='0'/> <source dev='/dev/sda'/> <target dev='sdb' bus='scsi'/> <address type='drive' controller='0' bus='0' target='0' unit='1'/> <source dev='/dev/sdb'/> <target dev='sdc' bus='scsi'/> <address type='drive' controller='0' bus='0' target='0' unit='2'/> </disk> nutanix@NTNX-136e420e-A-CVM:172.16.16.21:~$ list_disks Slot Disk Model Serial Size 0 /dev/sda Virtual disk drive-scsi0-0-0-0 536 GB 1 /dev/sdb Virtual disk drive-scsi0-0-0-2 214 GB 2 /dev/sdc Virtual disk drive-scsi0-0-0-1 536 GB インストーラーにおけるディスクの認識 ハイパーバイザーにおけるディスクの認識 CVMにおけるディスクの認識
- 42. 42 @hanakara_milk フラグを回収-3 • ディスク認識のための試行錯誤，cluster createとdestroyを 繰り返す，そして次々起こる怪奇現象
- 43. 43 @hanakara_milk フラグを回収-3 • Nutanix CEにおけるディスクの新規追加の手順を応用して対処 – 1．Nutanixのcluster関連コマンドで追加したディスクのパーティショニングとファ イルシステムの定義を行う（次ページ以降に手順を記載） – 2．Nutanixのcluster関連コマンドでディスクをマウントする（次ページ以降に手順 を記載） – 3．Genesis（Nutanixノードのローカルサービス管理）とstargate（Nutanixの データI/Oマネージャー）を再起動する（次ページ以降に手順を記載） 教訓 マルチノードクラスターが必要な検証は，可能な限り物 理環境を用意する，Nutanix CEにおけるディスクの新 規追加の手順を応用して対処した
- 44. 44 @hanakara_milk 【参考】Nutanix CEのディスク追加 商用版のNutanixと異なり，Nutanix CEは，ディスクを追加しても自動で認識されな いため，事実上「つい先日まで」ディスクの追加ができなかった Nutanix CEでディスクを追加する場合は，以下の手順（超ざっくり）が必要だった 1．追加するディスクのシリアルを目視又はsmartctlで確認する 2．ホスト上でディスクの位置（/dev/sdXや/dev/bu-uuid）を確認する 3．ハイパーバイザー上の1．と2．で取得した情報を元にvirsh editでディスクの情報を追記する 4．/home/nutanix/cluster/bin/repartition_disks -d /dev/sdXで追加したディスクのパーティショニングを行う 5．/home/nutanix/cluster/bin/clean_disks -p /dev/sdXで追加したディスクのファイルシステムを設定する 6．/home/nutanix/cluster/bin/mount_disksでディスクをマウントする 7．Genesis（Nutanixノードのローカルサービス管理）とstargate（NutanixのデータI/Oマネージャー）を再起動する Nutanix CEにディスク追加のためのコマンドが実装（ce-2016.08.27-stable） Add Disk Simplification ... ce_add_disk ... provides an automated workflow for adding disks. NEW! /dev/sdXのXは，各自の環 境でマウントされていない ディスクに読み替える
- 45. 45 @hanakara_milk 【参考】Nested環境のディスク問題 なお，Nested環境で，ハイパーバイザー及びCVM上でディスクが認識されているにも 関わらず，クラスター構成時にディスクを見失っている場合は，前ページの手順6.及び7. の手順のみでディスクが見えるようになる（PRISM上への反映は少し時間が掛かる） 6．/home/nutanix/cluster/bin/mount_disksでディスクをマウントする 7．Genesis（Nutanixノードのローカルサービス管理）とstargate（NutanixのデータI/Oマネージャー）を再起動する この手順実施後，PRISM上でディスクが認識されると，自動的にストレージプール等の ディスク容量も拡張される ただし，この手順でディスクを認識させた場合，以下のような問題が残る DISK IDが4桁になる（通常は2桁） DISK USAGEの情報が取れなくなる
- 47. 47 @hanakara_milk Day 2Day 1 Day 3 March 2016 Day 5 AFSが発表 される AFS試す （しくじり先生編） AFS試す （激闘編） Day 4 ここまでのタイムライン おおー！と感心 する ノープランで AFSデプロイ開 始して，躓く Nested環境で 躓く，ディスク 認識で躓く
- 49. 49 @hanakara_milk 構成情報 • AFSを構成するに当たっての構成情報は以下のとおり 項目 値 Nutanixクラスター名 NTNXCL01 NutanixハイパーバイザーIPアドレス 172.16.16.11～14（4ノード構成） Nutanix CVM IPアドレス 172.16.16.21～14（4ノード構成） デフォルトゲートウェイ 172.16.16.254 VLAN 0 172.16.16.0/24 VLAN 254 172.16.254.0/24 VLAN 0 IP POOL 172.16.16.100～199（NVM構成時にNVMのIPアドレスやユーザVMに払い出される） VLAN 254 IP POOL 172.16.254.100～199（NVM構成時にNVMのIPアドレスやユーザーVMに払い出される） AFSファイルサーバー名 FS 共有ディレクトリ名 SH1 External Data Services IP address 172.16.16.26 Active Directory名 NTNX.LOCAL
- 50. 50 @hanakara_milk AFSの検証環境 VMware vSphere Nutanix Nutanix Nutanix Nutanix AD 172.16.16.0/24(VLAN 0) 172.16.254.0/24(VLAN 254) PortGroup NTNX PortGroup VM Win 10 NVM NVM NVM Internet 192.168.5.0/24 自宅内LAN 踏み台兼ルーター 操作端末
- 51. 51 @hanakara_milk 真のデプロイ開始 • File Serverのエンティティページから+ File Serverをクリック してAFSデプロイのウィザードを開始する
- 53. 53 @hanakara_milk VLAN設定 • 次にAFSで利用するInternalとExternalネットワークを選択 • 予め構成し設定済みのVLANをそれぞれ設定する（同一のVLAN をInternalとExternalに割り当てることはできない • 今回はInternalにVLAN 0，ExternalにVLAN 254を設定した Internal VLAN ID External VLAN ID
- 54. 54 @hanakara_milk VLAN設定備考 • 本来は逆にしたかった – もともと，インターネットアクセスが可能なVLAN 0上にAFSのクライアントPCとして 想定していたユーザーVMをインストールしていたため，後にVLAN 254上に，この ユーザVMを移した – この構成では，VLAN 0がNutanixにおけるネイティブVLANとなっていて，インター ネットアクセスは，このVLANしかなかった – AFSセットアップ中に，インターネットへのアクセスが必要らしく，このVLANを Internal VLANとせざるを得なかった
- 55. 55 @hanakara_milk 【参考】VLAN設定に関する注意 • ネットワーク構成における注意（Nested環境） – Nested Nutanixノードが所属するvSwitchのポートグループに無差別モード許可 及びVLAN ID 4095（Allowed All VLAN IDの全許可）を設定しておく必要がある – その他，VLAN間で通信した場合は，Tag VLANをルーティングできるルーターが必 要になる • ネットワーク構成における注意（物理環境） – Nutanix上で複数のVLANネットワークを構成した場合，ネイティブVLAN以外の ネットワークパケットは，NutanixのOVSから，Tag付きで吐き出される – 対向のスイッチは，トランクポートで受け取り，同一のスイッチか別途ルーターにて ルーティング処理をする必要がある
- 56. 56 @hanakara_milk DNS，NTP設定 • DNSサーバーとNTPサーバーを設定する • DNSはActive Directory構成時に構成したDNSサーバー ＝Active Directoryサーバー • NTPもActive Directoryサーバーとした DNSサーバー NTPサーバー
- 57. 57 @hanakara_milk DNS，NTP設定備考 • Nutanixクラスター全体でNICTのNPTを参照していたため，当 初，ntp.nict.jpと設定していた • しかし，AFSデプロイ中にNTPが取得できない旨のエラーが発生 • ログを見たところSPN絡み＋Kerberos認証絡みで必要なNTP の情報らしく，Active Directory上のタイムサービスを指定し たところうまく動作した • これが本当に適切な設定かは不明 – ご存じの方がいらしたら，是非@hanakara_milkまでメンションかDでおしえて下さ いませ
- 58. 58 @hanakara_milk ドメインへの参加設定 • 最後に，Active Directoryに参加するための，Active Directory名とAdministratorsに参加しているユーザーのク レデンシャルを入力して，Createボタンをクリック ドメイン名 Administratorsに 所属するユーザ
- 62. 62 @hanakara_milk Day 2Day 1 Day 3 March 2016 Day 5 AFSが発表 される AFSを試す （しくじり先生編） AFSを試す （激闘編） AFSを試す （激闘編） AFSを試す （激闘編）完 Day 4 AFSを試す （激闘編） ここまでのタイムライン おおー！と感心 する ノープランで AFSデプロイ開 始して，躓く Nested環境で 躓く，ディスク 認識でハマる VLAN設定，イ ンターネットア クセスでハマる ドメイン参加， NTP設定でハ マる ついに感動の フィナーレを迎 える ※発表の後質問があったので補足： 実際には，1日あたり数時間の作業で進めていったり，エラーが出てふて寝し てたこともあったので，5人日がっつりという訳ではありません
- 63. 63 @hanakara_milk 【参考】AFSデプロイ時のデバッグ • AFSのデプロイ中に詰まったら，主に次のログを参考にすると良 い（/home/nutanix/data/logs/minerva*） • /home/nutanix/data/logs/配下には，AFSのログだけでなく， Nutanixのプロセス（Zeus，Medusa，Curator，Cassandra， Stargate等）のログの吐き出し場所になっている • AFSのサービスプロセス名はminervaらしく，このキーワードの grepまたは，‘File Server’等のキーワードでgrepを掛けると， トラブルシュートがだいぶ楽になる
- 66. 66 @hanakara_milk 共有ディレクトリの作成 • AFSのデプロイが完了した時点では，あくまでファイルサーバー が起動しただけの状態 • 現時点で，PRISMからAFSデプロイ後に行う設定は1つのみ • ファイルサービスを利用するクライアントPC等に共有するための ディレクトリを作成する
- 67. 67 @hanakara_milk 共有ディレクトリの作成 • File Serverのエンティティページから+ Shareをクリックして 共有ディレクトリの作成ウィザードを開始する 共有ディレクトリ名
- 69. 69 @hanakara_milk AFSの機能の参照 • AFSのデプロイが完了すると，PRISM上からいくつかの情報が 見れるようになる • ここからは，以下の2つの方法でAFSの中身を見ていく 1. PRISM上でのAFSオーバービュー 2. NVM上でのAFSオーバービュー
- 71. 71 @hanakara_milk PRISMから見たAFS（File Server） • ここにはデプロイされたファイルサービス及びファイルサーバー 上に作成された共有ディレクトリの情報が表示されている
- 72. 72 @hanakara_milk PRISMから見たAFS（File Server） • Active Directoryに参加しているため，Active Directory上 ビルトインユーザーの情報も表示される Active Directoryのビルト インユーザの情報
- 73. 73 @hanakara_milk PRISMから見たAFS（File Server） • ファイルサービスで提供されるディスク領域の使用率やパフォー マンス情報，開かれているセッション数等の情報も見ることがで きる
- 76. 76 @hanakara_milk PRISMから見たAFS（Storage） • Volume Groupのタブを見ると，AFSデプロイ時に自動で作成さ れた3つのボリュームグループが見える
- 77. 77 @hanakara_milk PRISMから見たAFS（Storage） • なぜAFSはファイルレベルのサービスなのに，ブロックストレー ジサービスのABSのボリュームグループが構成されているの か？ • NVMが，どのストレージを領域をSambaのファイルサービス用に 提供しているのかを考えると理解できる • NVMはABSを利用し，iSCSI接続でAFS用のディスク領域をマウ ント，その領域をファイルサービス用のディスクとして提供する
- 78. 78 @hanakara_milk AFSのストレージ領域 CVM NVM NVM NVM Sambaのファイル共有 Samba用 ディスク Samba用 ディスク Samba用 ディスク Storage Pool ABS VM Container ISO Container SSD CVM CVM SSD SSD External Data Services IP address iSCSIでNVMのディスクとしてマウント Internal VLAN (VLAN 0) SMB/CIFSで接続 ExternalVLAN(VLAN254)
- 80. 80 @hanakara_milk NVMのsmb.conf • 以下，smb.confの抜粋，Shareで作成したSH1がsmb.confに も登録されていることがわかる nutanix@NTNX‐172‐16‐16‐185‐A‐NVM:~$ cat /home/samba/etc/smb.conf [global] server max protocol = SMB2_10 client max protocol = SMB2_10 cluster master = NTNX‐FS‐1.NTNX.LOCAL realm = NTNX.LOCAL netbios name = FS workgroup = NTNX cluster nodes = NTNX‐FS‐1.NTNX.LOCAL NTNX‐FS‐2.NTNX.LOCAL NTNX‐FS‐3.NTNX.LOCAL [SH1] vfs objects = minerva_shadow_copy streams_depot acl_xattr minerva create mask = 0777 directory mask = 0777 write cache size = 131072 acl_xattr:ignore system acls = yes path = /zroot/shares/%X/SH1 streams_depot:directory = /zroot/shares/%X/SH1/:streams ？！ PRISMから作成した共有ディレクトリ 3つのノードが登録されている
- 81. 81 @hanakara_milk AFSはZFSを使っていた • 以下，zpool statusの抜粋，NVMは，ZFSを利用していることが わかる nutanix@NTNX‐172‐16‐16‐185‐A‐NVM:~$ sudo zpool status pool: zpool‐NTNX‐FS‐57399a21‐e63a‐434c‐ab81‐0f073e3c3df8‐d43d7208‐b3ba‐4c24‐bf41‐93497645dfa5 state: ONLINE scan: none requested trim: none requested config: NAME STATE READ WRITE CKSUM zpool‐NTNX‐FS‐57399a21‐e63a‐434c‐ab81‐0f073e3c3df8‐d43d7208‐b3ba‐4c24‐bf41‐93497645dfa5 ONLINE 0 0 0 mpatha ONLINE 0 0 0 mpathc ONLINE 0 0 0 mpathe ONLINE 0 0 0 mpathd ONLINE 0 0 0 logs mpathb ONLINE 0 0 0 errors: No known data errors 5本のディスク（vDisk）を利用 したZFSが構成されている ZFSを利用している人には見慣 れた表示
- 82. 82 @hanakara_milk smbstatusでアクセス状況確認 • 通常のSambaと同様にsmbstatusで共有ディレクトリへのアク セスが確認できる nutanix@NTNX‐172‐16‐16‐100‐A‐NVM:~$ sudo smbstatus Samba version 4.3.5 PID Username Group Machine Protocol Version ‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐ 16056 administrator domain users 172.16.254.148 (ipv4:172.16.254.148:49792) SMB2_10 Service pid machine Connected at ‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐ SH1 16056 172.16.254.148 Mon Sep 26 19:40:35 2016 IPC$ 16056 172.16.254.148 Mon Sep 26 19:39:58 2016 Locked files: Pid Uid DenyMode Access R/W Oplock SharePath Name Time ‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐ 16056 1100500 DENY_NONE 0x100081 RDONLY NONE /zroot/shares/46a88363‐f464‐4709‐9a4e‐ 00f117f5ff63/SH1 . Mon Sep 26 19:41:25 2016 16056 1100500 DENY_NONE 0x100081 RDONLY NONE /zroot/shares/46a88363‐f464‐4709‐9a4e‐ 00f117f5ff63/SH1 Win10User Mon Sep 26 19:47:20 2016 アクセス元やロック中のファイル の情報など
- 83. 83 @hanakara_milk 調査不足（ToDo） • NVM側から見たAFSは，時間が無く，この程度までしか調べられ ていない • Samba，ZFS，それからiSCSI Initiator周りについては，もう少 し調べる時間がほしかった • Zpoolを構成するディスクが5本見えるのは，ABSで提供される Volume Groupが5本のディスクで構成されているから？
- 85. 85 @hanakara_milk AFSの応答について • AFSは，分散アーキテクチャを採用しているため，ファイルサー バーのいわゆるNASヘッドにあたる部分は，AFSのFQDNがこれ を担当している nutanix@NTNX‐136e420e‐A‐CVM:172.16.16.21:~$ nslookup fs.ntnx.local Server: 172.16.16.10 Address: 172.16.16.10#53 Name: fs.ntnx.local Address: 172.16.254.160 Name: fs.ntnx.local Address: 172.16.254.176 Name: fs.ntnx.local Address: 172.16.254.106
- 86. 86 @hanakara_milk AFSの応答について • 3台のNVMは，smb.confこそ共有しているが，クライアントPC などからのファイルへのアクセスについては，3台個別の管理と なっている模様 • あるファイルにアクセス中に，NVM3台それぞれでsmbstatus を実行，うち2台ではセッションがないことを確認 nutanix@NTNX‐172‐16‐16‐138‐A‐NVM:~$ sudo smbstatus Samba version 4.3.5 PID Username Group Machine Protocol Version ‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐ Service pid machine Connected at ‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐ No locked files nutanix@NTNX‐172‐16‐16‐185‐A‐NVM:~$ sudo smbstatus Samba version 4.3.5 PID Username Group Machine Protocol Version ‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐ Service pid machine Connected at ‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐ No locked files NTNX-FS-1 NTNX-FS-3
- 87. 87 @hanakara_milk AFSの応答について • 3台のNVMのうちの1台がセッションを張っていた nutanix@NTNX‐172‐16‐16‐100‐A‐NVM:~$ sudo smbstatus Samba version 4.3.5 PID Username Group Machine Protocol Version ‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐ 16056 administrator domain users 172.16.254.148 (ipv4:172.16.254.148:49792) SMB2_10 Service pid machine Connected at ‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐ SH1 16056 172.16.254.148 Mon Sep 26 19:40:35 2016 IPC$ 16056 172.16.254.148 Mon Sep 26 19:39:58 2016 Locked files: Pid Uid DenyMode Access R/W Oplock SharePath Name Time ‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐ 16056 1100500 DENY_NONE 0x100081 RDONLY NONE /zroot/shares/46a88363‐f464‐4709‐9a4e‐ 00f117f5ff63/SH1 . Mon Sep 26 19:41:25 2016 16056 1100500 DENY_NONE 0x100081 RDONLY NONE /zroot/shares/46a88363‐f464‐4709‐9a4e‐ 00f117f5ff63/SH1 Win10User Mon Sep 26 19:47:20 2016 NTNX-FS-2
- 88. 88 @hanakara_milk AFSの応答について NVM-1 NVM-2 NVM-3 Sambaのファイル共有 Samba用 ディスク Samba用 ディスク Samba用 ディスク ExternalVLAN(VLAN254) SMB/CIFSで接続 • すべてのNVMのSamba用ディスクに，ファイルが共通 的に保存されている訳ではなく，ファイルへのアクセス は，個々のNVM上にマウントされたSamba用のディス クに対して行われる • PC-AがファイルAにアクセスしたい場合，NVM-1にア クセスする必要がある • NVM-1が死んだ場合にファイルが失われてしまうので はないかという疑問は，ファイルの実体がどこに格納さ れているかを考えるとたぶん安心できる • 少しややこしいが，Samba用ディスクは，元々Nutanix のDSFを切り出したディスクであるため，3ノード以上の クラスターでは，RF=2以上でのファイルの保護が掛 かっている A C PC-A PC-B PC-C PC-D SH1 SH2 SH3
- 89. 89 @hanakara_milk 調査不足（ToDo） • AFSに対してクライアントPC等から必要とするファイルにアクセ スしたい場合に， FQDNでの呼び出しにおいて，適切なノードが どのように呼ばれているのかの仕組みが，まだ追えていない • 参考になりそうなBlogを見つけたが読み込めていない • 併せて，Nutanix Bibleをもう少し読み込む 参考 https://virtual‐ez.blogspot.jp/2016/02/deploying‐ nutanix‐acropolis‐file‐server.html
- 91. 91 @hanakara_milk 共有ディレクトリにアクセス • 先ほど作成した共有ディレクトリにアクセスする • アクセス方法は，WindowsのExplorer等から，AFSのFQDNを 入力，又はNET USEコマンド等でAFSのFQDNを叩いてアクセス 必要に応じてクレ デンシャルを入力
- 92. 92 @hanakara_milk 共有ディレクトリの階層とアクセス権 • 共有ディレクトリ直下は，フォルダ以外作成できない 共有ディレクトリ直下にテ キストファイルを作成しよ うとしたが拒否された
- 95. 95 @hanakara_milk 共有ディレクトリの階層とアクセス権 • AFSが提供するファイルサービスのディレクトリ構成は以下のと おり（図はNutanix Bible USから抜粋） 今回の例ではFS 今回の例ではSH1 今回の例では win10user一般ユーザーがフルコントール可能な世界
- 97. 97 @hanakara_milk AFSの所感 • 検証するためのハードルが高かった • 現時点で，動作要件を含むAFSの日本語情報がほとんどなく， Nutanix Bible（US）か外国の個人Blogのみが頼りだったため 難儀した • AFSの動作要件さえきっちり満たせていれば，数クリックと数カ所 の入力項目だけでファイルサービス機能をデプロイできる • 共有ディレクトリが作成されてしまえば，そこらへんのNASと使 い勝手はそれほど変わらないと思われる
- 98. 98 @hanakara_milk AFSの課題 • AFSの運用にはそれなりのスペックが要求される – AFSが正式リリースされれば，高額なNAS，ファイルサーバー専用機やユニファイド ストレージ装置に掛かるコストを削減できそうな機能だが，その分AFSの運用に必要 なスペックもそれなりに高い – ただ，ユニファイドストレージ装置のストレージコントローラーがXeon＋数十GBのメ モリから成り立っていることを考えると，その分の機能をNutanix側に寄せたと思え ば納得もできるかも
- 99. 99 @hanakara_milk AFSの課題 • AFSのデプロイ後，共有ディレクトリへのアクセスに困惑する – 現時点では，デプロイ後，特にTips等が表示されないため，どうやって共有ディレク トリにアクセスしたら良いかすぐに分からなかった – 最初は，External Data Services IP addressがファイルサービスへのアクセスア ドレスだと勘違いしていた • 個々の共有ディレクトリに対するアクセス権設定機能の不足 – 現時点で，ファイルサービスで提供する各共有ディレクトリ配下に対するアクセス権 の初期設定時における機能やポインタの表示が不足しているように感じる – AFSデプロイ直後にアクセス可能な共有ディレクトリから以下のアクセス権をユー ザーごとにどのように設定して行くのかのプラクティスが不足している
- 100. 100 @hanakara_milk 6. Conclusion - AFSまとめ -
- 101. 101 @hanakara_milk まとめ • AFSは，ビジネスのIT基盤をNutanixがAll-in-Oneで提供可能 とする，Nutanixのマネージドなファイルサーバー機能 • 数クリックで，可用性・耐障害性・スケーラビリティのあるファイル サーバーが構築できる • が…現時点で試すには，必要なリソース面でのハードルが高い • まだ機能面での実装に不足を感じる • 現時点でAFSは，開発版（Tech Preview（TP））
- 102. 102 @hanakara_milk AFSの動作要件（サマリ）-再掲 • 3つ以上のNutanixノード • 2つ以上のネットワーク • 各ネットワークの管理設定 • External Data Services IP addressの設定 • 1TiB以上のディスク領域 • ノードあたり約32GiB以上のメモリ • ノードあたり4つのvCPU • Active Directory • 内部用DNSサービス（サーバー） • NTPサービス（サーバー） • Active Directory，DNSサーバーの2つのVLANへの接続 • インターネットアクセス