オンプレ&Azureハイブリッド仮想基盤、Azure Stack HCI構築と既存基盤からの仮想マシン移行

Transcript

1. オンプレ&Azureハイブリッド仮想基盤
   Azure Stack HCI構築と
   既存基盤からの仮想マシン移行
   グリー株式会社
   開発本部 情報システム部
   ITマネジメントグループ IT基盤チーム
   新澤 千明
   

   View Slide

2. 目次
   1. 導入編
   a. 利用目的と構成
   b. どうしてAzureStackHCIにしたのか
   2. 構築編
   a. 構築と移行の流れ
   b. まずオンプレHyper-v基盤として動かそう
   c. OSを新しいバージョンで入れなおそう
   d. ネットワークアダプタのドライバ探し
   e. ディスクのファームはiDRACから入れる
   f. Network ATC の設定大変でした
   g. コマンドはサーバに直接ログオンして実行する
   3. 運用編
   a. 記憶域のサイジングについて
   b. 仮想マシンを転送しよう
   c. WACで全て管理できると思っていた
   d. 仮想マシンが意図しないノードに移動する
   e. トラブル発生・容量がたりない
   2
   

   View Slide

3. 1. 導入編
   a. 利用目的と構成
   b. どうしてAzureStackHCIにしたのか
   2. 構築編
   a. 構築と移行の流れ
   b. まずオンプレHyper-v基盤として動かそう
   c. OSを新しいバージョンで入れなおそう
   d. ネットワークアダプタのドライバ探し
   e. ディスクのファームはiDRACから入れる
   f. Network ATC の設定大変でした
   g. コマンドはサーバに直接ログオンして実行する
   3. 運用編
   a. 記憶域のサイジングについて
   b. 仮想マシンを転送しよう
   c. WACで全て管理できると思っていた
   d. 仮想マシンが意図しないノードに移動する
   e. トラブル発生・容量がたりない
   3
   

   View Slide

4. ● 構成
   ○ WindowsServerの仮想マシンを格納する仮想基盤として利用する
   ○ 全社で利用する各種サーバに利用
   利用目的と構成
   4
   DC AzureStackHCI格納VM
   ActiveDirectory他認証系
   DNS
   DHCP
   基幹系システム
   ファイルストレージ
   他アプリケーションサーバ
   など100VM弱
   

   View Slide

5. 1. 導入編
   a. 利用目的と構成
   b. どうしてAzureStackHCIにしたのか
   2. 構築編
   a. 構築と移行の流れ
   b. まずオンプレHyper-v基盤として動かそう
   c. OSを新しいバージョンで入れなおそう
   d. ネットワークアダプタのドライバ探し
   e. ディスクのファームはiDRACから入れる
   f. Network ATC の設定大変でした
   g. コマンドはサーバに直接ログオンして実行する
   3. 運用編
   a. 記憶域のサイジングについて
   b. 仮想マシンを転送しよう
   c. WACで全て管理できると思っていた
   d. 仮想マシンが意図しないノードに移動する
   e. トラブル発生・容量がたりない
   5
   

   View Slide

6. どうしてAzureStackHCIにしたのか
   ● HCI入れ替えの経緯
   ○ 既存のHyper-V ClusterがEOLになってリプレイスが必要に
   ○ Azureとオンプレの統合管理に夢を見た
   ○ 将来の機能追加でAzureとオンプレ間仮想マシン移動で柔軟な運用ができると聞いた
   ○ そもそもなぜオンプレにしたのか
   ■ スケールアウト・スケールアップしないサーバなら
   オンプレのほうがコストメリットがある
   ■ 障害発生時の切り分けが容易なことが多い
   

   View Slide

7. 1. 導入編
   a. 利用目的と構成
   b. どうしてAzureStackHCIにしたのか
   2. 構築編
   a. 構築と移行の流れ
   b. まずオンプレHyper-v基盤として動かそう
   c. OSを新しいバージョンで入れなおそう
   d. ネットワークアダプタのドライバ探し
   e. ディスクのファームはiDRACから入れる
   f. Network ATC の設定大変でした
   g. コマンドはサーバに直接ログオンして実行する
   3. 運用編
   a. 記憶域のサイジングについて
   b. 仮想マシンを転送しよう
   c. WACで全て管理できると思っていた
   d. 仮想マシンが意図しないノードに移動する
   e. トラブル発生・容量がたりない
   7
   

   View Slide

8. 構築と移行の流れ
   ● WACのウィザードでAzureStackHCIを構築する
   ○ OSを入れなおす
   ○ 管理用ネットワークアダプタのドライバを入れる
   ○ NetworkATCを設定する
   ○ ディスクのドライバを iDRACから入れる
   ○ 中略
   ● 既存環境から仮想マシンを移行する
   ○ バックアップアプライアンスで転送する
   ○ Exportコマンドで転送する
   ● うごく！
   8
   

   View Slide

9. 1. 導入編
   a. 利用目的と構成
   b. どうしてAzureStackHCIにしたのか
   2. 構築編
   a. 構築と移行の流れ
   b. まずオンプレHyper-v基盤として動かそう
   c. OSを新しいバージョンで入れなおそう
   d. ネットワークアダプタのドライバ探し
   e. ディスクのファームはiDRACから入れる
   f. Network ATC の設定大変でした
   g. コマンドはサーバに直接ログオンして実行する
   3. 運用編
   a. 記憶域のサイジングについて
   b. 仮想マシンを転送しよう
   c. WACで全て管理できると思っていた
   d. 仮想マシンが意図しないノードに移動する
   e. トラブル発生・容量がたりない
   9
   

   View Slide

10. まずオンプレHyper-v基盤として動かそう
    ● 構成
    ○ DELL AX-7525 * 3NodeCluster
    ○ DELL S5248F-ON * 2
    ○ S2D 実効21.1TB(3Way Mirror) All NVMe Storage pool
    10
    

    View Slide

11. 1. 導入編
    a. 利用目的と構成
    b. どうしてAzureStackHCIにしたのか
    2. 構築編
    a. 構築と移行の流れ
    b. まずオンプレHyper-v基盤として動かそう
    c. OSを新しいバージョンで入れなおそう
    d. ネットワークアダプタのドライバ探し
    e. ディスクのファームはiDRACから入れる
    f. Network ATC の設定大変でした
    g. コマンドはサーバに直接ログオンして実行する
    3. 運用編
    a. 記憶域のサイジングについて
    b. 仮想マシンを転送しよう
    c. WACで全て管理できると思っていた
    d. 仮想マシンが意図しないノードに移動する
    e. トラブル発生・容量がたりない
    11
    

    View Slide

12. ● 1ノードだけ挙動がおかしかった。WMIが起動していない。
    ● WMIを起動しなおすだけならすぐに終わるが、他に挙動がおかしいところがあるか
    わからなかった。
    ● 次のバージョンがすでに公開されているし、OSを入れなおしてしまおう。
    ● Learnの情報を参考にする。
    https://learn.microsoft.com/en-us/azure-stack/hci/deploy/create-cl
    uster
    OSを新しいバージョンで入れなおそう
    12
    

    View Slide

13. ● OSはMS公式からダウンロードする。DELL独自のカスタマイズイメージはない。
    ● AX-7525のダウンロードサイトにNICのドライバがない。
    OSを新しいバージョンで入れなおそう
    13
    

    View Slide

14. 1. 導入編
    a. 利用目的と構成
    b. どうしてAzureStackHCIにしたのか
    2. 構築編
    a. 構築と移行の流れ
    b. まずオンプレHyper-v基盤として動かそう
    c. OSを新しいバージョンで入れなおそう
    d. ネットワークアダプタのドライバ探し
    e. ディスクのファームはiDRACから入れる
    f. Network ATC の設定大変でした
    g. コマンドはサーバに直接ログオンして実行する
    3. 運用編
    a. 記憶域のサイジングについて
    b. 仮想マシンを転送しよう
    c. WACで全て管理できると思っていた
    d. 仮想マシンが意図しないノードに移動する
    e. トラブル発生・容量がたりない
    14
    

    View Slide

15. ネットワークアダプタのドライバ探し
    ● WACでの構築中、NetworkATCを設定するときにドライバを入れておく必要があ
    る。
    ● AzureStackHCI用のAX-7525とPowerEdge R7525はハードウェア構成が同
    じ。
    ○ PowerEdge R7525用のダウンロードサイトで落とす。
    ○ WindowsServer 2022用のドライバを使う。
    15
    

    View Slide

16. 1. 導入編
    a. 利用目的と構成
    b. どうしてAzureStackHCIにしたのか
    2. 構築編
    a. 構築と移行の流れ
    b. まずオンプレHyper-v基盤として動かそう
    c. OSを新しいバージョンで入れなおそう
    d. ネットワークアダプタのドライバ探し
    e. ディスクのファームはiDRACから入れる
    f. Network ATC の設定大変でした
    g. コマンドはサーバに直接ログオンして実行する
    3. 運用編
    a. 記憶域のサイジングについて
    b. 仮想マシンを転送しよう
    c. WACで全て管理できると思っていた
    d. 仮想マシンが意図しないノードに移動する
    e. トラブル発生・容量がたりない
    16
    

    View Slide

17. ディスクのファームはiDRACから入れる
    ● NVMeのファームは、ディスクが動いていると入らない
    ○ iDRACからインストールしよう
    ○ Integrated Dell Remote Access Controller(iDRAC)Webインターフェイスを使用してファー
    ムウェアをリモートでアップデートする方法
    17
    

    View Slide

18. 1. 導入編
    a. 利用目的と構成
    b. どうしてAzureStackHCIにしたのか
    2. 構築編
    a. 構築と移行の流れ
    b. まずオンプレHyper-v基盤として動かそう
    c. OSを新しいバージョンで入れなおそう
    d. ネットワークアダプタのドライバ探し
    e. ディスクのファームはiDRACから入れる
    f. Network ATC の設定大変でした
    g. コマンドはサーバに直接ログオンして実行する
    3. 運用編
    a. 記憶域のサイジングについて
    b. 仮想マシンを転送しよう
    c. WACで全て管理できると思っていた
    d. 仮想マシンが意図しないノードに移動する
    e. トラブル発生・容量がたりない
    18
    

    View Slide

19. Network ATC の設定大変でした
    ● うっかりMTUの設定をミスる。
    ○ 9014にすべきところを1514にしてしまう。
    ○ ドキュメントが見つからない。
    ○ コマンドを叩いて調べた。
    19
    

    View Slide

20. 1. 導入編
    a. 利用目的と構成
    b. どうしてAzureStackHCIにしたのか
    2. 構築編
    a. 構築と移行の流れ
    b. まずオンプレHyper-v基盤として動かそう
    c. OSを新しいバージョンで入れなおそう
    d. ネットワークアダプタのドライバ探し
    e. ディスクのファームはiDRACから入れる
    f. Network ATC の設定大変でした
    g. コマンドはサーバに直接ログオンして実行する
    3. 運用編
    a. 記憶域のサイジングについて
    b. 仮想マシンを転送しよう
    c. WACで全て管理できると思っていた
    d. 仮想マシンが意図しないノードに移動する
    e. トラブル発生・容量がたりない
    20
    

    View Slide

21. コマンドはサーバに直接ログオンして実行する
    ● ローカルPCのPowerShellからEnter-PSSessionで入って実行するとコケるのが
    ある。
    ○ AzureStackHCIの各ノードに直接ログオンして構築すべき。
    21
    

    View Slide

22. 1. 導入編
    a. 利用目的と構成
    b. どうしてAzureStackHCIにしたのか
    2. 構築編
    a. 構築と移行の流れ
    b. まずオンプレHyper-v基盤として動かそう
    c. OSを新しいバージョンで入れなおそう
    d. ネットワークアダプタのドライバ探し
    e. ディスクのファームはiDRACから入れる
    f. Network ATC の設定大変でした
    g. コマンドはサーバに直接ログオンして実行する
    3. 運用編
    a. 記憶域のサイジングについて
    b. 仮想マシンを転送しよう
    c. WACで全て管理できると思っていた
    d. 仮想マシンが意図しないノードに移動する
    e. トラブル発生・容量がたりない
    22
    

    View Slide

23. 記憶域のサイジングについて
    ● 気が付いたら容量がカツカツにならないように、空き容量を確認しよう。
    23
    

    View Slide

24. ● Windows Admin CenterのDashboardに警告機能が付いた。
    記憶域のサイジングについて
    24
    

    View Slide

25. 1. 導入編
    a. 利用目的と構成
    b. どうしてAzureStackHCIにしたのか
    2. 構築編
    a. 構築と移行の流れ
    b. まずオンプレHyper-v基盤として動かそう
    c. OSを新しいバージョンで入れなおそう
    d. ネットワークアダプタのドライバ探し
    e. ディスクのファームはiDRACから入れる
    f. Network ATC の設定大変でした
    g. コマンドはサーバに直接ログオンして実行する
    3. 運用編
    a. 記憶域のサイジングについて
    b. 仮想マシンを転送しよう
    c. WACで全て管理できると思っていた
    d. 仮想マシンが意図しないノードに移動する
    e. トラブル発生・容量がたりない
    25
    

    View Slide

26. 仮想マシンを転送しよう
    ● AzureMigrate(Private Preview)で仮想マシンを転送しよう
    ○ プライベートプレビューに招待してもらえた　★日本初★
    ○ Azure → Azureのリージョン間転送では仮想マシン転送が数秒。期待できる！と思った。
    26
    

    View Slide

27. 仮想マシンを転送しよう
    ● AzureMigrateを使わなかった理由
    ○ 機能が十分ではなかったが、 Private Preview段階だったため仕方ない。
    ■ 転送中仮想マシンを止めねばならないが、 15分～30分かかる。
    ■ ネットワークアダプタが変わって固定 IPアドレスが消える。
    ■ これらは開発が進むにつれ、改善されていくそうです。
    27
    

    View Slide

28. 仮想マシンを転送しよう
    ● AzureMigrateの転送料金
    ○ 管理VMがus-centralにある。
    ○ データが日本リージョンから us-centralを経由して戻ってくるのでは
    リージョン間転送量がかさむのではないか、という不安。
    ○ 管理VMを経由するのはメタデータのみ。
    ○ 仮想マシンのデータはオンプレ toオンプレで転送される。
    28
    

    View Slide

29. 仮想マシンを転送しよう
    ● バックアップアプライアンスを用いて転送した
    29
    

    View Slide

30. 仮想マシンを転送しよう
    ● スナップショットを取れない構成の仮想マシンはexportコマンドを使う
    30
    

    View Slide

31. 仮想マシンを転送しよう
    ● NLBを組んでいる仮想マシンは転送経路上のスイッチにNLB許容する
    31
    

    View Slide

32. 1. 導入編
    a. 利用目的と構成
    b. どうしてAzureStackHCIにしたのか
    2. 構築編
    a. 構築と移行の流れ
    b. まずオンプレHyper-v基盤として動かそう
    c. OSを新しいバージョンで入れなおそう
    d. ネットワークアダプタのドライバ探し
    e. ディスクのファームはiDRACから入れる
    f. Network ATC の設定大変でした
    g. コマンドはサーバに直接ログオンして実行する
    3. 運用編
    a. 記憶域のサイジングについて
    b. 仮想マシンを転送しよう
    c. WACで全て管理できると思っていた
    d. 仮想マシンが意図しないノードに移動する
    e. トラブル発生・容量がたりない
    32
    

    View Slide

33. WACで全て管理できると思っていた
    ● WACで全て管理できると思っていた
    ○ ユーザーごとに仮想マシン管理権限を付与できない
    ○ 障害でWACから表示が消えた仮想マシンを復旧させるときは、
    結局Hyper-vManagerやFailoverClusterManagerを使った。
    33
    

    View Slide

34. 1. 導入編
    a. 利用目的と構成
    b. どうしてAzureStackHCIにしたのか
    2. 構築編
    a. 構築と移行の流れ
    b. まずオンプレHyper-v基盤として動かそう
    c. OSを新しいバージョンで入れなおそう
    d. ネットワークアダプタのドライバ探し
    e. ディスクのファームはiDRACから入れる
    f. Network ATC の設定大変でした
    g. コマンドはサーバに直接ログオンして実行する
    3. 運用編
    a. 記憶域のサイジングについて
    b. 仮想マシンを転送しよう
    c. WACで全て管理できると思っていた
    d. 仮想マシンが意図しないノードに移動する
    e. トラブル発生・容量がたりない
    34
    

    View Slide

35. 仮想マシンが意図しないノードに移動する
    ● 以前のWACでは意図したノードに仮想マシンを転送できなかった。
    ○ どのホストを選んでも、内部的に Recommendedなホストに強制移動される
    ○ WACの機能が拡充されるとともに、 GUIで指定した移動先ホストに転送されるようになった
    35
    

    View Slide

36. 1. 導入編
    a. 利用目的と構成
    b. どうしてAzureStackHCIにしたのか
    2. 構築編
    a. 構築と移行の流れ
    b. まずオンプレHyper-v基盤として動かそう
    c. OSを新しいバージョンで入れなおそう
    d. ネットワークアダプタのドライバ探し
    e. ディスクのファームはiDRACから入れる
    f. Network ATC の設定大変でした
    g. コマンドはサーバに直接ログオンして実行する
    3. 運用編
    a. 記憶域のサイジングについて
    b. 仮想マシンを転送しよう
    c. WACで全て管理できると思っていた
    d. 仮想マシンが意図しないノードに移動する
    e. トラブル発生・容量がたりない
    36
    

    View Slide

37. トラブル発生・容量がたりない
    ● トラブル発生・容量がたりない
    ○ 外部ストレージはAzureStackHCIのホストから
    マウントできない
    ○ 容量追加が必要な場合はノードを追加して対処する。
    37
    

    View Slide

38. 38
    

    View Slide