クラスターネットワークについて

クラスターネットワークとは、仮想プライベートクラウド(VPC)内のソフトウェア定義ネットワークであり、複数のコンピューティングシステム(ノード)を接続するものである。 これらのシステム間の通信を改善し、高速なデータ転送と低遅延を実現します。 このサービスは、高性能コンピューティング(HPC)、大規模データ処理、人工知能(AI)モデルのトレーニングといった要求の厳しいタスクに最適です。 クラスターネットワークは高性能基準を満たすように構築されており、システム間の効率的で高速な通信に依存する環境に最適です。

各クラスタネットワークには、接続可能なコンポーネントの種類を定義する関連付けられたクラスタネットワークプロファイルがあります。 クラスターネットワーク内には、インスタンス、インターフェイス、サブネットといった基本的なネットワーク抽象化要素が用意されており、高性能ワークロードを構成するために必要な柔軟性と制御性を提供します。

主要機能は以下のとおりです:

高性能コンピューティング
AIトレーニングや複雑なシミュレーションなど、高帯域幅と低遅延が重要な要求の厳しい用途に適しています。

直接データ 転送 : 高度なネットワーク技術をサポートします。例えばリモートダイレクトメモリアクセス(RDMA)は、CPUを介さずに異なるノードのメモリ間で直接データ転送を可能にし、パフォーマンスをさらに向上させます。

分離と最適化
コンピュートリソースのグループに対して、高帯域幅かつ低レイテンシーのネットワーキングを提供します。 クラスタネットワークは、外部にルーティングされない独立した IPv4 アドレス空間に分離されています。
柔軟性とコントロール
既存のVPCネットワークに対する補助ネットワークとして機能します。 クラスターネットワークアタッチメントはVPCネットワークとは分離された状態を維持し、高速RDMAネットワークとVPCネットワークの統合をサポートします。

IBM Cloud® 以下のクラスターネットワークプロファイルをサポートします

IBM Cloud におけるクラスターネットワークの提供

NVIDIA ホッパー1

Hopper 1クラスタ・ネットワーク・プロファイルは、 NVIDIA H100 および H200 GPUを搭載し、NVLinkおよび400 Gbps RoCE v2 ネットワーキングで接続された高性能 IBM Cloud クラスタである。 Hopper 1はクラウド展開向けに最適化され、高メモリ帯域幅と低遅延GPU通信を備えた大規模AIトレーニングおよび推論向けに設計されています。

クラスタ・ネットワークの導入ガイド

クラスタネットワークは、ネットワーク化されたシステムグループ内のデータ転送の効率と速度を向上させ、ハイパフォーマンスコンピューティングタスクに不可欠なコンポーネントとなっています。

以下の一般的な手順に従って、AIトレーニング用のシンプルなクラスタネットワークを作成する:

  1. クラスタネットワーク の計画 に関する考慮事項を確認し、 既知の問題 を把握しておくこと。

  2. 作成するインスタンス数に、対応する インスタンスプロファイルで 定義されているリソースを乗じて、クラスタに必要な総リソースを決定します。

  3. 計算されたクラスタに必要な総リソースを デフォルトのクォータと 照らし合わせて、クォータの増加が必要かどうかを判断します。

  4. クラスタネットワークを作成する

  5. クラ スタ ネットワークの作成時にまだ行っていない場合は、クラスタ ネットワーク サブネットを作成してください。

  6. 以下のいずれかの方法を使用して仮想サーバーインスタンスを作成します:

    • 仮想サーバーインスタンスを作成します

    • インスタンス・テンプレートを作成 し、インスタンスを作成する。 必ず確認すること:

      • 必要なインスタンスプロファイルを選択してください。 ホッパー1では、利用可能なインスタンスプロファイルは と gx3d-160x1792x8h100 です gx3d-160x1792x8h200
      • クラスタリングを有効にする。
      • クラスタのサブネットに対応する添付ファイルを追加してください。

    インスタンステンプレートを作成すると、それを使用して単一の仮想サーバーインスタンスをプロビジョニングしたり、インスタンスグループの一部として複数のインスタンスを同時にプロビジョニングしたりできます。

クラスターネットワークの使用例

選択したインスタンス プロファイルに適合するユースケースを確認し、クラスタ ネットワーク展開に適した構成とセキュリティ対策を実施するための指針としてください。

ユースケース1: Hopper 1クラスターネットワークでRDMAを使用するための H100/H200 インスタンスのネットワーク接続

以下の図は、 H100/H200 インスタンスをHopper 1クラスターネットワークに接続し、 IBM Cloud でRDMAを有効にする方法を示しています。

まず、図に示すように クラスタネットワークサブネット を使用した クラスタネットワーク が設定されていることを確認してください。 次に、 H100 または H200 のインスタンスを、クラスターネットワークと VPC ネットワークの両方に接続します。 VPCネットワークはクラウドリソースを接続し、外部ルーティングを提供できます。 クラスターネットワークは、ノード間の直接接続を可能にするため、インスタンス内にインターフェイスを追加します。

H100 および H200 インスタンスをネットワーク接続し、 IBM Cloud で RDMA を使用する H100-enabled
1 有効インスタンスをネットワーク接続し、 IBM Cloud で RDMA を使用する

使用例 2:IBM Cloudエコシステムの他の部分からクラスター・ネットワークを保護する

クラスターネットワークは、VPCネットワークとは別のネットワークドメイン内で動作します。 この分離により、セキュリティグループ、ネットワークACL、ルーティングテーブルなどのアクセス制御を必要とせずにセキュリティが確保されます。 クラスタネットワーク内での通信は、クラスタネットワークに直接接続されているデバイス間でのみ発生します。

クラスターネットワークに接続されているリソースは、少なくとも1つのVPCネットワークにも接続する必要があります。 VPCネットワークは、 フローティングIP アドレス、パブリックゲートウェイ、トランジットゲートウェイなど、すべての標準的なVPCリソースをサポートしています。 クラスタネットワーク上のリソースに接続されている仮想ネットワークインターフェイス(VNI)のセキュリティポリシーを見直すことを推奨します。

エコ
IBM Cloudの他の部分からクラスタ・ネットワークを保護するエコシステムIBM Cloudの他の部分からクラスタ・ネットワークを保護する
システム*の他の部分からクラスタ・ネットワークを保護する

クラスタネットワークへのアクセスを最小限に抑えるために:

  • クラスターネットワークに接続されているインスタンスのみにアクセスを制限する。

  • クラスターネットワークへのアクセス権を持つ各インスタンスのVNIに対して、厳格なセキュリティグループを設定します。

    インバウンド TCP リクエストを注意深くガードし、アウトバウンド TCP リクエストをガードすることを検討する。 詳細は、リソースのセキュリティグループの設定 を参照してください。

  • クラスターネットワーク対応インスタンスに接続されているサブネットには、適切なネットワークアクセス制御リスト(ACL)が設定されていることを確認してください。

  • クラスタのネットワーク権限に関するIAMポリシーを設定します。