NVIDIA ホッパー1クラスターネットワークプロファイル

Hopper 1クラスターネットワークプロファイル（hopper-1）は、AIトレーニングや大規模シミュレーションなど、高帯域幅・低遅延の相互接続性を必要とするワークロードを実行する NVIDIA Hopper HGX インスタンス向けに、分離されたネットワークを提供します。

Hopper 1クラスターネットワークプロファイルは、 NVIDIA、 H100、および H200 のインスタンスプロファイルをサポートし、廃止予定の H100 クラスターネットワークプロファイルに取って代わります。

概要

Hopper 1クラスターネットワークプロファイルは、スループットの向上、レイテンシの低減、およびシステムパフォーマンスの改善を実現するため、収束型イーサネット v2 （ RoCEv2 ）ネットワークプロトコルを介したリモートダイレクトメモリアクセス（RDMA）をサポートします。

このクラスターネットワークでサポートされているインスタンスプロファイルの一覧については、 Hopper HGX インスタンスプロファイルを参照してください。

可用性

現在、Hopper 1クラスターネットワークプロファイルは、以下のサポート対象リージョンおよびゾーンで利用可能です：

ホッパー1の対応地域およびゾーン
リージョン	ゾーン	ユニバーサルゾーン名
フランクフルト（`eu-de`）	`eu-de-2`	`eu-de-fra04-a`
ワシントンDC（`us-east`）	`us-east-3`	`us-east-wdc07-a`
チェンナイ - Airtel (`in-che`) H200 のみ	`in-che-1`	`in-che-che02-a`

各地域がどのゾーンに対応しているかを理解するには、を参照してくださいアカウントごとのゾーンマッピング。

機能と制限事項

クラスターネットワーク Hopper 1 プロファイルには、以下の機能と制限があります：

タイプ専用
帯域幅： 3.2 Tbps ( 8x 400 Gbps)
カスタムのルーティングテーブルいいえ
ダイナミック・ルート・サーバーいいえ
エンドポイントゲートウェイなし
フローティングIP：いいえ
フロウログ：なし
LBaaS: いいえ
NVLink：はい (900 GB/秒)
私道：いいえ
公共ゲートウェイ：なし
予約IPあり
セカンダリーIPいいえ
VPN：なし

テストされたNCCLの構成

NVIDIA コレクティブ通信ライブラリ（NCCL）は、VSIが提供するPCIトポロジー情報を参照することで、GPUやNICを含むシステムコンポーネント間の最適経路を決定できる。このトポロジファイルは、8つのクラスターサブネットを持つ H100 VSIでテスト済みです。環境 NCCL_TOPO_FILE 変数を使用するトポロジファイルを提供したい場合に利用できます。

次の情報は、8サブネットのクラスタネットワークを持つ H100 VM プロファイルのテスト済みNCCLチューニングです。すべてのテストは、NCCL バージョン 2.22.3 で行われた。詳細については、 NVIDIA NCCLのドキュメントを参照。

export NCCL_IB_PCI_RELAXED_ORDERING=2
export NCCL_IB_QPS_PER_CONNECTION=16
export NCCL_IB_ADAPTIVE_ROUTING=1
export NCCL_IB_TIMEOUT=22
export NCCL_IB_RETRY_CNT=10
export NCCL_CHECKS_DISABLE=1
export NCCL_CHECK_POINTERS=0
export NCCL_CROSS_NIC=2
export NCCL_ASYNC_ERROR_HANDLING=1
export TORCH_NCCL_ASYNC_ERROR_HANDLING=1
export NCCL_SOCKET_NTHREADS=4
export NCCL_NSOCKS_PERTHREAD=4
export NCCL_IB_HCA=mlx5_0,mlx5_1,mlx5_2,mlx5_3,mlx5_4,mlx5_5,mlx5_6,mlx5_7 # valid for an 8-subnet cluster network
export NCCL_TOPO_FILE=<path-to-xml-topology-file> #Sample file provided below, valid for gx3d-160x1792x8h100 profile VSI, with an 8-subnet cluster network