NVIDIA Profilo di rete cluster Hopper 1

Il profilo di rete cluster Hopper 1 (hopper-1) fornisce reti isolate per le istanze Hopper HGX dell' NVIDIA che eseguono carichi di lavoro che richiedono un'interconnettività ad alta larghezza di banda e bassa latenza, come l'addestramento dell'IA e le simulazioni su larga scala.

Il profilo di rete cluster Hopper 1, che supporta sia i profili di istanz NVIDIA H100 e H200, sostituisce il profilo di rete cluster H100, ormai obsoleto.

Panoramica

Il profilo di rete cluster Hopper 1 supporta l'accesso diretto alla memoria remota (RDMA) tramite il protocollo di rete Convergent Ethernet v2 ( RoCEv2 ) per aumentare la velocità di trasmissione, ridurre la latenza e migliorare le prestazioni del sistema.

Per un elenco dei profili di istanza supportati con questa rete cluster, vedere Profili di istanza Hopper HGX.

Disponibilità

Attualmente, l'uso del profilo di rete cluster Hopper 1 è disponibile nelle seguenti regioni e zone supportate:

Regioni e zone supportate per Hopper 1
Regione Zona Nome zona universale
Francoforte (eu-de) eu-de-2 eu-de-fra04-a
Washington DC (us-east) us-east-3 us-east-wdc07-a
Chennai - Airtel (in-che) solo H200 in-che-1 in-che-che02-a

Per comprendere in che modo le varie regioni corrispondono alle zone, consulta la mappatura delle zone per account.

Capacità e limitazioni

Il profilo Hopper 1 della rete cluster presenta le seguenti funzionalità e limitazioni:

  • Tipo: Dedicato
  • Larghezza di banda: 3.2 Tbps ( 8x 400 Gbps)
  • Tabelle di routing personalizzate: No
  • Server di percorso dinamico: No
  • Gateway endpoint: No
  • IP fluttuanti: No
  • Registri di flusso: No
  • LBaaS: No
  • NVLink: Sì (900 GB/s)
  • Percorso privato: No
  • Porta pubblica: No
  • IP riservati: Sì
  • IP secondari: No
  • VPN: No

Configurazione NCCL testata

La libreria di comunicazione collettiva (NCCL) dell' NVIDIA è in grado di determinare i percorsi ottimali tra i componenti del sistema, inclusi GPU e NIC, facendo riferimento alle informazioni sulla topologia PCI fornite da VSI. Questo file di topologia è stato testato per un VSI di H100 con otto sottoreti cluster e può essere utilizzato se si desidera fornire un file di topologia che utilizza la variabile NCCL_TOPO_FILE di ambiente.

Le seguenti informazioni forniscono le regolazioni NCCL testate per un profilo H100 VM con una rete cluster a 8 sottoreti. Tutti i test sono stati eseguiti sulla versione NCCL 2.22.3. Per ulteriori informazioni, consultare il sito NVIDIA Documentazione NCCL.

export NCCL_IB_PCI_RELAXED_ORDERING=2
export NCCL_IB_QPS_PER_CONNECTION=16
export NCCL_IB_ADAPTIVE_ROUTING=1
export NCCL_IB_TIMEOUT=22
export NCCL_IB_RETRY_CNT=10
export NCCL_CHECKS_DISABLE=1
export NCCL_CHECK_POINTERS=0
export NCCL_CROSS_NIC=2
export NCCL_ASYNC_ERROR_HANDLING=1
export TORCH_NCCL_ASYNC_ERROR_HANDLING=1
export NCCL_SOCKET_NTHREADS=4
export NCCL_NSOCKS_PERTHREAD=4
export NCCL_IB_HCA=mlx5_0,mlx5_1,mlx5_2,mlx5_3,mlx5_4,mlx5_5,mlx5_6,mlx5_7 # valid for an 8-subnet cluster network
export NCCL_TOPO_FILE=<path-to-xml-topology-file> #Sample file provided below, valid for gx3d-160x1792x8h100 profile VSI, with an 8-subnet cluster network