NVIDIA Perfil de red del clúster Hopper 1
El perfil de red de clúster Hopper 1 (hopper-1) proporciona redes aisladas para instancias Hopper HGX de NVIDIA que ejecutan cargas de trabajo que requieren
una interconectividad de gran ancho de banda y baja latencia, como el entrenamiento de IA y las simulaciones a gran escala.
El perfil de red de clúster Hopper 1, que admite los perfiles de instanci NVIDIAH100 y H200, sustituye al perfil de red de clúster H100, que ha quedado obsoleto.
Visión general
El perfil de red del clúster Hopper 1 admite el acceso directo a memoria remota (RDMA) a través del protocolo de red Convergent Ethernet v2 ( RoCEv2 ) para aumentar el rendimiento, reducir la latencia y mejorar el rendimiento del sistema.
Para obtener una lista de los perfiles de instancia compatibles con esta red de clústeres, consulte Perfiles de instancia Hopper HGX.
Disponibilidad
Actualmente, el uso del perfil de red de clúster Hopper 1 está disponible en las siguientes regiones y zonas compatibles:
| Región | Zona | Nombre de zona universal |
|---|---|---|
Frankfurt (eu-de) |
eu-de-2 |
eu-de-fra04-a |
Washington DC (us-east) |
us-east-3 |
us-east-wdc07-a |
Chennai - Airtel (in-che) Solo H200 |
in-che-1 |
in-che-che02-a |
Para comprender cómo las distintas regiones se corresponden con las zonas, consulte la asignación de zonas por cuenta.
Capacidades y restricciones
El perfil Hopper 1 de la red de clústeres tiene las siguientes capacidades y restricciones:
- Tipo: Dedicado
- Ancho de banda: 3.2 Tbps ( 8x 400 Gbps)
- Tablas de enrutamiento personalizadas: No
- Servidores de rutas dinámicas: No
- Pasarelas de punto final: No
- IPs flotantes: No
- Registros de flujo: No
- LBaaS: No
- NVLink: Sí (900 GB/s)
- Camino privado: No
- Portal público: No
- IPs reservadas: Sí
- IPs secundarias: No
- VPN: No
Configuración NCCL probada
La biblioteca de comunicaciones colectivas ( NVIDIA, NCCL) puede determinar las rutas óptimas entre los componentes del sistema, incluidas las GPU y las NIC, tomando como referencia la información de topología PCI proporcionada por VSI. Este
archivo de topología se ha probado para un VSI de H100 con ocho subredes de clúster y se puede utilizar si desea proporcionar un archivo de topología que utilice
la variable NCCL_TOPO_FILE de entorno.
La siguiente información proporciona sintonizaciones NCCL probadas para un perfil H100 VM con una red de clúster de 8 subredes. Todas las pruebas se realizaron con la versión de NCCL 2.22.3. Para más información, consulte la documentación de NVIDIA NCCL.
export NCCL_IB_PCI_RELAXED_ORDERING=2
export NCCL_IB_QPS_PER_CONNECTION=16
export NCCL_IB_ADAPTIVE_ROUTING=1
export NCCL_IB_TIMEOUT=22
export NCCL_IB_RETRY_CNT=10
export NCCL_CHECKS_DISABLE=1
export NCCL_CHECK_POINTERS=0
export NCCL_CROSS_NIC=2
export NCCL_ASYNC_ERROR_HANDLING=1
export TORCH_NCCL_ASYNC_ERROR_HANDLING=1
export NCCL_SOCKET_NTHREADS=4
export NCCL_NSOCKS_PERTHREAD=4
export NCCL_IB_HCA=mlx5_0,mlx5_1,mlx5_2,mlx5_3,mlx5_4,mlx5_5,mlx5_6,mlx5_7 # valid for an 8-subnet cluster network
export NCCL_TOPO_FILE=<path-to-xml-topology-file> #Sample file provided below, valid for gx3d-160x1792x8h100 profile VSI, with an 8-subnet cluster network