NVIDIA Hopper 1 클러스터 네트워크 프로필

Hopper 1 클러스터 네트워크 프로필(hopper-1)은 AI 훈련 및 대규모 시뮬레이션과 같이 높은 대역폭과 낮은 지연 시간이 필요한 상호 연결성을 요구하는 워크로드를 실행하는 NVIDIA Hopper HGX 인스턴스를 위한 격리된 네트워크를 제공합니다.

Hopper 1 클러스터 네트워크 프로필은 NVIDIAH100 및 H200 인스턴스 프로필을 모두 지원하며, 더 이상 사용되지 않는 H100 클러스터 네트워크 프로필을 대체합니다.

개요

Hopper 1 클러스터 네트워크 프로파일은 통합 이더넷 v2 ( RoCEv2 ) 네트워크 프로토콜을 통한 원격 직접 메모리 액세스(RDMA)를 지원하여 처리량 증가, 지연 시간 감소 및 시스템 성능 향상을 실현합니다.

이 클러스터 네트워크에서 지원되는 인스턴스 프로파일 목록은 Hopper HGX 인스턴스 프로파일을 참조하십시오.

가용성

현재 Hopper 1 클러스터 네트워크 프로필은 다음 지원 지역 및 영역에서 사용할 수 있습니다:

Hopper 1 지원 지역 및 구역
지역	구역	범용 영역 이름
프랑크푸르트(`eu-de`)	`eu-de-2`	`eu-de-fra04-a`
워싱턴 DC(`us-east`)	`us-east-3`	`us-east-wdc07-a`
첸나이 - 에어텔 (`in-che`) H200 전용	`in-che-1`	`in-che-che02-a`

각 지역이 영역에 어떻게 대응되는지 이해하려면 계정별 영역 매핑을 참조하십시오.

기능 및 제한 사항

클러스터 네트워크 Hopper 1 프로필은 다음과 같은 기능과 제한 사항을 가지고 있습니다:

유형: 유형: 전용
대역폭: 3.2 Tbps( 8x 400Gbps)
사용자 지정 라우팅 테이블: 아니요
동적 경로 서버: 아니요
엔드포인트 게이트웨이: 아니요
유동 IP: 아니요
플로우 로그: 아니요
LBaaS: 아니요
NVLink: 예(900GB/s)
비공개 경로: 아니요
공용 게이트웨이: 아니요
예약 IP: 예
보조 IP: 아니요
VPN: 아니요

테스트된 NCCL 구성

NVIDIA (NCCL)은 VSI가 제공하는 PCI 토폴로지 정보를 참조하여 GPU 및 NIC를 포함한 시스템 구성 요소 간 최적 경로를 결정할 수 있습니다. 이 토폴로지 파일은 8개의 클러스터 서브넷을 가진 H100 VSI에서 테스트되었으며, 환경 NCCL_TOPO_FILE 변수를 사용하는 토폴로지 파일을 제공하려는 경우에 사용할 수 있습니다.

다음 정보는 8 서브넷 클러스터 네트워크가 있는 H100 VM 프로필에 대한 테스트된 NCCL 튜닝을 제공합니다. 모든 테스트는 NCCL 버전 2.22.3 에서 수행되었습니다. 자세한 내용은 NVIDIA NCCL 문서를 참조하세요.

export NCCL_IB_PCI_RELAXED_ORDERING=2
export NCCL_IB_QPS_PER_CONNECTION=16
export NCCL_IB_ADAPTIVE_ROUTING=1
export NCCL_IB_TIMEOUT=22
export NCCL_IB_RETRY_CNT=10
export NCCL_CHECKS_DISABLE=1
export NCCL_CHECK_POINTERS=0
export NCCL_CROSS_NIC=2
export NCCL_ASYNC_ERROR_HANDLING=1
export TORCH_NCCL_ASYNC_ERROR_HANDLING=1
export NCCL_SOCKET_NTHREADS=4
export NCCL_NSOCKS_PERTHREAD=4
export NCCL_IB_HCA=mlx5_0,mlx5_1,mlx5_2,mlx5_3,mlx5_4,mlx5_5,mlx5_6,mlx5_7 # valid for an 8-subnet cluster network
export NCCL_TOPO_FILE=<path-to-xml-topology-file> #Sample file provided below, valid for gx3d-160x1792x8h100 profile VSI, with an 8-subnet cluster network