Profili di istanza accelerata (GPU)- Gen 3

La famiglia di profili accelerati (GPU) offre un accesso on-demand ed economico agli acceleratori e alle GPU per VPC ( IBM Cloud® Virtual Servers for Virtual Private Cloud ). Le GPU e gli acceleratori contribuiscono ad accelerare i tempi di elaborazione necessari per carichi di lavoro ad alta intensità di calcolo come l'intelligenza artificiale, l'apprendimento automatico, l'inferenza e altro ancora.

Intel Gaudi 3 profili di istanza

I profili di server virtuali accelerati Intel Gaudi 3 sono costruiti su acceleratori IA Intel Gaudi 3 basati su OAM da 128 GB. Questi acceleratori sono ottimizzati per i carichi di lavoro dell'IA, inclusi inferenza e messa a punto. La soluzione è abbinata ai processori Intel® Xeon® Scalable di quinta generazione.

Sistemi operativi

  • Linux

Generazione del processore

  • Intel 8568Y+- Processore scalabile Xeon® di quinta generazione

Accelerator

  • Acceleratore AI Intel Gaudi 3 (128 GB OAM)

Disponibilità

Stato: Selezionare la disponibilità

La tabella seguente elenca le regioni e le zone universali disponibili per i profili dei server virtuali accelerati Intel Gaudi 3.

Regioni e zone supportate
Regione Zona universale
us-south us-south-dal12-a
us-east us-east-wdc06-a, us-east-wdc07-a
eu-de eu-de-fra02-a

Per ulteriori informazioni su regioni e zone universali, vedere Regioni. Puoi rivedere la mappatura delle zone assegnate per un account nella pagina Panoramica infrastruttura VPC nella sezione Endpoint. La mappatura delle zone mostra come la zona corrisponda al nome universale della zona che rappresenta la posizione fisica.

Funzionalità

  • Tipo di nucleo: Dedicato
  • Host dedicato: No
  • Hyperthreading: SìSMT-2)
  • Avvio sicuro: No
  • Informatica riservata: No
  • Migrazione in diretta: No
  • Archiviazione delle istanze: Sì
  • Tessuto interno in AI: Sì
    • GbE e 21 x 200 per collegamenti OAM-OAM
  • Capacità di rete cluster: No
  • Funzionalità NIC:
    • Velocità massima della singola NIC: fino a 32 Gbps
    • Pooling della larghezza di banda: No
  • Metodo di allocazione della larghezza di banda del volume: weighted per impostazione predefinita; può essere aggiornato a pooled.

Configurazione VM

  • Tipo di hardware: q35
  • Rete in cloud: virtio
  • Volume di avvio a blocchi: virtio
  • Volumi di dati a blocchi: virtio
  • Archiviazione dell'istanza: NVMe

Profili dell'istanza

La tabella seguente elenca il profilo del server virtuale accelerato Intel Gaudi 3.

Opzioni di profilo Intel accelerate
Profilo istanza vCPU / Nuclei Memoria (GiB) Limite di larghezza di banda (Gbps) Accelerator Archiviazione istanza (GB)
gx3d-160x1792x8gaudi3 160 / 80 1792 200 8x Intel Gaudi-3 (128 GB) 3.2, 8 TB

Questo profilo di grandi dimensioni richiede probabilmente l'apertura di un ticket di assistenza per richiedere un aumento della quota. Controlla i livelli delle quote e verifica se l'account che sta fornendo la risorsa richiede una modifica delle quote. Questo server utilizza RAM, memoria istanza e quote GPU dell' vCPU,.

Limiti

Un'istanza ha un limite per il numero di volumi e di interfacce di rete virtuali che possono essere attaccate. Questo limite si basa sulle dimensioni dell'istanza.

Limiti di famiglia Intel accelerati per volumi massimi e interfacce di rete massime
Profilo Numero massimo volumi Massimo vNICs
gx3d-160x1792x8gaudi3 12 15

Profili del volume di avvio

Nell'attuale versione dell'offerta Block Storage for VPC, solo i volumi di prima generazione delle famiglie di profili di volume a livelli e personalizzati possono essere utilizzati come volumi di avvio per le istanze Intel Gaudi 3.

Profili di istanza NVIDIA Hopper HGX

I profili di server virtuali accelerati basati su Hopper sono costruiti su acceleratori di tipo NVIDIA, H100 e H200. Questi sono ottimizzati per i carichi di lavoro dell'intelligenza artificiale, tra cui l'inferenza, la messa a punto e l'addestramento su larga scala formazione. La soluzione è abbinata ai processori Intel® Xeon® Scalable di quarta generazione.

Questa soluzione funziona anche con le reti cluster IBM Cloud®. L'implementazione della rete cluster per la generazione Hopper funziona su otto NIC accelerate, fornendo un throughput aggregato totale del cluster di 3,2 Tbps aggregato del cluster di 3.2 Tbps. La soluzione offre anche RoCEv2 per supportare i carichi di lavoro basati su RDMA. Per ulteriori informazioni, vedere Informazioni sulle reti di cluster.

Sistemi operativi

  • Linux

Generazione del processore

  • Intel 8474C- Processore scalabile Xeon® di quarta generazione

Accelerator

  • NVIDIA H100 SXM5 (80 GB)
  • NVIDIA H200 SXM5 (141 GB)

Disponibilità

NVIDIA H100 SXM5 (80 GB)

Stato: Selezionare la disponibilità

Nella tabella seguente sono elencate le regioni e le zone universali disponibili per i profili dei server virtuali accelerati basati su Hopper, costruiti su acceleratori NVIDIA H100.

Regioni e zone supportate
Regione Zona universale Rete di cluster
Dallas (us-south) us-south-dal10-a No
Washington DC (us-east) us-east-wdc06-a, us-east-wdc07-a Sì
Toronto (ca-tor) ca-tor-tor05-a No
Sao Paulo (br-sao) br-sao-sao01-a No
Francoforte (eu-de) eu-de-fra04-a Sì
Londra (eu-gb) eu-gb-lon05-a No
Madrid eu-es) eu-es-mad05-a No
Sydney (au-syd) au-syd-syd04-a No
Tokyo (jp-tok) jp-tok-tok05-a No
Osaka (jp-osa) Non disponibile No

Per ulteriori informazioni su regioni e zone universali, vedere Regioni. Puoi rivedere la mappatura delle zone assegnate per un account nella pagina Panoramica infrastruttura VPC nella sezione Endpoint. La mappatura delle zone mostra come la zona corrisponda al nome universale della zona che rappresenta la posizione fisica.

NVIDIA H200 SXM5 (141 GB)

Stato: Selezionare la disponibilità

Nella tabella seguente sono elencate le regioni e le zone universali disponibili per i profili dei server virtuali accelerati basati su Hopper, costruiti su acceleratori NVIDIA H200.

Regioni e zone supportate
Regione Zona universale Rete di cluster
Washington DC (us-east) us-east-wdc06-a, us-east-wdc07-a Sì
Toronto (ca-tor) ca-tor-tor05-a No
Francoforte (eu-de) eu-de-fra04-a Sì
Londra (eu-gb) eu-gb-lon05-a No
Sydney (au-syd) au-syd-syd05-a No
in-che in‑che‑che02‑a No

Per ulteriori informazioni su regioni e zone universali, vedere Regioni. Puoi rivedere la mappatura delle zone assegnate per un account nella pagina Panoramica infrastruttura VPC nella sezione Endpoint. La mappatura delle zone mostra come la zona corrisponda al nome universale della zona che rappresenta la posizione fisica.

Funzionalità

  • Tipo di nucleo: Dedicato
  • Host dedicato: No
  • Hyperthreading: SìSMT-2)
  • Avvio sicuro: No
  • Informatica riservata: No
  • Migrazione in diretta: No
  • Archiviazione delle istanze: Sì
  • NVLink: Sì (900 GB/s)
  • Compatibile con NVIDIA GPUDirect: Sì
  • Capacità di rete cluster: Sì (regioni limitate)
    • Larghezza di banda: 3.2 Tbps8x 400 Gbps)
    • Tipo: Dedicato
  • Funzionalità NIC:
    • Velocità massima della singola NIC: fino a 32 Gbps
    • Pooling della larghezza di banda: No
  • Metodo di allocazione della larghezza di banda del volume: weighted per impostazione predefinita; può essere aggiornato a pooled.

Configurazione VM

  • Tipo di hardware: q35
  • Rete in cloud: virtio
  • Rete di cluster: SR-IOV
    • Tipo: NVIDIA CX-7- Funzione virtuale
    • Quantità: 8x NIC fisiche dedicate da 400 Gbps
  • Volume di avvio a blocchi: virtio
  • Volumi di dati a blocchi: virtio
  • Archiviazione dell'istanza: NVMe

Profili dell'istanza

La tabella seguente elenca i profili dei server virtuali accelerati basati su Hopper che sono costruiti su acceleratori NVIDIA H100 e H200.

Opzioni del profilo NVIDIA Hopper HGX accelerato
Profilo istanza vCPU / Nuclei Memoria (GiB) Limite di larghezza di banda (Gbps) Larghezza di banda di rete dedicata al cluster Accelerator Archiviazione istanza (GB)
gx3d-160x1792x8h100 160 / 80 1792 200
  1. 3.2 Tbps 8x 400 Gbps dedicati NVIDIA CX-7 )
 8x NVIDIA H100 (80 GB) 8 x 1 7.68 TB
gx3d-160x1792x8h200 160 / 80 1792 200 N/D 8x NVIDIA H200 (141 GB) 8 x 1 7.68 TB

I profili di grandi dimensioni richiedono probabilmente l'apertura di un ticket di assistenza per richiedere un aumento della quota. Controlla i livelli delle quote e verifica se l'account che sta fornendo la risorsa richiede una modifica delle quote. Questo server utilizza RAM, memoria istanza e quote GPU dell' vCPU,.

Limiti

Un'istanza ha un limite per il numero di volumi e di interfacce di rete virtuali che possono essere attaccate. Questo limite si basa sulle dimensioni dell'istanza.

Limiti accelerati di NVIDIA Hopper HGX per vCPU, volumi massimi e interfacce di rete massime
Numero di vCPU Numero massimo volumi Massimo vNICs
2-16 12 5
17-48 12 10
49+ 12 15

Se si configura una rete cluster abilitata per RDMA, è necessario disporre di 8, 16 o 32 interfacce di rete cluster disponibili. Disporre del numero corretto di interfacce di rete cluster disponibili contribuisce a garantire una distribuzione adeguata delle interfacce di rete nell'infrastruttura fisica sottostante. La maggior parte degli utenti ne utilizza in genere solo 8. Le interfacce di rete del cluster possono essere configurate solo quando l'istanza è spenta.

Profili del volume di avvio

Nell'attuale versione dell'offerta Block Storage for VPC, solo i volumi di prima generazione delle famiglie di profili di volume a livelli e personalizzati possono essere utilizzati come volumi di avvio per le istanze NVIDIA H100/H200.

Profili di istanza NVIDIA L4

I profili dei server virtuali sono costruiti su acceleratori NVIDIA L4. Questi acceleratori sono stati messi a punto per i carichi di lavoro grafica. La soluzione è abbinata ai processori Intel® Xeon® Scalable di quarta generazione.

Sistemi operativi

  • Windows
  • Linux

Generazione del processore

  • Intel 8474C- Processore scalabile Xeon® di quarta generazione

Accelerator

  • GPU NVIDIA L4 (24 GB)

Disponibilità

Stato: Generalmente disponibile

L'elenco che segue indica le regioni e le zone universali disponibili per i profili dei server virtuali costruiti in base agli acceleratori NVIDIA L4.

Regioni:

  • Americhe
    • Sao Paulo (br-sao)
    • Toronto (ca-tor)
    • Dallas (us-south)
    • Washington DC (us-east)
  • Europa
    • Francoforte (eu-de)
    • Londra (eu-gb)
  • Asia Pacifico
    • Sydney (au-syd)
    • Tokyo (jp-tok)
    • Chennai (in-che), solo nella zona 1 (in-che-1)

Funzionalità

  • Tipo di nucleo: Dedicato
  • Host dedicato: No
  • Hyperthreading: SìSMT-2)
  • Avvio sicuro: No
  • Informatica riservata: No
  • Migrazione in diretta: No
  • Archiviazione dell'istanza: No
  • NVLink: No
  • Funzionalità NIC:
    • Velocità massima della singola NIC: fino a 32 Gbps
    • Pooling della larghezza di banda: No
  • Metodo di allocazione della larghezza di banda del volume: weighted per impostazione predefinita; può essere aggiornato a pooled.

Configurazione VM

  • Tipo di hardware: i440fx
  • Rete in cloud: virtio
  • Volume di avvio a blocchi: virtio
    • Eccezione: vscsi per la maggior parte delle istanze basate su Windows. Tuttavia, le istanze Windows che girano su volumi di archiviazione di seconda generazione e le istanze Windows con Secure Boot abilitato che eseguono Windows Server 2022 o versioni successive utilizzano virtio.
  • Volumi di dati a blocchi: virtio

Profili dell'istanza

La tabella seguente elenca i profili dei server virtuali costruiti su acceleratori NVIDIA L4.

Opzioni del profilo l4 accelerato
vCPUs / Core Memoria (GiB) Cap di larghezza di banda (Gbps) Accelerator
gx3-16x80x1l4 16 / 8 80 32 1x NVIDIA L4 (24 GB)
gx3-32x160x2l4 32 / 16 160 64 2x NVIDIA L4 (24 GB)
gx3-64x320x4l4 64 / 32 320 128 4x NVIDIA L4 (24 GB)

Limiti

Un'istanza ha un limite per il numero di volumi e di interfacce di rete virtuali che possono essere attaccate. Questo limite si basa sulle dimensioni dell'istanza.

Limiti L4 accelerati per vCPU, volumi massimi e interfacce di rete massime
Numero di vCPU Numero massimo volumi Massimo vNICs
2-16 12 5
17-48 12 10
49+ 12 15

Profili di istanza NVIDIA L40S

I profili L40s sono costruiti su acceleratori NVIDIA L40s. Questi acceleratori sono ottimizzati per grafica e per i carichi di lavoro di inferenza. La soluzione è abbinata all'Intel® Xeon® di quarta generazione Processori scalabili.

Sistemi operativi

  • Windows
  • Linux

Generazione del processore

  • Intel 8474C- Processore scalabile Xeon® di quarta generazione

Accelerator

  • GPU NVIDIA L40s (48 GB)

Disponibilità

Stato: Generalmente disponibile

L'elenco che segue è quello delle regioni e delle zone universali disponibili per i profili L40s sono costruiti in base agli acceleratori NVIDIA L40s.

Regioni:

  • Americhe
    • Sao Paulo (br-sao)
    • Toronto (ca-tor)
    • Dallas (us-south)
    • Washington DC (us-east)
  • Europa
    • Francoforte (eu-de)
    • Londra (eu-gb)
    • Madrid eu-es)
  • Asia Pacifico
    • Sydney (au-syd)
    • Tokyo (jp-tok)

Funzionalità

  • Tipo di nucleo: Dedicato
  • Host dedicato: No
  • Hyperthreading: SìSMT-2)
  • Avvio sicuro: No
  • Informatica riservata: No
  • Migrazione in diretta: No
  • Archiviazione dell'istanza: No
  • NVLink: No
  • Funzionalità NIC:
    • Velocità massima della singola NIC: fino a 32 Gbps
    • Pooling della larghezza di banda: No
  • Metodo di allocazione della larghezza di banda del volume: weighted per impostazione predefinita; può essere aggiornato a pooled.

Configurazione VM

  • Tipo di hardware: i440fx
  • Rete in cloud: virtio
  • Volume di avvio a blocchi: virtio
    • Eccezione: vscsi per la maggior parte delle istanze basate su Windows. Le istanze Windows che girano su volumi di archiviazione di seconda generazione e le istanze Windows con avvio sicuro abilitato che eseguono Windows Server 2022 o versioni successive utilizzano virtio.
  • Volumi di dati a blocchi: virtio

Profili dell'istanza

Il seguente elenco è costituito dai profili L40s che sono costruiti su acceleratori NVIDIA L40s.

Opzioni del profilo L40s accelerato
Profilo istanza vCPUs / Core Memoria (GiB) Cap di larghezza di banda (Gbps) Accelerator
gx3-24x120x1l40s 24 / 12 120 48 1x NVIDIA L40s (48 GB)
gx3-48x240x-2l40s 48 / 24 240 96 2x NVIDIA L40s (48 GB)

Limiti

Un'istanza ha un limite per il numero di volumi e di interfacce di rete virtuali che possono essere attaccate. Questo limite si basa sulle dimensioni dell'istanza.

Limiti L40s accelerati per vCPU, volumi massimi e interfacce di rete massime
Numero di vCPU Numero massimo volumi Massimo vNICs
2-16 12 5
17-48 12 10
49+ 12 15

NVIDIA A100 profili di istanza (GPU)

I profili A100 sono costruiti su acceleratori NVIDIA A100 da 80 GB. Questi acceleratori sono stati messi a punto per HPC e per carichi di lavoro di inferenza. La soluzione è abbinata all'Intel® Xeon® di quarta generazione Processori scalabili.

Sistemi operativi

  • Windows
  • Linux

Generazione del processore

  • Intel 8474C- Processore scalabile Xeon® di quarta generazione

Accelerator

  • NVIDIA A100 GPU Tensor Core (80 GB)

Disponibilità

Stato: Selezionare la disponibilità

L'elenco che segue è quello delle regioni disponibili per i profili A100 sono costruiti su acceleratori NVIDIA A100 da 80 GB.

Regioni:

  • Americhe
    • Washington DC (us-east)
  • Europa
    • Francoforte (eu-de)
    • Londra (eu-gb)
  • Asia Pacifico
    • Tokyo (jp-tok)

Funzionalità

  • Tipo di nucleo: Dedicato
  • Host dedicato: No
  • Hyperthreading: SìSMT-2)
  • Avvio sicuro: No
  • Informatica riservata: No
  • Migrazione in diretta: No
  • Archiviazione delle istanze: Sì
  • NVLink: No

Configurazione VM

  • Tipo di hardware: i440fx
  • Rete in cloud: virtio
  • Volume di avvio a blocchi: virtio
    • Eccezione: vscsi per la maggior parte delle istanze basate su Windows. Tuttavia, le istanze Windows che girano su volumi di archiviazione di seconda generazione e le istanze Windows con Secure Boot abilitato che eseguono Windows Server 2022 o versioni successive utilizzano virtio.
  • Volumi di dati a blocchi: virtio

Profili dell'istanza

Il seguente elenco è costituito dai profili A100 costruiti su acceleratori NVIDIA A100 da 80 GB.

Opzioni del profilo accelerato A100
Profilo istanza vCPUs / Core Memoria (GiB) Cap di larghezza di banda (Gbps) Accelerator Archiviazione istanza (GB)
gx3d-24x120x1a100p 24 / 12 120 48 1x NVIDIA A100 PCIe (80 GB) 780 GB
gx3d-48x240x2a100p 48 / 24 240 96 2x NVIDIA A100 PCIe (80 GB) 1560 GB

Limiti

Un'istanza ha un limite per il numero di volumi e di interfacce di rete virtuali che possono essere attaccate. Questo limite si basa sulle dimensioni dell'istanza.

Accelerazione dei limiti di A100 per i volumi massimi di vCPU, e le interfacce di rete massime
Numero di vCPU Numero massimo volumi Massimo vNICs
2-16 12 5
17-48 12 10
49+ 12 15