Configurazione di un cluster HPC

Distribuisci il cluster HPC con la scelta delle proprietà di configurazione.

Panoramica dell'architettura e impostazione del filesystem NFS

Il cluster HPC è costituito da un nodo di accesso, un nodo di archiviazione in cui è collegato il volume di archiviazione blocchi, da 1 a 3 nodi di gestione LSF e da un numero di nodi di lavoro LSF.

Il nodo di collegamento viene utilizzato come host jump ed è l'unico nodo che ha l'indirizzo IP pubblico. Altri nodi hanno solo indirizzi IP privati e l'unico modo per raggiungere questi nodi è tramite il nodo di collegamento. È possibile accedere all'host di gestione LSF primario ed eseguire la maggior parte delle operazioni dall'host di gestione LSF. Per impostazione predefinita, lsfadmin è il solo ID utente creato sul cluster. L'impostazione senza password SSH è configurata tra l'host di gestione LSF e i nodi di lavoro. Puoi raggiungere qualsiasi altro nodo di lavoro con l'ID utente lsfadmin dal primario LSF.
Il nodo di lavoro può essere una risorsa statica. In tal caso, il ciclo di vita viene gestito da Schematics. È possibile richiedere un certo numero di nodi di lavoro statico e questi nodi di lavoro rimangono disponibili nel cluster LSF fino a quando non viene eseguita un'azione Schematics-destroy. La funzione del connettore della risorsa LSF crea ulteriori nodi di lavoro quando non c'è sufficiente capacità per eseguire lavori e distrugge i nodi di lavoro quando le richieste diminuiscono. Il ciclo di vita di questi nodi di lavoro dinamici è gestito dal connettore della risorsa LSF. Attendi che queste risorse dinamiche vengano restituite al cloud prima di distruggere l'intero cluster VPC tramite Schematics.
IBM Cloud File Storage for VPC viene utilizzato per la condivisione dei file. Per impostazione predefinita, ci sono due volumi di condivisione file; ognuno è 100 GB. Per modificare questa configurazione, impostare il valore di distribuzione custom_file_shares.

La soluzione cluster HPC fornisce un'immagine personalizzata di base, che include l'installazione LSF. Puoi creare la tua immagine personalizzata sopra l'immagine di base. Per ulteriori informazioni, vedi Crea immagine personalizzata. Il servizio di immagine su VPC fornisce un modo per farlo. Puoi quindi specificare l'immagine personalizzata che vuoi utilizzare in Schematics per nodi di lavoro e nodi di gestione LSF. L'immagine utilizzata dal nodo di login e dal nodo di memoria non è al momento configurabile (per default,CentOS 7).

Crea chiave SSH

Completa la seguente procedura per creare la tua chiave SSH:

Genera una chiave SSH nel tuo sistema immettendo il seguente comando:
```
ssh-keygen -t rsa
```
Copiare e salvare tutto il contenuto da .ssh/id_rsa.pub.

Aggiungi chiave SSH all'infrastruttura VPC

Accedi alla consoleIBM Cloud® utilizzando le tue credenziali univoche.
Dal dashboard, fai clic su Menu icon > VPC Infrastructure> SSH keys.
Fai clic su Crea.
Immetti il nome chiave SSH (ad esempio, po-ibm-ssh-key), seleziona il gruppo di risorse predefinito, aggiungi le tag e seleziona la regione.
Copiare e incollare la chiave pubblica nel campo Chiave pubblica (il contenuto salvato da .ssh/id_rsa.pub).
Fai clic su Add SSH key.

Crea chiave API

Completa la seguente procedura per creare la tua chiave API:

Nella console IBM Cloud, vai a Manage> Access (IAM)> API keys.
Fai clic su Crea una chiave API IBM Cloud.
Immetti un nome e una descrizione per la tua chiave API.
Fai clic su Crea.
Quindi, fare clic su Mostra per visualizzare la chiave API, Copia per copiarla e salvarla in un secondo momento oppure fare clic su Scarica.

Creare e configurare un cluster HPC dal catalogo IBM Cloud

Completa la seguente procedura per creare e configurare un cluster HPC dal catalogo IBM Cloud:

Nel catalogo IBM Cloud, cerca HPC o _Spectrum LSF_e seleziona IBM Spectrum LSF.

Pagina della soluzione cluster HPC
Nella sezione Imposta i valori di distribuzione, fornire i valori richiesti: api_key, ibm_customer_number, remote_allowed_ips, ssh_key_name e zone.
Dopo aver confermato con l'accordo di licenza, è possibile utilizzare i valori predefiniti per altri parametri e fare clic su Installa. Il cluster HPC viene creato e completato entro 5 minuti con la configurazione predefinita.

Parametri per la distribuzione cluster

Vedi la seguente tabella per un elenco di parametri che puoi configurare per il tuo cluster HPC:

Tabella 1. Valori parametro
Parametro	Descrizione
`cluster_prefix`	Il prefisso utilizzato per denominare le risorse VPC di cui viene eseguito il provisioning per creare il cluster HPC. Ci sono risorse in cui i loro nomi devono essere univoci nello stesso account cloud data una singola regione. Assicurarsi che il nome sia univoco (ad esempio, aggiungere le iniziali al nome: po - hpc - cluster).
`hyperthreading_enabled`	È possibile abilitare l'hyper - threading nei nodi di lavoro del cluster impostando questo valore su true (predefinito). Altrimenti, l'hyper - threading è disabilitato.
`image_name`	Modifica e aggiungi l'immagine personalizzata con LSF. È possibile utilizzare l'immagine personalizzata LSF predefinita fornita dalla soluzione. Se hai creato la tua propria immagine personalizzata, modifica il valore con il nome della tua immagine personalizzata.
`management_node_count`	È possibile avere fino a tre nodi di gestione nel cluster. Se si desidera il supporto di failover fornito da LSF, è necessario specificare che il valore sia maggiore di uno. In questo caso, quando il nodo di gestione primario è inattivo, uno dei nodi di gestione candidati diventa quello primario e il cluster rimane operativo senza interruzioni.
`region`	Modifica la regione in cui vuoi che venga creato il tuo cluster. Per ottenere un elenco completo delle regioni, vedi Creazione di un VPC in una regione diversa.
`resource_group`	Il nome del gruppo di risorse dal tuo account IBM Cloud dove vengono distribuite le risorse VPC.
`vpc_name`	Puoi utilizzare un VPC esistente in cui viene eseguito il provisioning delle risorse del cluster. Se non viene fornito alcun valore, viene eseguito il provisioning di un nuovo VPC per il cluster.
`vpn_enabled`	Puoi distribuire un gateway VPN per VPC nel cluster. Per impostazione predefinita, il valore è impostato su false.
`vpn_peer_address`	L'indirizzo IP pubblico peer a cui è connessa la VPN.
`vpn_peer_cidrs`	Elenco separato da virgole di CIDR peer (ad esempio, 192.168.0.0/24) a cui è connessa la VPN.
`vpn_preshared_key`	La chiave precondivisa per la VPN.
`zone`	Modificare la zona in base alla regione selezionata. Per ottenere un elenco completo delle zone in una regione, vedi Ottieni le zone utilizzando la CLI.

Parametri per la scalabilità automatica

Puoi impostare i seguenti parametri per il ridimensionamento automatico:

worker_node_min_count: il numero minimo di nodi di lavoro di cui viene eseguito il provisioning al momento della creazione del cluster e che restano in esecuzione indipendentemente dalle richieste di lavoro nel cluster.
worker_node_max_count: il numero massimo di nodi di lavoro nel cluster HPC, che limita il numero di macchine che è possibile aggiungere al cluster HPC. Il ridimensionamento automatico LSF ridimensiona il cluster a questo numero di nodi quando necessario per i tuoi carichi di lavoro e ridimensiona per mantenere solo i nodi di lavoro worker_node_min_count quando non c'è alcun lavoro nelle code.

Parametri per i profili dell'istanza

È possibile controllare il profilo istanza per ogni tipo di istanza mediante i parametri xxx_node_instance_type. I nodi di gestione sono il punto in cui sono in esecuzione i daemon LSF principali. Devi selezionarne uno con più potenza di elaborazione se prevedi di eseguire i lavori utilizzando più di 100 nodi. I nodi di lavoro sono quelli in cui ha luogo l'esecuzione del carico di lavoro e la scelta deve essere effettuata in base alla caratteristica dei carichi di lavoro. Il nodo di memoria è quello che gestisce il filesystem NFS del tuo cluster HPC. L'istanza di accesso viene utilizzata come host jump, quindi è possibile scegliere il profilo più piccolo. Per ulteriori informazioni, consultare Profili istanza.

Parametri per i volumi di blocchi

È possibile configurare la capacità di archiviazione e la velocità di trasmissione utilizzando i parametri volume_xxx. Il valore per il parametro volume_profile può essere generico o personalizzato. Quando viene utilizzato general-purpose, l'IOPS viene determinato dall'infrastruttura cloud e il parametro volume_iops non ha alcun effetto. Se vuoi personalizzare l'IOPS, devi utilizzare l'IOPS personalizzato per volume_profiles e configurare l'IOPS tramite volume_iops in base alla capacità specificata in volume_capacity. Per ulteriori informazioni, vedi Profili di archiviazione blocchi.

Accesso al cluster HPC

Per accedere al tuo cluster HPC, completa la seguente procedura:

Vai a Icona Menu > Attività> Piano applicato> Visualizza log.
Copia ssh-command per accedere al tuo cluster.
- ssh -J root@ip-jumphost lsfadmin@ip-managementhost
- ip-jumphost è public, mentre ip-managementhost non lo è.
- -J flag: si connette all'host jump e stabilisce un inoltro TCP alla destinazione finale (host di gestione).

Scala automatica

Hai un numero minimo di nodi di lavoro (worker_node_min_count). È il numero di nodi di lavoro di cui viene eseguito il provisioning al momento della creazione del cluster. Tuttavia, puoi utilizzare un numero massimo di nodi di lavoro che devono essere aggiunti al cluster Spectrum LSF definito da worker_node_max_count. Questo per limitare il numero di macchine che possono essere aggiunte al cluster Spectrum LSF quando viene utilizzata la configurazione di scalabilità automatica. Questa proprietà può essere utilizzata per gestire il costo associato all'istanza del cluster Spectrum LSF.

Il seguente esempio mostra worker_node_min_count=2 e worker_node_max_count=10.

Per controllare i due nodi di lavoro, esegui questo comando:
```
bhosts -w
```
Output di esempio:

Due nodi di lavoro
Per provare la funzione di ridimensionamento automatico, eseguire un lavoro che richiede più di due nodi. Ad esempio, questo lavoro richiede cinque lavori per essere sospeso per 10 secondi:
```
bsub -n 5 -R "span[ptile=1]" sleep 10
```
Il lavoro viene inoltrato.
Dopo un minuto, controlla i nodi immettendo il seguente comando:
```
bhosts -w
```
Puoi vedere che ora sono stati aggiunti cinque nodi al cluster:

Cinque nodi di lavoro aggiunti
La differenza dei nodi creati dalla funzione di ridimensionamento automatico viene eliminata automaticamente dopo 10 minuti di non utilizzo.

Personalizzazione del cluster HPC per i carichi di lavoro

Sono disponibili due opzioni per l'aggiunta di pacchetti software nel cluster per il carico di lavoro. È possibile installare il software aggiuntivo nel file system condiviso NFS (ad esempio, /home/lsfadmin/shared dall'host di gestione LSF) che è visibile a tutti i nodi di elaborazione. I file che vengono aggiunti al file system condiviso NSF vengono memorizzati nell'archiviazione blocchi collegata al nodo di memoria. I dati vengono persi quando l'intero cluster HPC viene eliminato. Ricordati di salvare i dati che vuoi conservare prima di distruggere il cluster.

L'altra opzione è quella di creare la tua immagine personalizzata sopra l'immagine predefinita utilizzata dalla soluzione cluster HPC. La creazione dell'immagine personalizzata deve essere preparata prima di creare un cluster HPC. Quando una nuova immagine personalizzata viene creata in VPC, a questa immagine è associato un nome. È necessario utilizzare questo nome nel parametro image_name. Per ulteriori informazioni, vedi Estendi l'immagine di base e crea una nuova immagine personalizzata.

(Facoltativo) Configurare la connettività ibrida

Se vuoi impostare un ambiente di connettività ibrido utilizzando la VPN, consulta le istruzioni Installazione di una VPN in un cluster HPC.

Se vuoi utilizzare Direct Link, vedi le istruzioni per Installazione di Direct Link in un cluster HPC.

Utilizzo OpenLDAP con IBM Spectrum LSF

Se vuoi saperne di più su OpenLDAP con IBM Spectrum LSF, vedi Informazioni su OpenLDAP con IBM Spectrum LSF.

Durante la distribuzione, abilita OpenLDAP nel cluster IBM Spectrum LSF impostando i valori di input della distribuzione enable_ldap,ldap_basedns, ldap_server, ldap_admin_password, ldap_user_name e ldap_user_password.

Se vuoi ulteriori informazioni sull'integrazione di OpenLDAP con il tuo cluster IBM Spectrum LSF, vedi Integrazione di OpenLDAP con il tuo IBM Spectrum LSF.

Crea zone DNS e resolver personalizzato DNS

Se lasci il valore di input della distribuzione dns_instance_id come null, il processo di installazione crea un nuovo ID istanza del servizio DNS nella rispettiva zona DNS. In alternativa, fornisci un IBM Cloud® esistente per il valore dell'input di distribuzione dns_instance_id.

Se lasci il valore di input della distribuzione dns_custom_resolver_id come null, il processo di distribuzione crea un nuovo VPC e abilita un nuovo resolver personalizzato per il tuo cluster. In alternativa, per creare i resolver personalizzati DNS con un VPC esistente, fornire l'ID resolver per il valore di input della distribuzione dns_custom_resolver_id. Per ulteriori informazioni, consulta DNS custom resolvers for your IBM Spectrum LSF.

Utilizzo delle istanze IBM Key Protect per gestire la cifratura dei dati

Per gestire la crittografia dei dati per le tue istanze del server virtuale, utilizza l'istanza IBM Key Protect tramite il cluster IBM Spectrum LSF. Per ulteriori informazioni su Key Protect e le chiavi di crittografia, vedi IBM® Key Protect e le chiavi di crittografia.