Architekturübersicht und NFS-Dateisystemkonfiguration

Der HPC-Cluster besteht aus einem Anmeldeknoten, einem Speicherknoten, dem der Blockspeicherdatenträger zugeordnet ist, 1-3 LSF-Managementknoten und einer Reihe von LSF-Workerknoten.

• Der Anmeldeknoten wird als Jump-Host bereitgestellt und ist der einzige Knoten mit der öffentlichen IP-Adresse. Andere Knoten haben nur private IP-Adressen. Die einzige Möglichkeit, diese Knoten zu erreichen, ist der Anmeldeknoten. Sie können sich am primären LSF-Management-Host anmelden und die meisten Operationen vom LSF-Management-Host ausführen. Standardmäßig ist lsfadmin die einzige Benutzer-ID, die im Cluster erstellt wird. Die Konfiguration ohne SSH-Kennwort wird zwischen dem LSF-Management-Host und den Workern konfiguriert. Sie können jeden anderen Workerknoten mit der lsfadmin-Benutzer-ID aus dem primären LSF erreichen.

• Der Workerknoten kann eine statische Ressource sein. In diesem Fall wird der Lebenszyklus von Schematicsverwaltet. Sie können eine Reihe statischer Workerknoten anfordern und diese Worker bleiben im LSF-Cluster verfügbar, bis die Aktion Schematics-destroy ausgeführt wird. Die LSF-Ressourcenconnectorfunktion erstellt zusätzliche Worker, wenn nicht genügend Kapazität zum Ausführen von Jobs vorhanden ist, und löscht Worker, wenn der Bedarf abnimmt. Der Lebenszyklus dieser dynamischen Worker wird vom LSF-Ressourcenconnector verwaltet. Warten Sie, bis diese dynamischen Ressourcen in die Cloud zurückgegeben werden, bevor Sie den gesamten VPC-Cluster über Schematicslöschen.

• IBM Cloud File Storage for VPC wird für die gemeinsame Dateinutzung verwendet. Standardmäßig gibt es zwei Dateifreigabedatenträger mit jeweils 100 GB. Um diese Konfiguration zu ändern, legen Sie den Wert für die Implementierung von custom_file_shares fest.

Die HPC-Clusterlösung stellt ein angepasstes Basisimage bereit, das die LSF-Installation umfasst. Sie können Ihr eigenes angepasstes Image über dem Basisimage erstellen. Weitere Informationen finden Sie unter Angepasstes Image erstellen. Der Image-Service in VPC bietet hierfür eine Möglichkeit. Anschließend können Sie das angepasste Image angeben, das in Schematics für LSF-Managementknoten und Workerknoten verwendet werden soll. Das vom Anmeldeknoten und Speicherknoten verwendete Image ist momentan nicht konfigurierbar (standardmäßigCentOS 7).

SSH-Schlüssel erstellen

Führen Sie die folgenden Schritte aus, um Ihren SSH-Schlüssel zu erstellen:

1. Generieren Sie einen SSH-Schlüssel auf Ihrem System, indem Sie den folgenden Befehl ausführen:

   ssh-keygen -t rsa
   

2. Kopieren und speichern Sie den gesamten Inhalt aus .ssh/id_rsa.pub.

SSH-Schlüssel zur VPC-Infrastruktur hinzufügen

1. Melden Sie sich bei der IBM Cloud®-Konsole mit Ihren eindeutigen Berechtigungsnachweisen an.
2. Klicken Sie im Dashboard auf Menüsymbol > VPC-Infrastruktur > SSH-Schlüssel.
3. Klicken Sie auf Erstellen.
4. Geben Sie den SSH-Schlüsselnamen ein (z. B. po-ibm-ssh-key), wählen Sie die Standardressourcengruppe aus, fügen Sie Tags hinzu und wählen Sie die Region aus.
5. Kopieren Sie den öffentlichen Schlüssel und fügen Sie ihn in das Feld Öffentlicher Schlüssel (den Inhalt, den Sie aus .ssh/id_rsa.pub gespeichert haben) ein.
6. Klicken Sie auf SSH-Schlüssel hinzufügen.

API-Schlüssel erstellen

Führen Sie die folgenden Schritte aus, um Ihren API-Schlüssel zu erstellen:

1. Wechseln Sie in der Konsole von IBM Cloud zu Verwalten > Zugriff (IAM) > API-Schlüssel.
2. Klicken Sie auf IBM Cloud-API-Schlüssel erstellen.
3. Geben Sie einen Namen und eine Beschreibung für den API-Schlüssel ein.
4. Klicken Sie auf Erstellen.
5. Klicken Sie dann auf Anzeigen, um den API-Schlüssel anzuzeigen, Kopieren, um ihn zu kopieren und für einen späteren Zeitpunkt zu speichern, oder klicken Sie auf Download.

HPC-Cluster aus dem IBM Cloud-Katalog erstellen und konfigurieren

Führen Sie die folgenden Schritte aus, um einen HPC-Cluster aus dem IBM Cloud-Katalog zu erstellen und zu konfigurieren:

1. Suchen Sie im Katalog IBM Cloud nach HPC oder _Spectrum LSF_und wählen Sie dann IBM Spectrum LSF aus.

   

2. Geben Sie im Abschnitt Bereitstellungswerte festlegen die erforderlichen Werte an: api_key, ibm_customer_number, remote_allowed_ips, ssh_key_name und zone.

3. Nachdem Sie die Lizenzvereinbarung bestätigt haben, können Sie die Standardwerte für andere Parameter verwenden und auf Installieren klicken. Der HPC-Cluster wird erstellt und innerhalb von 5 Minuten mit der Standardkonfiguration abgeschlossen.

Zugriff auf den HPC-Cluster

Führen Sie die folgenden Schritte aus, um auf Ihren HPC-Cluster zuzugreifen:

1. Rufen Sie Menüsymbol > Aktivität > Plan angewendet > Protokoll anzeigen auf.

2. Kopieren Sie ssh-command, um auf Ihren Cluster zuzugreifen.

   • ssh -J root@ip-jumphost lsfadmin@ip-managementhost

   • Der Wert für ip-jumphost ist public, der Wert für ip-managementhost jedoch nicht.

   • -J flag: Stellt eine Verbindung zum Jump-Host her und richtet eine TCP-Weiterleitung zum endgültigen Ziel (Management-Host) ein.

Automatische Skalierung

Sie haben eine Mindestanzahl von Workerknoten (worker_node_min_count). Dies ist die Anzahl der Workerknoten, die zum Zeitpunkt der Clustererstellung bereitgestellt werden. Sie können jedoch eine maximale Anzahl von Workerknoten verwenden, die dem von worker_node_max_count definierten Spectrum LSF-Cluster hinzugefügt werden sollen. Damit wird die Anzahl der Maschinen begrenzt, die zum Cluster Spectrum LSF hinzugefügt werden können, wenn die Konfiguration für automatische Skalierung verwendet wird. Diese Eigenschaft kann verwendet werden, um die Kosten zu verwalten, die der Clusterinstanz Spectrum LSF zugeordnet sind.

Das folgende Beispiel zeigt worker_node_min_count=2 und worker_node_max_count=10.

1. Führen Sie den folgenden Befehl aus, um die beiden Workerknoten zu überprüfen:

   bhosts -w
   

   Beispielausgabe:

   

2. Führen Sie zum Testen der Funktion für automatische Skalierung einen Job aus, für den mehr als zwei Knoten erforderlich sind. Für diesen Job sind beispielsweise fünf Jobs erforderlich, die 10 Sekunden lang inaktiv sind:

   bsub -n 5 -R "span[ptile=1]" sleep 10
   

3. Der Job wird übergeben.

4. Überprüfen Sie nach einer Minute die Knoten, indem Sie den folgenden Befehl ausführen:

   bhosts -w
   

   Sie sehen, dass Ihrem Cluster jetzt fünf Knoten hinzugefügt wurden:

   

5. Die Unterschiede zwischen Knoten, die von der Funktion für automatische Skalierung erstellt wurden, werden automatisch gelöscht, nachdem sie 10 Minuten lang nicht verwendet wurden.

Passen Sie Ihren HPC-Cluster an Ihre Workloads an

Sie haben zwei Möglichkeiten, Softwarepakete im Cluster für Ihre Workload hinzuzufügen. Sie können die zusätzliche Software im gemeinsam genutzten NFS-Dateisystem (z. B. /home/lsfadmin/shared vom LSF-Management-Host) installieren, die für alle Rechenknoten sichtbar ist. Die Dateien, die Sie zum gemeinsam genutzten NSF-Dateisystem hinzufügen, werden im Blockspeicher gespeichert, der dem Speicherknoten zugeordnet ist. Die Daten gehen verloren, wenn der gesamte HPC-Cluster gelöscht wird. Denken Sie daran, die Daten zu speichern, die Sie behalten möchten, bevor Sie den Cluster löschen.

Die andere Option besteht darin, Ihr eigenes angepasstes Image auf dem Standardimage zu erstellen, das von der HPC-Clusterlösung verwendet wird. Die Erstellung des angepassten Image muss vorbereitet werden, bevor Sie einen HPC-Cluster erstellen können. Wenn ein neues angepasstes Image in VPC erstellt wird, wird diesem Image ein Name zugeordnet. Sie müssen diesen Namen im Parameter image_name verwenden. Weitere Informationen finden Sie unter Basisimage erweitern und neues angepasstes Image erstellen.

(Optional) Hybridkonnektivität einrichten

Wenn Sie eine Hybrid-Konnektivitätsumgebung mithilfe von VPN einrichten möchten, lesen Sie die Anweisungen unter VPN in HPC-Cluster installieren.

Wenn Sie Direct Linkverwenden möchten, lesen Sie die Anweisungen zum Installieren von Direct Link in einem HPC-Cluster.

Verwenden von OpenLDAP mit IBM Spectrum LSF

Weitere Informationen zu OpenLDAP mit IBM Spectrum LSFfinden Sie unter Informationen zu OpenLDAP mit IBM Spectrum LSF.

Während der Bereitstellung aktivieren Sie OpenLDAP mit Ihrem IBM Spectrum LSF-Cluster, indem Sie die Eingabewerte für die Bereitstellung enable_ldap,ldap_basedns, ldap_server, ldap_admin_password, ldap_user_name und ldap_user_password festlegen.

Weitere Informationen zur Integration von OpenLDAP in Ihren IBM Spectrum LSF-Cluster finden Sie unter OpenLDAP in Ihren IBM Spectrum LSF-Cluster integrieren.

DNS-Zonen und angepassten DNS-Auflöser erstellen

Wenn Sie den Eingabewert für die dns_instance_id-Implementierung auf null setzen, erstellt der Implementierungsprozess eine neue DNS-Serviceinstanz-ID in der entsprechenden DNS-Zone. Alternativ können Sie eine vorhandene IBM Cloud® DNS-Serviceinstanz-ID für den Bereitstellungseingabewert dns_instance_id angeben.

Wenn Sie den Eingabewert für die dns_custom_resolver_id-Bereitstellung auf null setzen, erstellt der Bereitstellungsprozess eine neue VPC und aktiviert einen neuen angepassten Auflöser für Ihren Cluster. Um angepasste DNS-Auflöser mit einer vorhandenen VPC zu erstellen, geben Sie alternativ die Auflöser-ID für den Eingabewert der dns_custom_resolver_id-Implementierung an. Weitere Informationen finden Sie unter DNS custom resolvers for your IBM Spectrum LSF cluster.

IBM Key Protect-Instanzen für die Verwaltung der Datenverschlüsselung verwenden

Verwenden Sie zum Verwalten der Datenverschlüsselung für Ihre virtuellen Serverinstanzen die IBM Key Protect-Instanz über den IBM Spectrum LSF-Cluster. Weitere Informationen zu Key Protect und Verschlüsselungsschlüsseln finden Sie in IBM® Key Protect und Verschlüsselungsschlüsseln.