Über Clusternetzwerke

Ein Cluster-Netzwerk ist ein softwaredefiniertes Netzwerk innerhalb einer Virtual Private Cloud (VPC), das mehrere Computersysteme oder Knoten miteinander verbindet. Es verbessert die Kommunikation zwischen diesen Systemen und ermöglicht eine schnelle Datenübertragung und geringe Latenzzeiten. Dieser Service eignet sich ideal für anspruchsvolle Aufgaben wie Hochleistungsrechnen (HPC), groß angelegte Datenverarbeitung und das Training von Modellen für künstliche Intelligenz (KI). Cluster-Netzwerke sind auf hohe Leistungsstandards ausgelegt und eignen sich daher besonders für Umgebungen, in denen eine effiziente und schnelle Kommunikation zwischen den Systemen erforderlich ist.

Jedes Cluster-Netzwerk verfügt über ein zugehöriges Cluster-Netzwerkprofil, das den Typ der Komponenten definiert, mit denen es sich verbinden kann. Das Cluster-Netzwerk umfasst eine Reihe grundlegender Netzwerkabstraktionen wie Instanzen, Schnittstellen und Subnetze, die Ihnen die Flexibilität und Kontrolle bieten, die Sie für die Konfiguration leistungsstarker Workloads benötigen.

Einige der Schlüsselfunktionen sind:

High-Performance-Computing
Geeignet für anspruchsvolle Anwendungen wie KI-Training oder komplexe Simulationen, bei denen eine hohe Bandbreite und geringe Latenz entscheidend sind.

Direkte Daten- übertragung : Unterstützt fortschrittliche Netzwerktechnologien wie Remote Direct Memory Access (RDMA), die eine direkte Datenübertragung zwischen den Speichern verschiedener Knoten ohne Einbeziehung der CPU ermöglichen und so die Leistung weiter verbessern.

Isolierung und Optimierung
Bietet eine hohe Bandbreite und niedrige Latenzzeiten für Gruppen von Rechenressourcen. Cluster-Netzwerke sind in einem separaten IPv4-Adressraum isoliert, der nicht extern geroutet wird.
Flexibilität und Kontrolle
Fungiert als ergänzendes Netzwerk zum bestehenden VPC-Netzwerk. Cluster-Netzwerkverbindungen bleiben von VPC-Netzwerken getrennt und unterstützen die Integration von Hochgeschwindigkeits-RDMA-Netzwerken neben VPC-Netzwerken.

IBM Cloud® unterstützt die folgenden Cluster-Netzwerkprofile

Cluster-Netzwerkangebote in „ IBM Cloud “

NVIDIA Trichter 1

Das Hopper 1 Cluster-Netzwerkprofil ist ein leistungsstarker IBM Cloud Cluster, der von NVIDIA H100 und H200 GPUs angetrieben wird und mit NVLink und 400 Gbps RoCE v2 Netzwerken verbunden ist. Hopper 1 ist für den Einsatz in der Cloud optimiert und für groß angelegtes KI-Training und Inferenz mit hoher Speicherbandbreite und GPU-Kommunikation mit geringer Latenz ausgelegt.

Einführung in Clusternetze

Ein Clusternetzwerk verbessert die Effizienz und Geschwindigkeit der Datenübertragung innerhalb einer vernetzten Gruppe von Systemen und ist damit eine wesentliche Komponente für Hochleistungsrechenaufgaben.

Folgen Sie diesen allgemeinen Schritten, um ein einfaches Clusternetzwerk für das KI-Training zu erstellen:

  1. Überprüfen Sie die Planungsaspekte für Cluster-Netzwerke und beachten Sie alle bekannten Probleme.

  2. Ermitteln Sie die Gesamtressourcen, die für Ihren Cluster erforderlich sind, indem Sie die Anzahl der Instanzen, die Sie erstellen möchten, mit den im entsprechenden Instanzprofil definierten Ressourcen multiplizieren.

  3. Überprüfen Sie die berechneten Gesamtressourcen, die für Ihren Cluster erforderlich sind, anhand der Standardquoten, um festzustellen, ob eine Quotenerhöhung erforderlich ist.

  4. Erstellen Sie ein Clusternetzwerk.

  5. Erstellen Sie ein Cluster-Netzwerk-Subnetz, falls Sie dies nicht bereits bei der Erstellung des Cluster-Netzwerks getan haben.

  6. Erstellen Sie virtuelle Serverinstanzen mit einer der folgenden Methoden:

    • Erstellen Sie eine virtuelle Serverinstanz.

    • Erstellen Sie eine Instanzvorlage, und erstellen Sie dann eine Instanz. Stellen Sie das sicher:

      • Wählen Sie das gewünschte Instanzprofil aus. Für Hopper 1 sind die verfügbaren gx3d-160x1792x8h100 Instanzprofile und gx3d-160x1792x8h200;
      • Aktivieren Sie das Clustering.
      • Fügen Sie Anhänge hinzu, die Ihren Cluster-Subnetzen entsprechen.

    Wenn Sie Ihre Instanzvorlage erstellen, können Sie sie zur Bereitstellung einzelner virtueller Serverinstanzen oder mehrerer Instanzen gleichzeitig als Teil einer Instanzgruppe verwenden.

Anwendungsfälle für Clusternetzwerke

Überprüfen Sie den Anwendungsfall, der Ihrem ausgewählten Instanzprofil entspricht, um sich über die geeigneten Konfigurations- und Sicherheitsmaßnahmen für die Bereitstellung Ihres Cluster-Netzwerks zu informieren.

Anwendungsfall 1: Vernetzung von H100/H200-Instanzen zur Verwendung von RDMA mit dem Hopper 1-Cluster-Netzwerk

Das folgende Diagramm veranschaulicht, wie Sie „ H100/H200 “-Instanzen mit einem Hopper 1-Cluster-Netzwerk verbinden, um RDMA auf „ IBM Cloud “ zu aktivieren.

Stellen Sie zunächst sicher, dass Sie ein Cluster-Netzwerk mit Cluster-Netzwerk-Subnetzen wie abgebildet eingerichtet haben. Verbinden Sie anschließend die Instanzen „ H100 “ oder „ H200 “ sowohl mit dem Cluster-Netzwerk als auch mit den VPC-Netzwerken. VPC-Netzwerke verbinden Ihre Cloud-Ressourcen und können externes Routing bereitstellen. Cluster-Netzwerke fügen Schnittstellen innerhalb Ihrer Instanz hinzu, um eine direkte Verbindung zwischen den Knoten zu ermöglichen.

Vernetzung von H100- und H200-Instanzen zur Verwendung von RDMA auf IBM Cloud
Vernetzung von Hopper 1-fähigen Instanzen zur Verwendung von RDMA auf IBM Cloud

Anwendungsfall 2: Absicherung Ihres Clusternetzwerks gegenüber dem Rest des IBM Cloud

Das Cluster-Netzwerk wird in einer separaten Netzwerkdomäne vom VPC-Netzwerk betrieben. Diese Isolierung bietet Sicherheit, ohne dass Zugriffskontrollen wie Sicherheitsgruppen, Netzwerk-ACLs oder Routing-Tabellen erforderlich sind. Die Kommunikation innerhalb des Cluster-Netzwerks findet nur zwischen Geräten statt, die direkt mit dem Cluster-Netzwerk verbunden sind.

Ressourcen, die mit dem Cluster-Netzwerk verbunden sind, müssen auch mindestens ein VPC-Netzwerk verbinden. Das VPC-Netzwerk unterstützt alle Standard-VPC-Ressourcen, wie z. B. Floating-IP-Adressen, öffentliche Gateways, Transit-Gateways und mehr. Es wird empfohlen, dass Sie Ihre Sicherheitsrichtlinien für die virtuellen Netzwerkschnittstellen (VNIs) überprüfen, die mit Ressourcen im Cluster-Netzwerk verbunden sind.

Absicherung Ihres Clusternetzwerks vor dem Rest des IBM Cloud
Ihres Clusternetzwerks vor dem Rest des IBM Cloud

Um einen minimalen Zugriff auf das Cluster-Netzwerk aufrechtzuerhalten:

  • Beschränken Sie den Zugriff auf nur die Instanzen, die mit dem Cluster-Netzwerk verbunden sind.

  • Konfigurieren Sie eine strenge Sicherheitsgruppe für die VNIs auf jeder Instanz mit Zugriff auf das Cluster-Netzwerk.

    Überwachen Sie eingehende TCP Anfragen sorgfältig und erwägen Sie die Überwachung ausgehender TCP Anfragen. Weitere Informationen finden Sie unter Einrichten einer Sicherheitsgruppe für Ihre Ressource.

  • Stellen Sie sicher, dass die Subnetze, die mit cluster-netzwerkfähigen Instanzen verbunden sind, über geeignete Netzwerk-ACLs verfügen.

  • Konfigurieren Sie IAM-Richtlinien für Cluster-Netzwerkberechtigungen.