Hauptmerkmale

• Jeder Spark-Engine kann an mehrere Reservierungspools (Knotenpools mit unterschiedlichen Flavors) angehängt werden.
• Dedizierte Workloads mit automatischer Skalierung: Eine dedizierte Umgebung bietet Benutzern ihre eigene reservierte Rechenkapazität und gewährleistet so eine konsistente Leistung und Kontrolle. In Kombination mit der automatischen Skalierung profitieren Benutzer sowohl von Zuverlässigkeit als auch von Effizienz.
• Die Kontingente gelten sowohl für dedizierte als auch für On-Demand-Kapazitäten.
• Für Benutzer, die häufig große oder lange Aufträge ausführen, wird empfohlen, dedizierte Kapazität für vorhersehbare Leistung hinzuzufügen.

Serverloses Spark

• Pay-per-Use-Kostenmodell: Kunden zahlen nur für die Rechenressourcen, die bei der Ausführung von Workloads verbraucht werden. Dadurch wird vermieden, dass bei sporadischer oder geringer Nutzung für ungenutzte Kapazitäten bezahlt werden muss.
• Automatische Skalierung: Serverlose Plattformen skalieren Ressourcen automatisch je nach Bedarf nach oben oder unten, sodass keine manuelle Bereitstellung oder Kapazitätsplanung erforderlich ist.
• Kein Infrastrukturmanagement: Die Plattform übernimmt Patching, Skalierung und Wartung und reduziert so den Betriebsaufwand.
• Schnelle Amortisierung: Kunden können die Lösung schnell implementieren, ohne dass eine Vorausplanung oder Dimensionierung der Infrastruktur erforderlich ist.

Vorteile einer dedizierten Kapazität mit automatischer Skalierung

• Stabile Basisleistung: Dank dedizierter Kapazitäten sind Rechenressourcen für Workloads mit langer Laufzeit oder kontinuierlicher Nutzung garantiert ohne Konkurrenz verfügbar.

• Effiziente Skalierung für Spitzenauslastung: Automatische Skalierungsebenen zusätzlich zur dedizierten Basislinie, um bei Nutzungsspitzen automatisch mehr Kapazität hinzuzufügen und so auch bei unerwarteten Spitzenlasten eine gleichbleibende Leistung zu gewährleisten.

• Kostenoptimiert für nachhaltige Workloads: Kunden zahlen für dedizierte Ressourcen, auf die sie sich kontinuierlich verlassen können, während die automatische Skalierung eine Überversorgung verhindert, indem nur bei Bedarf zusätzliche Kapazitäten hinzugefügt werden.

• Operative Flexibilität: Teams können sowohl die Mindestkapazität für kontinuierliche Workloads als auch eine Obergrenze für die automatische Skalierung konfigurieren, um die Ausgaben zu kontrollieren.

• Verbesserte Zuverlässigkeit: Skalierungsereignisse erfolgen automatisch, wodurch das Risiko von Ausfallzeiten verringert wird und sichergestellt wird, dass Dienste schwankende Arbeitslasten ohne manuelle Eingriffe bewältigen können.

Vorbereitende Schritte

Um diese Funktion nutzen zu können, müssen Sie Version 2.3 (und höher) von verwenden watsonx.data.

Anzeigen und Konfigurieren von Kapazitätsdetails

Um die Registerkarte „Kapazität“ anzuzeigen, gehen Sie wie folgt vor:

1. Melden Sie sich bei der watsonx.data-Konsole an.

2. Navigieren Sie zum Infrastruktur-Manager. Klicken Sie auf die Spark-Engine.

3. Klicken Sie auf die Registerkarte „ Kapazität “. Sie können die folgenden Abschnitte anzeigen:

   • Gesamtnutzungsmetriken: Zeigt den Gesamt- vCPUs und den zugewiesenen Speicher sowie den CPU- und Speicherverbrauch in Prozent in Echtzeit an.
   • Dedicated: Dedizierte Kapazität für große Workloads. Es werden Details zu konfigurierten Kapazitätspools angezeigt, darunter vCPU und Speicherzuweisung, Verbrauchswerte und Optionen zur Verwaltung von Pools (Hinzufügen, Bearbeiten, Anhalten oder Löschen).
   • On-Demand: Wenn eine Spark-Engine erstellt wird, stellt sie automatisch On-Demand-Kapazität bereit. Dies ist die standardmäßige serverlose Option, bei der Ressourcen dynamisch entsprechend den Anforderungen der Arbeitslast skaliert werden. Es zeigt den Speicherverbrauch Ihrer Anwendungen an.

On-Demand-Spark-Engine-Kapazität

On-Demand-Kapazität ist das standardmäßige serverlose Ausführungsmodell für Spark-Engines, das Flexibilität und Einfachheit bietet, ohne dass eine Vorausplanung der Ressourcen erforderlich ist. Wenn eine Spark-Engine erstellt wird, umfasst sie automatisch On-Demand-Kapazität, sodass Workloads ausgeführt werden können. Ressourcen werden dynamisch basierend auf den Workload-Anforderungen bereitgestellt und automatisch auf die maximale Anzahl von Kernen skaliert, die für die On-Demand-Kapazität innerhalb einer Spark-Engine verfügbar sind, wie angegeben.

Um die On-Demand-Kapazitätsquote zu aktualisieren,

Klicken Sie auf der Registerkarte „ Kapazität “ auf „ On-Demand “. Klicken Sie auf „ Kontingent bearbeiten “. Mit einem horizontalen Schieberegler können Sie die gewünschte Kapazitätsquote (in Kernen) innerhalb des zulässigen Bereichs (0 bis 100 Kerne) auswählen. Klicken Sie auf Speichern.

Wenn Sie beispielsweise die Quote auf 40 Kerne festlegen, skaliert die Engine die Ressourcen automatisch entsprechend den Anforderungen der Arbeitslast bis zu dieser Grenze hoch. Um über 100 Kerne hinaus zu skalieren, müssen Sie sich an IBM den Support wenden.

Schaffung einer dedizierten Kapazität für Ihre Arbeitslast

Dedizierte Kapazität bietet eine Möglichkeit, Rechenressourcen für Spark-Workloads zu reservieren, wodurch vorhersehbare Leistung und Kostenstabilität für große oder lang laufende Jobs gewährleistet werden. Im Gegensatz zu On-Demand-Kapazität, die dynamisch skaliert wird, können Sie mit dedizierter Kapazität Reservierungspools mit bestimmten Konfigurationen an Ihre Spark-Engine anhängen.

• Jede Spark-Engine kann bis zu drei Kapazitätspools mit unterschiedlichen Ausprägungen hinzufügen, was Flexibilität für unterschiedliche Workload-Anforderungen ermöglicht.
• Die dedizierte Kapazität unterstützt minimale und maximale Knotenpool-Einstellungen, sodass Sie die Kontrolle über die Ressourcenzuweisung und Skalierungsgrenzen haben.
• Wenn dedizierte Kapazität zugewiesen ist, werden Workloads standardmäßig darauf ausgeführt. Wenn keine dedizierte Kapazität verfügbar ist, werden Workloads automatisch auf On-Demand-Kapazität zurückgesetzt.

So fügen Sie einen dedizierten Kapazitätspool für Ihre Spark-Workloads hinzu:

Klicken Sie auf der Registerkarte „ Kapazität “ auf die Registerkarte „ Dediziert “. Klicken Sie auf „ Knotenpool hinzufügen+ “. Die Seite „ Edition bearbeiten (dediziert) “ wird geöffnet. Geben Sie folgende Angaben ein:

1. Geben Sie im Feld „Instanztypname“ einen Namen für die Konfiguration ein.

2. Wählen Sie die gewünschte Speicherkombination aus der Liste „Ausführung auswählen“ aus. Die folgenden Konfigurationen sind verfügbar.

   Speicherkonfigurationen

   Geschmacksrichtung	Geschmack	Core	Speicher (GB)	Nutzbarer Kern	Verfügbarer Speicher (GB)	Shuffle-Speicher pro Kern (GB)	Sekundärspeicher (GB / Stufe)
   Allgemeiner Zweck	bx2.16x64	16	64	14	60	50	900 GB / 10 IOPS-Tier
   Allgemeiner Zweck	bx2.32x128	32	128	30	124	50	1600 GB / 10 IOPS-Tier
   Speicherintensiv	mx2.16x128	16	128	14	124	50	900 GB / 10 IOPS-Tier
   Speicherintensiv	mx2.32x256	32	256	30	252	50	1600 GB / 10 IOPS-Tier
   Speicherintensiv	mx2.16x128	16	128	14	124	100	1600 GB / 10 IOPS-Tier
   Speicherintensiv	mx2.32x256	32	256	30	252	100	3000 GB / 10 IOPS-Tier

3. Geben Sie die für die Skalierung erforderlichen Mindest- und Höchstanzahl an Knoten an. Die dedizierte Kapazität unterstützt minimale und maximale Knotenpool-Einstellungen, sodass Sie die Kontrolle über die Ressourcenzuweisung und Skalierungsgrenzen haben.

4. Wählen Sie „ Als Standardkapazität festlegen “, um diese Konfiguration als Standardkapazität für die ausgewählte Spark-Engine festzulegen.

5. Klicken Sie auf Speichern.