Architektur und Konzepte in serverunabhängigen Instanzen
In diesem Thema wird die Architektur der serverunabhängigen IBM Analytics Engine -Instanzen gezeigt und einige wichtige Konzepte und Definitionen beschrieben.
Instanzarchitektur
Der IBM Analytics Engine -Service wird mithilfe von IBM Cloud® Identity and Access Management (IAM) verwaltet. Als IBM Cloud -Kontoeigner wird Ihnen die Kontoadministratorrolle zugewiesen.
Mit einem IBM Cloud -Konto können Sie Ihre serverunabhängige Analytics Engine -Instanz bereitstellen und verwalten, indem Sie Folgendes verwenden:
- IBM Cloud -Konsole
- Befehlszeilenschnittstelle
- REST-API
Die Analytics Engine -Mikroservices in der Steuerebene, auf die über ein API-Gateway zugegriffen wird, verarbeiten Instanzerstellung, Kapazitätsbereitstellung, Anpassung und Laufzeitmanagement, während Ihre Spark-Anwendungen in isolierten Namensbereichen in der Datenebene ausgeführt werden. Jede Spark-Anwendung, die Sie übergeben, wird in einem eigenen Spark-Cluster ausgeführt, bei dem es sich um eine Kombination aus Spark-Master-und Steuerprogrammknoten handelt. Siehe Isolation und Netzzugriff.
Jede Analytics Engine -Instanz ist einer IBM Cloud Object Storage -Instanz für instanzbezogene Daten zugeordnet, auf die alle Anwendungen zugreifen können, die in der Instanz ausgeführt werden. Derzeit werden ebenfalls alle Spark-Ereignisse in dieser Instanz gespeichert. Spark-Anwendungsprotokolle werden zu einem Log Analysis -Protokollserver zusammengefasst.
Zentrale Konzepte
Bei serverunabhängigen IBM Analytics Engine -Instanzen können Sie Apache Spark-Cluster nach Bedarf in Betrieb nehmen und die Spark-Laufzeit und die Standardkonfigurationsoptionen für Spark anpassen.
In den folgenden Abschnitten werden Schlüsselkonzepte bei der Bereitstellung serverunabhängiger Instanzen beschrieben.
IBM Analytics Engine-Serviceinstanz
Ein IBM Cloud® Service ist eine Cloud-Erweiterung, die gebrauchsfertige Funktionen bereitstellt, wie z. B. Datenbank-, Messaging- und Web-Software für die Ausführung von Code oder Anwendungsverwaltungs- oder Überwachungsfunktionen. Services erfordern gewöhnlich keine Installation oder Wartung und könnten miteinander kombiniert werden, um Anwendungen zu erstellen. Eine Instanz eines Service ist eine Entität, die aus Ressourcen besteht, die für eine bestimmte Anwendung oder einen Service reserviert sind.
Wenn Sie eine IBM Analytics Engine aus dem Katalog erstellen, geben Sie der Serviceinstanz einen Namen Ihrer Wahl, wählen Sie die Spark-Standardlaufzeit aus, die Sie der Instanz zuordnen möchten, und geben Sie die Spark-Standardkonfiguration
an, die für die Instanz verwendet werden soll. Außerdem müssen Sie Instance home angeben. Dies ist der Speicher, der der Instanz nur für instanzbezogene Daten zugeordnet ist.
Hinweis:
- Wenn Sie eine IBM Analytics Engine-Serviceinstanz erstellen, fallen keine Kosten an, es sei denn, Sie haben Spark-Anwendungen ausgeführt oder auf den Spark-Protokollserver zugegriffen.
- Es fallen Kosten an, wenn IBM Cloud Object Storage über öffentliche Endpunkte aufgerufen wird und wenn Sie die Weiterleitung von IBM Analytics Engine-Protokollen an IBM Log Analysisaktivieren.
- Es gibt einen Standardgrenzwert für die Anzahl der Serviceinstanzen, die pro IBM Cloud®-Konto zulässig sind, und für die Menge an CPU und Speicher, die in einer beliebigen IBM Analytics Engine-Serviceinstanz verwendet werden können. Siehe Begrenzungen und Kontingente für Analytics Engine-Instanzen. Wenn Sie diese Grenzwerte anpassen müssen, öffnen Sie ein IBM Support-Ticket.
- Es gibt keine Begrenzung für die Anzahl der Spark-Anwendungen, die in einer IBM Analytics Engine-Serviceinstanz ausgeführt werden können.
Standard-Spark-Laufzeit
Zum Zeitpunkt der Instanzbereitstellung können Sie die Spark-Version auswählen, die verwendet wird. Spark 3.4. ist die Standardversion.
Die Laufzeit enthält Open-Source-Spark-Binärdateien und die Konfiguration hilft Ihnen, schnell mit der Instanzerstellung fortzufahren und Spark-Anwendungen in der Instanz auszuführen. Zusätzlich zu den Spark-Binärdateien enthält die Laufzeitumgebung auch die Bibliotheken für Geodaten, Datenüberspringung und modulare Parquet-Verschlüsselung.
In allen Spark-Laufzeitversionen können Sie Spark-Anwendungen übergeben, die in den folgenden Sprachen geschrieben wurden:
- Scala
- Python
- R
Die folgende Tabelle zeigt die Spark-Laufzeitversion und die Laufzeitsprachenversion.
| Spark-Version | Apache Spark-Release | Status | Unterstützte Sprachen |
|---|---|---|---|
| 3.1 | 3.1.2 | Entfernt (nicht unterstützt) | Java 7, Scala 2.12, Python 3.10 und R 4.2 |
| 3.3 | 3.3.2 | Entfernt (nicht unterstützt) | Java 11, Scala 2.12, Python 3.10 und R 4.2 |
| 3.4 | 3.4.1 | Neueste | Java 11, Scala 2.12, Python 3.10 und R 4.2 |
Die Sprachversionen werden regelmäßig aktualisiert, um die Laufzeit von Sicherheitslücken frei zu halten. Sie können die Spark-Laufzeitversion immer überschreiben, wenn Sie eine Anwendung übergeben. Details zum Hinzufügen zu den Nutzdaten finden Sie unter Spark-Laufzeitversion bei Übergabe einer Anwendung übergeben.
Instanzenausgangsverzeichnis
Das Instanzausgangsverzeichnis ist der Speicher, der der Instanz nur für instanzbezogene Daten zugeordnet ist, z. B. angepasste Anwendungsbibliotheken und Spark-Protokollereignisse. Derzeit wird nur IBM Cloud Object Storage für das Ausgangsverzeichnis der Instanz akzeptiert. Diese Instanz kann eine Instanz in Ihrem IBM Cloud® -Account oder eine Instanz aus einem anderen Account sein.
Wenn Sie eine Instanz über die IBM Cloud -Konsole bereitstellen, werden die IBM Cloud Object Storage -Instanzen in Ihrem IBM Cloud® -Account automatisch erkannt und in einer Liste angezeigt, aus der Sie auswählen können. Wenn in Ihrem Account keine IBM Cloud Object Storage -Instanzen gefunden werden, können Sie die REST-APIs verwenden, um das Ausgangsverzeichnis der Instanz nach der Instanzerstellung zu aktualisieren.
Sie können den Heimatort der Instanz nach der Erstellung der Instanz nicht mehr ändern. Sie können nur die Zugriffsschlüssel bearbeiten.
Standardmäßige Spark-Konfiguration
Sie können Standard-Spark-Konfigurationen zum Zeitpunkt der Bereitstellung einer Analytics Engine-Instanz angeben (siehe IBM Analytics Engine-Instanz ohne Server bereitstellen. Die Konfigurationen werden automatisch auf die in der Instanz übergebenen Spark-Anwendungen angewendet. Sie können die Konfigurationen auch nach der Erstellung der Instanz aktualisieren. Sie können die Konfiguration über den Abschnitt Konfiguration auf der Seite Analytics Engine Instanzdetails, Analytics Engine REST-APIs oder IAE CLI bearbeiten. Werte, die als Standardwerte auf Instanzebene angegeben werden, können beim Übergeben von Spark-Anwendungen überschrieben werden.
Weitere Informationen zu den verschiedenen Apache Spark-Konfigurationen finden Sie unter Spark-Konfiguration.
Serverunabhängige Instanzfeatures und Ausführungsmethoden
Die folgende Tabelle zeigt die unterstützten Features der serverunabhängigen Instanz nach Zugriffsrolle und Ausführungsmethoden.
| Operation | Zugriffsrollen | IBM-Konsole | API | Befehlszeilenschnittstelle |
|---|---|---|---|---|
| Instanzen bereitstellen | Administrator | ![]() |
![]() |
![]() |
| Instanzen löschen | Administrator | ![]() |
![]() |
![]() |
| Benutzern Berechtigung erteilen | Administrator | ![]() |
![]() |
![]() |
| Instanzausgangsspeicher verwalten | Administrator | ![]() |
![]() |
![]() |
| Protokollierung konfigurieren | Administrator Entwickler Devops |
![]() |
![]() |
Nicht verfügbar |
| Spark-Anwendungen übergeben | Administrator Entwickler |
Nicht verfügbar | ![]() |
![]() |
| Liste der übergebenen Spark-Anwendungen anzeigen | Administrator Entwickler DevOps |
Nicht verfügbar | ![]() |
![]() |
| Übergebene Spark-Anwendungen stoppen | Administrator Entwickler DevOps |
Nicht verfügbar | ![]() |
![]() |
| Bibliotheken anpassen | Administrator Entwickler |
Nicht verfügbar | ![]() |
Nicht verfügbar |
| Zugriff auf Jobprotokolle | Administrator Entwickler DevOps |
in der Log Analysis-Konsole |
Nicht zutreffend | Nicht zutreffend |
| Instanzdetails anzeigen; die angezeigten Details können je nach Zugriffsrolle variieren | Administrator Entwickler DevOps |
![]() |
![]() |
![]() |
| Spark-Protokollserver verwalten | Administrator Entwickler |
![]() |
![]() |
![]() |
| Access Spark-Protokoll | Administrator Entwickler DevOps |
![]() |
![]() |
![]() |
