Anpassungsübersicht

Sie können eine serverunabhängige Instanz gezielt an Ihre Anwendungsanforderungen anpassen, über das hinaus, was standardmäßig bereitgestellt wird.

Sie können beispielsweise Bibliotheken anderer Anbieter für angepasste Analysen installieren oder einige Clusterkonfigurationen optimieren, z. B. die Spark-Standardkonfigurationen.

Sie können eine Instanz an jedem beliebigen Punkt ihres Lebenszyklus anpassen. Die Anpassungen werden nur auf die Anwendungen angewendet, die nach dem Hinzufügen der Anpassung übergeben werden. Sie werden nicht auf aktuell aktive Anwendungen angewendet.

Anpassungsoptionen

Sie können Ihre Instanz wie folgt anpassen:

  • Konfigurationswerte angeben, die von allen Spark-Anwendungen übernommen werden, die in der Instanz ausgeführt werden
  • Python, R, Scala oder angepasste Bibliotheken für Ihre Spark-Anwendungen verfügbar machen

Beim Erstellen einer Instanz haben Sie folgende Möglichkeiten:

  • Geben Sie Standardwerte für Konfigurationseigenschaften und Umgebungsvariablen an, die von der Apache Spark-Konfiguration unterstützt werden. Sie können Konfigurationseigenschaften und Umgebungsvariablen als Name/Wert-Paare angeben, die auf Instanzebene gespeichert und an alle Spark-Anwendungen übergeben werden, die in der Instanz ausgeführt werden. Diese Standardkonfigurationsparameter können die Nutzdaten vereinfachen, die bei Übergabe einer Spark-Anwendung übergeben werden. Sie können diese Werte auch überschreiben, wenn eine Spark-Anwendung übergeben wird.

    Eine Liste der Spark-Standardkonfigurationen und Umgebungsvariablen finden Sie unter Spark-Konfigurationen.

  • Passen Sie die Instanz nach der Instanzerstellung mit Bibliotheken an, die für Ihre Spark-Anwendungen erforderlich sind. Sie können eine Bibliotheksgruppe erstellen, die alle Bibliotheken packt, die für alle Spark-Anwendungen verfügbar gemacht werden sollen, die in der Instanz ausgeführt werden, und dann auf diese definierte Bibliotheksgruppe verweisen, wenn die Spark-Anwendung übergeben wird.

    Informationen zur Erstellung einer Bibliotheksgruppe finden Sie unter Bibliotheksgruppe erstellen.

Hinweis:

  • Die maximale Größe einer Anpassungsbibliotheksgruppe beträgt 2 GB.
  • Die Startzeit Ihrer Spark-Anwendung oder die Zeit, die zusätzliche Executors benötigen, um in einem Szenario mit automatischer Skalierung hinzugefügt zu werden, ist proportional zur Größe der angepassten Bibliotheksgruppe. Daher ist es ein bewährtes Verfahren, eine Bibliotheksgruppe auf die Dateien zu beschränken, die für eine bestimmte Anwendung erforderlich sind. Wenn andere Anwendungen unterschiedliche Dateigruppen benötigen, ist es besser, unterschiedliche Bibliotheksgruppen zu verwenden.