02. Februar 2024

Anwendungsprotokolle sind jetzt im Instanzausgangsverzeichnis verfügbar.

Die Anwendungsprotokolle werden nun standardmäßig an Analytics Engine -Instanzausgangsverzeichnis weitergeleitet. Sie können auf die Protokollinformationen aus dem IBM Cloud Object Storage (COS) Bucket zugreifen. Sie können die Protokolldatei für jede bestimmte Anwendung aus dem Pfad <instance_id>/logs/<app_id> herunterladen, um sie aufzuzeichnen, gemeinsam zu nutzen und zu debuggen. Weitere Informationen finden Sie unter Protokolle an Instanzausgangsverzeichnis weiterleiten.

Neue Position für die Protokollierung von Spark-Anwendungsereignissen

Ab 7. Februar 2024 werden die Spark-Anwendungsereignisse in einem neuen Pfad (/<instance_id>/spark-events) protokolliert, der im Instanzausgangsbucket verfügbar ist. Um die älteren Anwendungen in der Spark-Protokollschnittstelle anzuzeigen, kopieren Sie die Spark-Anwendungsereignisse an eine neue Position. Weitere Informationen zum Kopieren der Ereignisse finden Sie unter Spark-Protokollserver.

01. Dezember 2023

Interne Netzdaten für Spark-Workload verschlüsseln

Sie können jetzt die Datenverschlüsselung für interne Netzdaten während der Übertragung aktivieren (interne Kommunikation zwischen Komponenten der Spark-Anwendung), indem Sie die Eigenschaften IBM Analytics Engine auf Instanzebene oder Jobebene konfigurieren. Weitere Informationen zum Verschlüsseln interner Netzdaten für Spark-Workload finden Sie unter Interne Netzdaten für Spark-Workload verschlüsseln.

22. November 2023

Informationen zur Spark-Protokollebene konfigurieren

Die Standardprotokollstufe in der Serverless Spark-Anwendung IBM Analytics Engine wird bis zum 3. Januar 2023 in 'ERROR' geändert. Sie können die vorhandene Protokollkonfiguration der Protokollierung auf der Stufe 'INFO' ändern, um relevante und präzise Nachrichten anzuzeigen. Weitere Informationen zum Ändern der Protokollebene finden Sie unter Informationen zur Spark-Protokollebene konfigurieren.

19. Oktober 2023

Entfernen von Entwicklungspaketen (*-devel)

Aus Sicherheitsgründen sind die *-devel-Pakete (Betriebssystementwicklungspakete) ab jetzt nicht mehr in der Spark-Laufzeit vorinstalliert. Wenn Sie die Entwicklungspakete bereits verwenden, können die Programme, die die Entwicklungspakete verwenden, nicht kompiliert werden. Wenden Sie sich bei Fragen an den IBM Support.

09. Oktober 2023

Unterstützung für Spark 3.1 entfernen

IBM Analytics Engine unterstützt Spark 3.1nicht mehr. Führen Sie ein Upgrade Ihrer vorhandenen IBM Analytics Engine-Instanzen auf Spark 3.3 durch, um die neuesten Features und Erweiterungen zu erhalten. Weitere Informationen zum Upgrade finden Sie unter Instanzstandardlaufzeit ersetzen.

Ab dem aktuellen Release ist Spark 3.3 die Standardlaufzeitversion für IBM Analytics Engine-Instanzen.

29. September 2023

Integration mit watsonx.data

IBM Analytics Engine kann jetzt in IBM® watsonx.data integriert werden, um die funktionalen Funktionen von watsonx.datazu nutzen. Weitere Informationen zur Integration und zum Arbeiten mit watsonx.datafinden Sie unter Mit watsonx.dataarbeiten.

6. September 2023

Unterstützung für Spark 3.4

Sie können jetzt IBM Analytics Engine-Instanzen mit einem Plan ohne Priorität bereitstellen, wobei die Standard-Spark-Laufzeit auf Spark 3.4gesetzt ist, sodass Sie Spark-Anwendungen unter Spark 3.4ausführen können.

23. August 2023

Einstellung der Unterstützung für R v3.6 von Spark 3.1-und Spark 3.3-Laufzeiten

Die IBM Analytics Engine veraltet die Unterstützung für R v3.6 von Spark 3.1 und Spark 3.3-Laufzeiten bis zum 6. September 2023. Die Unterstützung für R v4.2 ist bereits für Spark 3.1 und Spark 3.3 Runtime implementiert. Stellen Sie sicher, dass Sie Ihre Spark-Anwendung mit der neuen Version von R v4.2 vor dem 06. September 2023 auf etwaige Fehler testen. Wenden Sie sich bei Problemen an den IBM Support. Informationen zum Testen der Spark-Anwendung finden Sie unter REST-API für Spark-Anwendung.

09. August 2023

Unterstützung für Spark 3.1 einstellen

Die Unterstützung für Spark 3.1-Version auf IBM Analytics Engine ist veraltet und wird in Kürze entfernt (bis 09. Oktober 2023). Um eine reibungslose Erfahrung sicherzustellen und die neuesten Features und Verbesserungen zu nutzen, führen Sie ein Upgrade Ihrer vorhandenen IBM Analytics Engine-Instanzen auf Spark 3.3durch. Informationen zum Upgrade Ihrer Instanz auf Spark 3.3finden Sie unter Standardlaufzeit der Instanz ersetzen. Ab diesem Release ist Spark 3.3 die Standardlaufzeitversion für alle neu erstellten Instanzen von IBM Analytics Engine. Durch diese Änderung können Sie von den erweiterten Funktionen und Optimierungen profitieren, die in der neuesten Version verfügbar sind.

07. Juli 2023

Aktualisierung der Version des Spark-Wartungsrelease für 3.3

Spark-Anwendungen mit einer Laufzeit von Spark 3.3 werden ab sofort intern mit Spark 3.3.2 ausgeführt. Für die Patchversion wurde jetzt ein Upgrade von 3.3.0 auf 3.3.2durchgeführt.

29. Mai 2023

Entfernung der Unterstützung für Python v3.9 aus Spark 3.1 und Spark 3.3-Laufzeiten

Die IBM Analytics Engine- Serverless Spark Anwendung plant die Einstellung der Python v3.9 Unterstützung von Spark 3.1 und Spark 3.3 Laufzeiten bis June15, 2023. Unterstützung für Python v3.10 ist bereits für Spark 3.1 und Spark 3.3 Runtime implementiert. Stellen Sie sicher, dass Sie Ihre Spark-Anwendung mit der neuen Version von Python, v 3.10, vor dem 15. Juni 2023 auf etwaige Fehler testen. Wenden Sie sich bei Problemen an den IBM Support. Weitere Informationen finden Sie in der Prozedur zum Testen der Spark-Anwendung Spark-Anwendung mit einer vom Standard abweichenden Sprachversion ausführen.

25. Mai 2023

Paginierung der Anwendungsliste in der REST-API und CLI

Sie können jetzt die Anzahl der Anwendungen begrenzen, die vom serverunabhängigen REST-API-Endpunkt, der SDK-Methode und dem CLI-Befehl listing applications von Analytics Engine zurückgegeben werden. Verwenden Sie den Abfrageparametergrenzwert, um die Anzahl der zurückzugebenden Anwendungen anzugeben, und geben Sie den Wert von next.start oder previous.start aus der API-Antwort als Wert des Abfragestartparameters an, um die nächste oder vorherige Seite der Ergebnisse abzurufen. Die Anwendungen werden basierend auf der Übergabezeit in absteigender Reihenfolge aufgelistet, wobei die neueste Anwendung die erste ist.

Die Paginierung ist eine optionale Funktion in diesem Release. Ab dem nächsten Release des Service werden die Ergebnisse standardmäßig paginiert.

21. September 2022

Unterstützung für Spark 3.3

Sie können jetzt IBM® Analytics Engine-Instanzen mit einem Plan ohne Priorität bereitstellen, wobei die Spark-Standardlaufzeit auf Spark 3.3gesetzt ist, sodass Sie Spark-Anwendungen unter Spark 3.3ausführen können.

09. September 2022

Sie können jetzt Hive-Metaspeicher verwenden, um die Metadaten zu verwalten, die sich auf Ihre Anwendungstabellen, Spalten und Partitionsinformationen beziehen, wenn Sie mit Spark SQL arbeiten.

Sie könnten diese Metaspeicherdatenbank in einen externen Datenspeicher auslagern, z. B. in eine IBM Cloud Data Engine-Instanz (zuvor SQL Query) oder in eine IBM Cloud Databases for PostgreSQL-Instanz. Details finden Sie unter Mit Spark SQL und einem externen Metaspeicher arbeiten.

12. Juli 2022

Sie können nun IBM® Analytics Engine serverunabhängige Instanzen in einer neuen Region bereitstellen.

Zusätzlich zur Region IBM Cloud® us-south (Dallas) können Sie jetzt auch serverunabhängige Instanzen in der Region eu-de (Frankurt) bereitstellen.

08. Juli 2022

Neue API für Plattformprotokollierung

Verwenden Sie die log_forwarding_config-API zum Weiterleiten von Plattformprotokollen von einer IBM Analytics Engine-Instanz an IBM Log Analysis. Obwohl Sie die API logging weiterhin verwenden können, ist sie veraltet und wird in Kürze entfernt. Details zur Verwendung der API log_forwarding_config finden Sie unter Protokolle konfigurieren und anzeigen.