Note sulla release per le istanze serverless IBM Analytics Engine

Utilizza queste note di rilascio per conoscere gli ultimi aggiornamenti alle istanze serverless di IBM Analytics Engine, raggruppate per data.

Febbraio 2025

Ora è possibile utilizzare la versione Spark, 3.5.4 per eseguire le applicazioni in IBM Analytics Engine. In IBM Analytics Engine, Apache Spark, 3.4.4 e Apache Spark, 3.5.4 sono le versioni supportate.

Settembre 2024

Deprecazione del supporto per IBM Log Analysis
IBM Log Analysis è deprecato e non sarà più supportato a partire dal 30 marzo 2025. È necessario migrare a IBM Cloud Logs. Per informazioni su come effettuare la migrazione, vedere Migrazione a IBM Cloud Logs.

Agosto 2024

Deprecare il supporto per i runtime di Spark 3.3
Il supporto per il runtime Spark 3.3 in IBM Analytics Engine sarà deprecato il 17 settembre 2024 e la versione predefinita sarà cambiata in Spark 3.4. Per garantire un'esperienza senza interruzioni e per sfruttare le funzioni e i miglioramenti più recenti, passate a Spark 3.4. Per aggiornare l'istanza a Spark 3.4, vedere Replace Instance Default Runtime.

Febbraio 2024

02 febbraio 2024

I log dell'applicazione sono ora disponibili nella home dell'istanza
I log dell'applicazione vengono ora inoltrati a Analytics Engine home istanza per impostazione predefinita. È possibile accedere alle informazioni di registro dal bucket IBM Cloud Object Storage (COS). È possibile scaricare il file di log per qualsiasi applicazione specifica dal percorso <instance_id>/logs/<app_id> per scopi di registrazione, condivisione e debug. Per ulteriori informazioni, vedi Inoltro dei log alla home dell'istanza.
Nuova ubicazione per la registrazione degli eventi dell'applicazione Spark
A partire dal 7 febbraio 2024, gli eventi dell'applicazione Spark vengono registrati su un nuovo percorso (/<instance_id>/spark-events) disponibile nel bucket home dell'istanza. Per visualizzare le applicazioni precedenti nell'interfaccia della cronologia Spark, copiare gli eventi dell'applicazione Spark in una nuova posizione. Per ulteriori informazioni sulla copia degli eventi, consultare Spark history server

Dicembre 2023

01 dicembre 2023

Crittografia dei dati di rete interni per il carico di lavoro Spark
Ora puoi abilitare la codifica dei dati per i dati di rete interni in transito (comunicazione interna tra i componenti dell'applicazione Spark) configurando le proprietà IBM Analytics Engine a livello dell'istanza o del lavoro. Per ulteriori informazioni sulla codifica dei dati di rete interni per il carico di lavoro Spark, vedi Codifica dei dati di rete interni per il carico di lavoro Spark.

Novembre 2023

22 novembre 2023

Configurazione delle informazioni sul livello di log Spark
Il livello di log predefinito nell'applicazione Spark senza server IBM Analytics Engine, verrà modificato in 'ERROR' entro il 3 gennaio 2023. È possibile modificare la configurazione di log esistente della registrazione a livello 'INFO', per visualizzare messaggi pertinenti e concisi. Per ulteriori informazioni sulla modifica del livello di log, vedi Configurazione delle informazioni sul livello di log Spark.

Ottobre 2023

19 ottobre 2023

Rimozione dei pacchetti di sviluppo (*- devel)
Per ragioni di sicurezza, i pacchetti *- devel (pacchetti di sviluppo del sistema operativo) non sono preinstallati sul runtime Spark da ora in poi. Se si stanno già utilizzando i pacchetti di sviluppo, i programmi che utilizzano i pacchetti di sviluppo non possono essere compilati. Per eventuali domande, contattare il supporto IBM.

09 ottobre 2023

Rimozione del supporto Spark 3.1
IBM Analytics Engine non supporta più Spark 3.1. Aggiorna le tue istanze IBM Analytics Engine esistenti a Spark 3.3 per le funzioni e i miglioramenti più recenti. Per ulteriori informazioni sull'aggiornamento, consultare Sostituisci runtime predefinito istanza.

Dalla release corrente in poi, Spark 3.3 è la versione di runtime predefinita per IBM Analytics Engine istanze.

Settembre 2023

29 settembre 2023

Integrazione con watsonx.data
IBM Analytics Engine ora si integra con IBM® watsonx.data per sfruttare le funzionalità funzionali di watsonx.data. Per ulteriori informazioni sull'integrazione e sull'utilizzo di watsonx.data, vedi Gestione di watsonx.data.

06 settembre 2023

Supporto per Spark 3.4
Puoi ora eseguire il provisioning di IBM Analytics Engine istanze del piano senza server con il runtime Spark predefinito impostato su Spark 3.4, che ti consente di eseguire le applicazioni Spark su Spark 3.4.

Agosto 2023

23 agosto 2023

Obsolescenza del supporto di R v3.6 dai runtime Spark 3.1 e Spark 3.3
L'IBM Analytics Engine elimina il supporto per R v3.6 dai runtime Spark 3.1 e Spark 3.3 entro il 6 settembre 2023. Il supporto per R v4.2 è già distribuito per i runtime Spark 3.1 e Spark 3.3. Assicuratevi di testare la vostra applicazione Spark con la nuova versione di R v4.2 per verificare eventuali errori prima del 06 settembre 2023. Contattare l'assistenza IBM per qualsiasi problema. Per verificare l'applicazione Spark, vedi API REST dell'applicazione Spark.

09 agosto 2023

Obsolescenza del supporto per Spark 3.1
Il supporto per la versione 3.1 di Spark su IBM Analytics Engine è obsoleto e verrà rimosso presto (entro il 09 ottobre 2023). Per garantire un'esperienza senza soluzione di continuità e sfruttare le funzioni e i miglioramenti più recenti, aggiorna le tue istanze IBM Analytics Engine esistenti a Spark 3.3. Per eseguire l'upgrade della tua istanza a Spark 3.3, vedi Sostituisci runtime predefinito istanza. Da questa release in poi, Spark 3.3 sarà la versione di runtime predefinita per tutte le nuove istanze IBM Analytics Engine create. Questa modifica consente di beneficiare delle funzionalità e delle ottimizzazioni avanzate disponibili nella versione più recente.

Luglio 2023

07 luglio 2023

Aggiornamento della versione della release di manutenzione Spark per 3.3
Le applicazioni Spark con runtime impostato su Spark 3.3 verranno eseguite internamente utilizzando Spark 3.3.2 da ora in poi. La versione della patch è ora aggiornata da 3.3.0 a 3.3.2.

Maggio 2023

29 maggio 2023

Rimozione del supporto Python v3.9 dai runtime Spark 3.1 e Spark 3.3
L'applicazione IBM Analytics Engine- Serverless Spark prevede di interrompere Python v3.9 da Spark 3.1 e Spark 3.3 entro il June15, 2023. Il supporto per Python v3.10 è già distribuito per i runtime Spark 3.1 e Spark 3.3. In base al carico di lavoro, assicuratevi di testare la vostra applicazione spark con la nuova versione di Python, v 3.10 per eventuali guasti prima del 15 giugno 2023. Contattare l'assistenza IBM per qualsiasi problema. Consultare la procedura per verificare l'applicazione Spark Esegui un'applicazione Spark con una versione di lingua non predefinita.

25 maggio 2023

Paginazione dell'elenco di applicazioni nell'API REST e nella CLI
Puoi ora limitare il numero di applicazioni restituite dall'endpoint API REST senza server Analytics Engine, dal metodo SDK e dal comando CLI per elencare applicazioni. Utilizzare il limite del parametro di query per specificare il numero di applicazioni da restituire e specificare il valore di next.start o previous.start dalla risposta API come valore del parametro di query di avvio per richiamare la pagina successiva o precedente dei risultati. Le applicazioni sono elencate in ordine decrescente in base all'ora di inoltro, con la prima applicazione più recente.

L'impaginazione è una funzione facoltativa in questa release. Dal successivo rilascio del servizio, i risultati verranno impaginati per impostazione predefinita.

05 gennaio 2023

Analizzare le esecuzioni dell'applicazione sul server di cronologia Spark

Ora puoi eseguire un server della cronologia di Spark sulla tua istanza senza server IBM Analytics Engine.

Il server della cronologia Spark fornisce un' Web UI per visualizzare gli eventi Spark che sono stati inoltrati al bucket Object Storage definito come home dell'istanza. L' Web UI ti aiuta ad analizzare come vengono eseguite le tue applicazioni Spark visualizzando informazioni utili come:

  • Un elenco delle fasi che l'applicazione attraversa quando viene eseguita
  • Il numero di attività in ogni fase
  • I dettagli di configurazione come gli executor in esecuzione e l'utilizzo della memoria

Ti vengono addebitati i core CPU e la memoria utilizzati dal server della cronologia Spark mentre è in esecuzione. La tariffa è di $0.1475 USD per ora core del processore virtuale e $0.014 USD per ora gigabyte.

Vedere Utilizzo del server della cronologia Spark.

Settembre 2022

21 settembre 2022

Supporto per Spark 3.3
Puoi ora eseguire il provisioning delle istanze del piano senza separazione IBM® Analytics Engine con il runtime Spark predefinito impostato su Spark 3.3, che ti consente di eseguire applicazioni Spark su Spark 3.3.

09 settembre 2022

È ora possibile utilizzare il metastore Hive per gestire i metadati relativi alle tabelle delle applicazioni, alle colonne e alle informazioni sulla partizione quando si utilizza Spark SQL.
Puoi scegliere di esternalizzare questo database metastore in un archivio dati esterno, come un'istanza IBM Cloud Data Engine (precedentemente SQL Query) o IBM Cloud Databases for PostgreSQL. Per i dettagli, vedi Utilizzo di Spark SQL e di un metastore esterno.

Luglio 2022

12 luglio 2022

Puoi ora eseguire il provisioning di istanze senza server IBM® Analytics Engine in una nuova regione.
Oltre alla regione IBM Cloud® us-south (Dallas), puoi ora eseguire il provisioning anche delle istanze senza server nella regione eu-de (Frankurt).

08 luglio 2022

Nuova API per la registrazione della piattaforma
Inizia a utilizzare la API log_forwarding_config per inoltrare i log della piattaforma da una istanza IBM Analytics Engine a IBM Log Analysis. Sebbene sia ancora possibile utilizzare l'API logging, è obsoleta e verrà rimossa nel prossimo futuro. Per i dettagli su come utilizzare l'API log_forwarding_config, consulta Configurazione e visualizzazione dei log.

13 maggio 2022

Supporto per Python 3.9
Puoi ora eseguire le applicazioni Spark utilizzando Python 3.9nelle tue istanze senza server IBM Analytics Engine.

04 aprile 2022

Limitazione del tempo di esecuzione delle applicazioni Spark
Le applicazioni Spark possono essere eseguite per un massimo di 3 giorni (72 ore). Tutte le applicazioni eseguite oltre questo periodo verranno ripulite automaticamente per aderire ai processi di gestione delle patch di sicurezza e conformità per le applicazioni in Analytics Engine.

30 marzo 2022

Inizia a utilizzare la CLI senza server Analytics Engine
Utilizza questa esercitazione per iniziare rapidamente e semplicemente con il provisioning di un'istanza senza server Analytics Engine e l'inoltro e il monitoraggio delle applicazioni Spark. Vedi Crea le istanze del servizio e inoltra le applicazioni utilizzando la CLI.

9 settembre 2021

Introduzione del piano serverless standard IBM Analytics Engine per Apache Spark

Il piano senza server standard IBM Analytics Engine per Apache Spark offre la possibilità di eseguire lo spin up delle istanze senza server IBM Analytics Engine in pochi secondi, personalizzarle con i package della libreria di tua scelta ed eseguire i tuoi carichi di lavoro Spark.

Nuovo: il piano senza server standard IBM Analytics Engine per Apache Spark è ora GA nell'area di servizio Dallas IBM Cloud.

Questo piano offre un nuovo modello di consumo utilizzando Apache Spark per cui le risorse sono assegnate e utilizzate solo quando i carichi di lavoro Spark sono in esecuzione.

Le funzionalità disponibili nel IBM Analytics Engine per Apache Spark includono:

  • Esecuzione di applicazioni di flusso e batch Spark
  • Creazione e utilizzo dei kernel Jupyter per casi di uso interattivi
  • Esecuzione di applicazioni batch Spark tramite un'interfaccia simile a Apache Livy
  • Personalizzazione dell'istanza con le proprie librerie
  • Ridimensionamento automatico dei carichi di lavoro Spark
  • Aggregazione dei log dei tuoi carichi di lavoro Spark al server Log Analysis

Per iniziare a utilizzare il piano senza server, vedi Introduzione all'uso senza server IBM Analytics Engine istanze.