02 de fevereiro de 2024

Os logs do aplicativo agora estão disponíveis no início da instância

Os logs do aplicativo agora são encaminhados para Analytics Engine início da instância por padrão. Você pode acessar as informações de registro no IBM Cloud Object Storage (COS). É possível fazer download do arquivo de log para qualquer aplicativo específico do caminho <instance_id>/logs/<app_id> para propósitos de gravação, compartilhamento e depuração. Para obter mais informações, consulte Encaminhando logs para início da instância.

Novo local para criação de log de eventos do aplicativo Spark

A partir de 7 de fevereiro de 2024, os eventos do aplicativo Spark são registrados em um novo caminho (/<instance_id>/spark-events) disponível no depósito da instância inicial. Para visualizar os aplicativos mais antigos na interface de histórico do Spark, copie os eventos de aplicativo do Spark para um novo local Para obter mais informações sobre como copiar os eventos, consulte Servidor de históricos do Spark

01 Dezembro 2023

Criptografando dados de rede internos para carga de trabalho do Spark

Agora é possível ativar a criptografia de dados para os dados de rede internos em trânsito (comunicação interna entre componentes do aplicativo Spark) configurando as propriedades do IBM Analytics Engine no nível da instância ou no nível da tarefa. Para obter mais informações sobre como criptografar dados de rede internos para carga de trabalho do Spark, consulte Criptografando dados de rede internos para carga de trabalho do Spark.

22 de novembro de 2023. "

Configurando informações de nível de log do Spark

O nível de log padrão no aplicativo IBM Analytics Engine Serverless Spark deve ser mudado para 'ERROR' até 3 de janeiro de 2023. É possível alterar a configuração de log existente de criação de log no nível 'INFO', para exibir mensagens relevantes e concisas Para obter mais informações sobre como mudar o nível do log, consulte Configurando informações do nível de log do Spark

19 de outubro de 2023

Remoção de pacotes de desenvolvimento (*-devel)

Por motivos de segurança, os pacotes *-devel (pacotes de desenvolvimento do sistema operacional) não são pré-instalados no tempo de execução do Spark a partir de agora.. Se você já estiver usando os pacotes de desenvolvimento, os programas que usam os pacotes de desenvolvimento não poderão ser compilados Para quaisquer consultas, entre em contato com o Suporte IBM.

09 de outubro de 2023

Remoção do suporte do Spark 3.1

IBM Analytics Engine não suporta mais o Spark 3.1. Faça upgrade de suas instâncias existentes do IBM Analytics Engine para o Spark 3.3 para os recursos e aprimoramentos mais recentes. Para obter mais informações sobre o upgrade, consulte Substituir Tempo de Execução Padrão da Instância..

A partir da liberação atual, o Spark 3.3 é a versão de tempo de execução padrão para instâncias do IBM Analytics Engine.

29 de setembro de 2023.

Integração com o watsonx.data

O IBM Analytics Engine agora se integra com o IBM® watsonx.data para alavancar os recursos funcionais do watsonx.data. Para obter mais informações sobre a integração e trabalhar com watsonx.data, consulte Trabalhando com watsonx.data.

06 de setembro de 2023.

Suporte para o Spark 3.4

Agora é possível provisionar instâncias do plano sem servidor IBM Analytics Engine com o conjunto de tempo de execução do Spark padrão para o Spark 3.4, que permite executar aplicativos Spark no Spark 3.4.

23 de agosto de 2023.

Descontinuando o suporte do R v3.6 dos tempos de execução do Spark 3.1 e do Spark 3.3

O IBM Analytics Engine descontinua o suporte ao R v3.6 dos tempos de execução do Spark 3.1 e do Spark 3.3 até 6 de setembro de 2023. O suporte ao R v4.2 já está implantado para o tempo de execução do Spark 3.1 e do Spark 3.3. Certifique-se de testar seu aplicativo Spark com a nova versão do R v4.2 para detectar falhas antes de 06 de setembro de 2023. Entre em contato com o IBM para qualquer problema. Para testar o aplicativo Spark, consulte API REST do aplicativo Spark.

09 de agosto de 2023

Descontinuando o suporte para Spark 3.1

O suporte para o Spark 3.1 na versão IBM Analytics Engine foi descontinuado e será removido em breve (até 09 de outubro de 2023). Para assegurar uma experiência contínua e alavancar os recursos e melhorias mais recentes, faça upgrade de suas instâncias existentes do IBM Analytics Engine para o Spark 3.3. Para fazer upgrade de sua instância para o Spark 3.3, consulte Substituir o tempo de execução padrão da instância A partir dessa liberação, o Spark 3.3 será a versão de tempo de execução padrão para todas as novas instâncias do IBM Analytics Engine criadas Essa mudança permite que você se beneficie dos recursos aprimorados e das otimizações disponíveis na versão mais recente

07 Julho 2023

Atualização da versão de liberação de manutenção do Spark para 3.3

Os aplicativos Spark com tempo de execução configurado para Spark 3.3 serão executados internamente usando o Spark 3.3.2 a partir de agora. A versão de correção agora foi atualizada de 3.3.0 para 3.3.2.

29 de maio de 2023. "

Remoção do suporte Python v3.9 dos tempos de execução do Spark 3.1 e do Spark 3.3

O IBM Analytics Engine- aplicativo Spark sem servidor planeja descontinuar o Python v3.9 do Spark 3.1 e dos tempos de execução do Spark 3.3 até June15 de 2023. O suporte para Python v3.10 já está implantado para o tempo de execução do Spark 3.1 e do Spark 3.3. Com base na carga de trabalho, certifique-se de testar seu aplicativo Spark com a nova versão do Python, v 3.10, para quaisquer falhas antes de 15 de junho de 2023. Entre em contato com o IBM para qualquer problema. Consulte o procedimento para testar o aplicativo Spark Executar um aplicativo Spark com uma versão de idioma não padrão

25 de maio de 2023

Paginação da lista de aplicativos na API REST e CLI

Agora é possível limitar o número de aplicativos retornados pelo terminal da API REST sem servidor, pelo método SDK e pelo comando da CLI do Analytics Engine para listar aplicativos. Use o limite do parâmetro de consulta para especificar o número de aplicativos a serem retornados e especificar o valor de next.start ou previous.start da resposta da API como o valor do parâmetro de consulta inicial para buscar a página seguinte ou anterior dos resultados. Os aplicativos são listados em ordem decrescente com base no tempo de envio, com o aplicativo mais recente sendo o primeiro.

A paginação é um recurso opcional nesta liberação Na próxima liberação do serviço, os resultados serão paginados por padrão.

21 de setembro de 2022

Suporte para o Spark 3.3

Agora é possível provisionar instâncias do plano sem servidor IBM® Analytics Engine com a configuração do tempo de execução do Spark padrão para o Spark 3.3, que permite executar aplicativos Spark no Spark 3.3.

09 de setembro de 2022

Agora você pode usar a metastore Hive para gerenciar os metadados relacionados às suas tabelas de aplicativos, colunas e informações de partição ao trabalhar com o Spark SQL.

Você poderia optar por externalizar esse banco de dados de metastore para uma loja de dados externa, como para um IBM Cloud Data Engine (anteriormente SQL Query) ou uma instância IBM Cloud Databases for PostgreSQL. Para obter detalhes, consulte Trabalhando com a Spark SQL e uma metastore externa.

12 de julho de 2022

Agora você pode provisionar IBM® Analytics Engine serverless instâncias em uma nova região.

Além da região IBM Cloud® us-south (Dallas), você agora pode também provisionar instâncias de serverless na região de eu-de (Frankurt).

08 de julho de 2022

Nova API para registro de plataformas

Comece a usar a API log_forwarding_config para encaminhalogs de plataforma a partir de uma instância IBM Analytics Engine para IBM Log Analysis. Embora você ainda possa usar a API logging, ela é reprovada e será removida em um futuro próximo. Para obter detalhes sobre como usar a API log_forwarding_config, consulte Configurando e visualizando logs.