Notas del release para instancias sin servidor de IBM Analytics Engine
Utilice estas notas de release para obtener información sobre las últimas actualizaciones de las instancias sin servidor de IBM Analytics Engine, que están agrupadas por fecha.
Febrero de 2025
Ahora puede utilizar la versión Spark, 3.5.4 para ejecutar las aplicaciones en IBM Analytics Engine. En IBM Analytics Engine, Apache Spark, 3.4.4 y Apache Spark, 3.5.4 son las versiones compatibles.
Septiembre de 2024
- Supresión de la compatibilidad con IBM Log Analysis
- IBM Log Analysis está obsoleto y dejará de recibir soporte a partir del 30 de marzo de 2025. Debe migrar a IBM Cloud Logs. Para obtener información sobre cómo migrar, consulte Migración a IBM Cloud Logs.
Agosto de 2024
- Deja de ser compatible con los tiempos de ejecución de Spark 3.3
- La compatibilidad con el tiempo de ejecución de Spark 3.3 en IBM Analytics Engine quedará obsoleta el 17 de septiembre de 2024 y la versión predeterminada cambiará al tiempo de ejecución de Spark 3.4. Para garantizar una experiencia fluida y aprovechar las últimas funciones y mejoras, cambie a Spark 3.4. Para actualizar su instancia a Spark 3.4, consulte Reemplazar tiempo de ejecución predeterminado de la instancia.
Febrero de 2024
2 de febrero de 2024
- Los registros de aplicación ahora están disponibles en el inicio de instancia
- Los registros de aplicación se reenvían ahora a Analytics Engine inicio de instancia de forma predeterminada. Puede acceder a la información de registro desde el bucket IBM Cloud Object Storage (COS). Puede descargar el
archivo de registro para cualquier aplicación específica desde la vía de acceso
<instance_id>/logs/<app_id>para fines de grabación, compartición y depuración. Para obtener más información, consulte Reenvío de registros al inicio de instancia. - Nueva ubicación para registrar sucesos de aplicación Spark
- A partir del 7 de febrero de 2024, los sucesos de la aplicación Spark se registran en una nueva vía de acceso (
/<instance_id>/spark-events) disponible en el grupo instancia-inicio. Para ver las aplicaciones más antiguas en la interfaz de historial de Spark, copie los sucesos de aplicación de Spark en una nueva ubicación. Para obtener más información sobre cómo copiar los sucesos, consulte Servidor de historial de Spark
Diciembre de 2023
01 de diciembre de 2023
- Cifrado de datos de red interna para la carga de trabajo de Spark
- Ahora puede habilitar el cifrado de datos para los datos de red internos en tránsito (comunicación interna entre componentes de la aplicación Spark) configurando las propiedades IBM Analytics Engine a nivel de instancia o a nivel de trabajo. Para obtener más información sobre el cifrado de datos de red interna para la carga de trabajo de Spark, consulte Cifrado de datos de red interna para la carga de trabajo de Spark.
Noviembre de 2023
22 de noviembre de 2023
- Configuración de la información de nivel de registro de Spark
- El nivel de registro predeterminado en la aplicación IBM Analytics Engine Serverless Spark se cambiará a 'ERROR' antes del 3 de enero de 2023. Puede cambiar la configuración de registro existente del registro en el nivel 'INFO', para visualizar mensajes relevantes y concisos. Para obtener más información sobre cómo cambiar el nivel de registro, consulte Configuración de la información de nivel de registro de Spark.
Octubre de 2023
19 de octubre de 2023
- Eliminación de paquetes de desarrollo (*-devel)
- Por razones de seguridad, los paquetes *-devel (paquetes de desarrollo del sistema operativo) no están preinstalados en el tiempo de ejecución de Spark a partir de ahora. Si ya está utilizando los paquetes de desarrollo, los programas que utilizan los paquetes de desarrollo no se pueden compilar. Para cualquier consulta, póngase en contacto con el soporte de IBM.
09 de octubre de 2023
- Eliminación del soporte de Spark 3.1
- IBM Analytics Engine ya no da soporte a Spark 3.1. Actualice las instancias de IBM Analytics Engine existentes a Spark 3.3 para obtener las últimas características y mejoras. Para obtener más información sobre la actualización, consulte Sustituir tiempo de ejecución predeterminado de instancia.
A partir del release actual, Spark 3.3 es la versión de tiempo de ejecución predeterminada para las instancias de IBM Analytics Engine.
Septiembre de 2023
29 de septiembre de 2023
- Integración con watsonx.data
- IBM Analytics Engine se integra ahora con IBM® watsonx.data para aprovechar las prestaciones funcionales de watsonx.data. Para obtener más información sobre la integración y para trabajar con watsonx.data, consulte Trabajar con watsonx.data.
6 de septiembre de 2023
- Soporte para Spark 3.4
- Ahora puede suministrar IBM Analytics Engine instancias de plan sin gravedad con el tiempo de ejecución de Spark predeterminado establecido en Spark 3.4, que le permite ejecutar aplicaciones Spark en Spark 3.4.
Agosto de 2023
23 de agosto de 2023
- En desuso el soporte de R v3.6 desde los tiempos de ejecución de Spark 3.1 y Spark 3.3
- El IBM Analytics Engine deja obsoleto el soporte para R v3.6 de los tiempos de ejecución Spark 3.1 y Spark 3.3 para el 6 de septiembre de 2023. El soporte para R v4.2 ya está desplegado para Spark 3.1 y Spark 3.3 runtime. Asegúrese de probar su aplicación Spark con la nueva versión de R v4.2 para detectar cualquier fallo antes del 06 de septiembre de 2023. Póngase en contacto con IBM para cualquier problema. Para probar la aplicación Spark, consulte API REST de la aplicación Spark.
09 de agosto de 2023
- En desuso el soporte para Spark 3.1
- El soporte para la versión 3.1 de Spark en IBM Analytics Engine está en desuso y se eliminará pronto (para el 09 de octubre de 2023). Para garantizar una experiencia fluida y aprovechar las últimas características y mejoras, actualice las instancias de IBM Analytics Engine existentes a Spark 3.3. Para actualizar la instancia a Spark 3.3, consulte Sustituir tiempo de ejecución predeterminado de instancia. A partir de este release, Spark 3.3 será la versión de tiempo de ejecución predeterminada para todas las nuevas instancias de IBM Analytics Engine creadas. Este cambio le permite beneficiarse de las prestaciones y optimizaciones mejoradas disponibles en la versión más reciente.
Julio de 2023
7 de julio de 2023
- Actualización de versión de release de mantenimiento de Spark para 3.3
- Las aplicaciones Spark con el tiempo de ejecución establecido en Spark 3.3 se ejecutarán internamente utilizando Spark 3.3.2 a partir de ahora. La versión de parche se ha actualizado ahora de 3.3.0 a 3.3.2.
Mayo de 2023
29 de mayo de 2023
- Eliminación del soporte de Python v3.9 de los tiempos de ejecución de Spark 3.1 y Spark 3.3
- La aplicación IBM Analytics Engine- Serverless Spark planea discontinuar Python v3.9 de Spark 3.1 y Spark 3.3 antes del June15 de 2023. El soporte para Python v3.10 ya está desplegado para Spark 3.1 y Spark 3.3 runtime. En función de la carga de trabajo, asegúrese de probar su aplicación spark con la nueva versión de Python, v 3.10 para cualquier fallo antes del 15 de junio de 2023. Póngase en contacto con IBM para cualquier problema. Consulte el procedimiento para probar la aplicación Spark Ejecutar una aplicación Spark con una versión de idioma no predeterminada.
25 de mayo de 2023
- Paginación de la lista de aplicaciones en la API REST y la CLI
- Ahora puede limitar el número de aplicaciones devueltas por el punto final de la API REST sin servidor de Analytics Engine, el método SDK y el mandato CLI para listar aplicaciones.
Utilice el límite de parámetros de consulta para especificar el número de aplicaciones que se van a devolver y especifique el valor de
next.startoprevious.startde la respuesta de la API como el valor del parámetro de consulta de inicio para captar la página siguiente o anterior de los resultados. Las aplicaciones se listan en orden descendente basándose en la hora de envío, siendo la aplicación más reciente la primera.
La paginación es una característica opcional en este release. A partir del siguiente release del servicio, los resultados se paginarán de forma predeterminada.
5 de enero de 2023
- Analizar ejecuciones de aplicación en el servidor de historial de Spark
-
Ahora puede ejecutar un servidor de historial de Spark en la instancia sin servidor de IBM Analytics Engine.
El servidor de historial de Spark proporciona una Web UI para ver los sucesos de Spark que se han reenviado al grupo Object Storage que se ha definido como inicio de instancia. La Web UI le ayuda a analizar cómo se han ejecutado las aplicaciones Spark visualizando información útil como:
- Una lista de las etapas por las que pasa la aplicación cuando se ejecuta
- El número de tareas en cada etapa
- Los detalles de configuración como, por ejemplo, los ejecutores en ejecución y el uso de memoria
Se le facturará por los núcleos de CPU y la memoria consumida por el servidor de historial de Spark mientras se está ejecutando. La tarifa es de0.1475 USD por hora de núcleo de procesador virtual y0.014 USD por hora de gigabyte.
Septiembre de 2022
21 de septiembre de 2022
- Soporte para Spark 3.3
- Ahora puede suministrar IBM® Analytics Engine instancias de plan sin gravedad con el tiempo de ejecución de Spark predeterminado establecido en Spark 3.3, que le permite ejecutar aplicaciones Spark en Spark 3.3.
09 de septiembre de 2022
- Ahora puede utilizar el almacén de metadatos Hive para gestionar los metadatos relacionados con las tablas de aplicaciones, las columnas y la información de partición al trabajar con Spark SQL.
- Puede optar por externalizar esta base de datos de almacén de metadatos a un almacén de datos externo, como en una instancia de IBM Cloud Data Engine (anteriormente SQL Query) o IBM Cloud Databases for PostgreSQL. Para obtener detalles, consulte Trabajar con Spark SQL y un almacén de metadatos externo.
Julio de 2022
12 de julio de 2022
- Ahora puede suministrar IBM® Analytics Engine instancias sin servidor en una nueva región.
- Además de la región IBM Cloud®
us-south(Dallas), ahora también puede suministrar instancias sin servidor en la regióneu-de(Frankurt).
08 de julio de 2022
- Nueva API para el registro de plataforma
- Empiece a utilizar la API de
log_forwarding_configpara reenviar registros de plataforma desde una instancia de IBM Analytics Engine a IBM Log Analysis. Aunque todavía puede utilizar la API delogging, está en desuso y se eliminará en un futuro próximo. Para obtener detalles sobre cómo utilizar la API delog_forwarding_config, consulte Configuración y visualización de registros.
13 de mayo de 2022
- Soporte de Python 3.9
- Ahora puede ejecutar aplicaciones Spark utilizando Python 3.9. en las instancias sin servidor de IBM Analytics Engine.
4 de abril de 2022
- Limitación de la duración de las aplicaciones de Spark
- Las aplicaciones de Spark pueden ejecutarse durante un periodo máximo de 3 días (72 horas). Las aplicaciones que se ejecuten más allá de este periodo se limpiarán automáticamente para que cumplan con los procesos de gestión de parches de seguridad y conformidad para aplicaciones en Analytics Engine.
30 de marzo de 2022
- Empezar a utilizar la CLI sin servidor de Analytics Engine
- Utilice esta guía de aprendizaje para ayudarle a empezar de forma rápida y sencilla con el suministro de una instancia sin servidor de Analytics Engine y a enviar y supervisar aplicaciones Spark. Consulte Crear instancias de servicio y enviar aplicaciones utilizando la CLI.
9 de septiembre de 2021
- Introducción al plan sin servidor IBM Analytics Engine Standard para Apache Spark
-
El plan IBM Analytics Engine Standard sin servidor para Apache Spark ofrece la posibilidad de configurar las instancias de IBM Analytics Engine sin servidor en cuestión de segundos, personalizarlas con paquetes de biblioteca de su elección y ejecutar las cargas de trabajo de Spark.
- Novedad: el plan sin servidor IBM Analytics Engine Standard para Apache Spark es ahora de disponibilidad general en la región de servicio de IBM Cloud de Dallas.
-
Este plan ofrece un nuevo modelo de consumo que utiliza Apache Spark mediante el que los recursos se asignan y de consumen únicamente cuando se ejecutan cargas de trabajo de Spark.
Estas son algunas de las funciones disponibles en el plan sin servidor IBM Analytics Engine Standard para Apache Spark:
- Ejecución de aplicaciones de streaming y de proceso por lotes de Spark
- Creación y trabajo con kernels de Jupyter para casos de uso interactivo
- Ejecución de aplicaciones por lotes de Spark a través de una interfaz similar a Apache Livy
- Personalización de la instancia con sus propias bibliotecas
- Escalado automático de cargas de trabajo de Spark
- Agregación de registros de las cargas de trabajo de Spark al servidor de Log Analysis
Para empezar a utilizar el plan sin servidor, consulte Cómo empezar a utilizar instancias sin servidor de IBM Analytics Engine.