Visión general de personalización

Puede personalizar una instancia sin servidor específicamente para adaptarse a las necesidades de su aplicación, además de los elementos suministrados de forma predeterminada.

Por ejemplo, es posible que desee instalar bibliotecas de terceros analíticas personalizadas o que desee ajustar algunas configuraciones de clúster, por ejemplo, las configuraciones predeterminadas de Spark.

Puede personalizar una instancia en cualquier punto de su ciclo de vida. Las personalizaciones solo se aplican a las aplicaciones que se envían después de añadir la personalización. No se aplican a las aplicaciones que se están ejecutando actualmente.

Opciones de personalización

Puede personalizar la instancia:

  • Especificando valores de configuración heredados por todas las aplicaciones de Spark que se ejecutan en la instancia
  • Poniendo Python, R, Scala o las bibliotecas personalizadas a disposición de las aplicaciones de Spark

Cuando cree una instancia, puede:

  • Especificar los valores predeterminados de las propiedades de configuración y las variables de entorno que admite la configuración de Apache Spark. Puede especificar las propiedades de configuración y las variables de entorno como pares de nombre-valor que se guardan a nivel de instancia y se pasan a todas las aplicaciones de Spark que se ejecutan en la instancia. Estos parámetros de configuración predeterminados pueden simplificar la carga útil que se pasa al enviar una aplicación de Spark. También puede alterar temporalmente estos valores cuando envíe una aplicación de Spark.

    Para obtener una lista de las configuraciones de Spark y las variables de entorno predeterminadas, consulte Configuraciones de Spark.

  • Personalice la instancia con las bibliotecas necesarias para las aplicaciones de Spark después de la creación de la instancia. Puede crear un conjunto de bibliotecas que empaquete todas las bibliotecas para que estén disponibles para todas las aplicaciones de Spark que se ejecutan en la instancia y, a continuación, consulte este conjunto de bibliotecas definidas al enviar la aplicación de Spark.

    Para crear un conjunto de bibliotecas, consulte Creación de un conjunto de bibliotecas.

Nota:

  • El límite de tamaño máximo de un conjunto de bibliotecas de personalización es de 2 GB.
  • La hora de inicio de la aplicación Spark o el tiempo que tarda en añadirse ejecutores adicionales en un escenario de escalado automático es proporcional al tamaño del conjunto de bibliotecas personalizadas. Por lo tanto, se recomienda limitar un conjunto de bibliotecas a sólo los archivos necesarios para una aplicación específica. Si otras aplicaciones requieren conjuntos de archivos diferentes, es mejor utilizar conjuntos de bibliotecas diferentes.