Visão geral de customização

É possível customizar uma instância serverless especificamente para se adequar às necessidades do aplicativo para além do que é fornecido por padrão.

Por exemplo, talvez você queira instalar bibliotecas de analítica terceirizadas customizadas ou ajustar algumas configurações de cluster, por exemplo, as configurações padrão do Spark.

É possível customizar uma instância em qualquer ponto do seu ciclo de vida. As customizações são aplicadas apenas aos aplicativos submetidos após a inclusão da customização. Elas não são empregadas em aplicativos atualmente em execução.

Opções de customização

É possível customizar a instância:

  • Especificando valores de configuração herdados por todos os aplicativos Spark executados na instância
  • Tornando as bibliotecas Python, R, Scala ou customizadas disponíveis para aplicativos Spark

Ao criar uma instância, é possível:

  • Especificar valores padrão para propriedades de configuração e variáveis de ambiente suportadas pela configuração do Apache Spark. É possível especificar propriedades de configuração e variáveis de ambiente como pares nome-valor salvos no nível da instância e passados para todos os aplicativos Spark executados na instância. Esses parâmetros de configuração padrão podem simplificar a carga útil que é passada ao enviar um aplicativo Spark. Também é possível substituir esses valores no momento em que um aplicativo Spark é enviado.

    Para obter uma lista das configurações padrão e variáveis de ambiente do Spark, consulte Configurações do Spark.

  • Customize a instância com as bibliotecas requeridas por aplicativos Spark após a criação de instância. É possível criar um conjunto de bibliotecas que empacote todas as bibliotecas a serem disponibilizadas para todos os aplicativos Spark executados na instância e, em seguida, consultar esse conjunto de bibliotecas definido no momento em que o aplicativo Spark é enviado.

    Para criar um conjunto de bibliotecas, consulte Criando um conjunto de bibliotecas.

Nota:

  • O limite de tamanho máximo de um conjunto de bibliotecas de customização é de 2 GB.
  • O horário de início do seu aplicativo Spark ou o tempo levado para executores adicionais a serem adicionados em um cenário de autoscalagem, é proporcional ao tamanho do conjunto de bibliotecas customizadas. Por isso, é uma melhor prática limitar um conjunto de bibliotecas para apenas os arquivos que são necessários para uma aplicação específica. Se outros aplicativos requerem conjuntos diferentes de arquivos, é melhor usar conjuntos de bibliotecas diferentes.