Présentation de la personnalisation

Vous pouvez personnaliser une instance sans serveur spécifiquement pour répondre aux besoins de votre application, au-delà de ce qui est provisionné par défaut.

Par exemple, vous pouvez installer des bibliothèques tierces d'analyse personnalisée ou vous pouvez affiner certaines configurations de cluster, par exemple, les configurations par défaut de Spark.

Vous pouvez personnaliser une instance à tout moment de son cycle de vie. Les personnalisations sont appliquées uniquement aux applications qui sont soumises après avoir ajouté la personnalisation. Elles ne sont pas appliquées à une application en cours d'exécution.

Options de personnalisation

Vous pouvez personnaliser votre instance en :

  • Spécifiant des valeurs de configuration héritées par toutes les applications Spark qui s'exécutent dans l'instance
  • En rendant les bibliothèques Python, R, Scala ou personnalisées disponibles pour vos applications Spark

Lorsque vous créez une instance, vous pouvez :

  • Spécifiez les valeurs par défaut des propriétés de configuration et des variables d'environnement prises en charge par la configuration Apache Spark. Vous pouvez spécifier des propriétés de configuration et des variables d'environnement en tant que paires nom-valeur enregistrées au niveau de l'instance et transmises à toutes les applications Spark qui s'exécutent dans l'instance. Ces paramètres de configuration par défaut peuvent simplifier la charge transmise lors de la soumission d'une application Spark. Vous pouvez également remplacer ces valeurs lors de la soumission d'une application Spark.

    Pour obtenir la liste des configurations Spark par défaut et des variables d'environnement, voir Configurations de parc.

  • Personnalisez l'instance avec les bibliothèques requises par vos applications Spark après la création de l'instance. Vous pouvez créer un ensemble de bibliothèques qui regroupe toutes les bibliothèques à mettre à la disposition de toutes les applications Spark qui s'exécutent dans l'instance, puis fair référence à cette bibliothèque définie au moment de la soumission de l'application Spark.

    Pour créer un ensemble de bibliothèques, voir Création d'un ensemble de bibliothèques.

Remarque :

  • La limite de taille maximale d'un ensemble de bibliothèques de personnalisation est de 2 Go.
  • L'heure de début de votre application Spark ou la durée nécessaire à l'ajout de programmes d'exécution supplémentaires dans un scénario de mise à l'échelle automatique est proportionnelle à la taille de l'ensemble de bibliothèques personnalisé. Par conséquent, il est recommandé de limiter un ensemble de bibliothèques aux seuls fichiers nécessaires à une application spécifique. Si d'autres applications requièrent des ensembles de fichiers différents, il est préférable d'utiliser des ensembles de bibliothèques différents.