Travailler avec l'environnement de développement VS Code

S'applique à: Moteur d'allumage Gluten accéléré Moteur d'allumage

L'environnement de développement VS Code est un environnement de développement basé sur Spark qui vous permet de programmer, déboguer, soumettre et tester interactivement des applications Spark sur un cluster Spark fonctionnant sur le moteur Spark.

Il est disponible en tant qu'extension Visual Studio Code et vous pouvez l'installer sur votre système local pour accéder à l'environnement de développement intégré Spark à l'aide de Visual Studio Code. Il réduit le temps de développement et augmente la facilité d'utilisation.

Avant de commencer

  1. Abonnement à watsonx.data sur le cloud. Assurez-vous que vous avez créé un moteur Spark et qu'il est en cours d'exécution.

  2. Installez une version de bureau de Visual Studio Code.

  3. Installez l'extension watsonx.data à partir de VS Code Marketplace.

  4. Installez l'extension Visual Studio Code, Remote-SSH depuis Visual Studio Code marketplace.

    Les laboratoires Spark étant éphémères par nature, vous devez sauvegarder les données stockées périodiquement afin d'éviter toute perte de données potentielle lors de mises à jour ou d'un crash du maître Spark.

  5. Pour les utilisateurs travaillant avec des applications lourdes et des ordinateurs portables sur Visual Studio Code, il est recommandé d'allouer au moins 8 Go de mémoire, au lieu des 4 Go par défaut. Cela garantit des performances plus fluides et une meilleure gestion des tâches gourmandes en ressources. C'est important lorsque l'on utilise SparkLabs pour certaines applications gourmandes en mémoire, par exemple les ordinateurs portables. Dans de tels scénarios, en cas de déconnexion du réseau, les sessions doivent être rechargées, ce qui entraîne une surcharge de mémoire. Pour éviter ces risques, vous devez allouer de manière proactive de l'espace mémoire supplémentaire.

Procédure

Mise en place des laboratoires Spark

  1. Installez l'extension watsonx.data.

    a. Ouvrir Visual Studio Code. Cliquez sur Extensions.

    b. Recherchez l'extension watsonx.data dans VS Code Marketplace et installez-la.

    c. Vous pouvez également voir l'icône watsonx.data dans la fenêtre de navigation de gauche. Cliquez sur l'icône. La fenêtre Welcome to IBM watsonx.data extension s'ouvre.

  2. Dans la fenêtre Bienvenue à IBM watsonx.data extension, cliquez sur Gérer la connexion. La fenêtre Gestion de la connexion watsonx.data s'ouvre.

  3. Configurez l'un des détails suivants :

    • Entrées JSON

    • Entrées du formulaire

  4. Pour configurer les entrées JSON, cliquez sur Entrées JSON et spécifiez les détails suivants :

    • Clé API: Fournir la clé API de la plateforme. Pour générer la clé API, voir Génération de la clé API.
    • Connexion JSON: Fournir les détails de la connexion à partir de l'interface utilisateur watsonx.data. Pour ce faire :

      1. Connectez-vous à votre page watsonx.data.

      2. Dans le menu de navigation, cliquez sur Informations sur la connexion.

      3. Cliquez sur VS Code. Copiez la configuration du champ de configuration de la connexion de VS Code et utilisez-la comme valeur du champ JSON de connexion. Pour plus d'informations, voir Obtenir des informations sur la connexion.

  5. Pour configurer les entrées de formulaire, cliquez sur Entrées de formulaire et spécifiez les détails suivants :

  6. Cliquez sur Test & Save. Le message Retrieved Spark Clusters s'affiche. Les moteurs Spark disponibles sont affichés dans la section WATSONX.DATA:ENGINES section.

  7. Créez un lab Spark.

    a. Pour créer un nouveau laboratoire Spark, dans la section WATSONX.DATA:ENGINES sélectionnez le cluster Spark requis et cliquez sur l'icône + (Add cluster) en regard de celui-ci. La fenêtre Créer un laboratoire Spark s'ouvre. Spécifiez un nom unique pour le laboratoire Spark et sélectionnez la version Spark. La version par défaut de Spark est 3.5. Vous pouvez modifier les autres champs facultatifs si nécessaire.

    Le paramètre 'spark.hadoop.wxd.apikey est configuré par défaut dans le champ des configurations Spark lors de la création du laboratoire Spark.

    b. Cliquez sur Rafraîchir pour afficher le laboratoire Spark dans la fenêtre de gauche. Il s'agit du cluster Spark dédié au développement d'applications.

    c. Cliquez sur pour ouvrir la fenêtre du laboratoire Spark afin d'accéder au système de fichiers, au terminal et de travailler avec lui.

    c. Dans le menu Explorateur, vous pouvez visualiser le système de fichiers, où vous pouvez télécharger les fichiers, et consulter les journaux.

    Pour supprimer un laboratoire Spark déjà en cours d'exécution, passez la souris sur le nom du laboratoire Spark dans le volet de navigation gauche de watsonx.data et cliquez sur l'icône Supprimer.

Développement d'une application Spark

Développez une application Spark dans le lab Spark. Vous pouvez utiliser une application Spark de l'une des manières suivantes:

Créez votre propre fichier Python

  1. Sur Visual Studio Code, cliquez sur le laboratoire Spark. Une nouvelle fenêtre s'ouvre.

  2. Dans la nouvelle fenêtre du laboratoire Spark, cliquez sur Nouveau fichier. L'invite Nouveau fichier s'affiche avec les types de fichiers suivants :

    • Fichier texte: permet de créer un fichier texte.
    • Python Fichier: Sélectionnez cette option pour créer une application Python.
    • Jupyter Notebook: Sélectionnez cette option pour créer un fichier Jupyter Notebook.

  3. Sélectionnez Python File. Un nouveau fichier .py s'ouvre. Vous pouvez commencer à travailler sur le fichier Python et l'enregistrer plus tard.

    Vous pouvez également faire glisser le fichier de l'application Python vers la page de l'explorateur. Le fichier s'ouvre dans le panneau de droite de l'application Visual Studio Code.

  4. Lancez la commande suivante dans le terminal pour exécuter votre application Python. Cette opération lance une session Python et vous pouvez voir le message d'accusé de réception dans le terminal.

    python <filename>

Créer des blocs-notes Jupyter

  1. Sur Visual Studio Code, cliquez sur le laboratoire Spark. Une nouvelle fenêtre s'ouvre.

  2. Installer l'extension Jupyter dans la nouvelle fenêtre du laboratoire Spark pour travailler avec les Notebooks Jupyter. Dans le menu Extensions de la nouvelle fenêtre du laboratoire Spark, recherchez l'adresse Jupyter (vous pouvez également la trouver sur le VS Code Marketplace ) et installez l'extension.

    Veillez à installer l'extension Jupyter à partir de la nouvelle fenêtre du laboratoire Spark.

  3. Dans la page de l'explorateur, cliquez sur Nouveau fichier. L'invite Nouveau fichier s'affiche avec les types de fichiers suivants :

    • Fichier texte: permet de créer un fichier texte.
    • Python Fichier: Sélectionnez cette option pour créer une application Python.
    • Jupyter Notebook: Sélectionnez cette option pour créer un fichier Jupyter Notebook.

    Vous pouvez également créer un nouveau fichier Jupyter Notebook en tapant le nom du fichier avec l'extension .ipynb ou glisser-déposer le carnet existant sur la page de l'explorateur.

  4. Sélectionner Jupyter Notebook. Un nouveau fichier .ipynb s'ouvre. Vous pouvez commencer à travailler sur le fichier Jupyter Notebook et l'enregistrer plus tard.

  5. Dans le fichier Jupyter Notebook, cliquez sur le lien Select Kernel.

  6. Vous devez sélectionner un environnement Python pour exécuter votre fichier.

  7. Sélectionnez le chemin d'accès au fichier qui contient conda/envs/python/bin/python.

  8. Le site Jupyter Notebook est maintenant prêt à l'emploi. Vous pouvez écrire votre code et l'exécuter cellule par cellule.

Lorsque vous enregistrez le fichier, le chemin d'accès au fichier est automatiquement affiché dans l'invite " Enregistrer sous". Vous pouvez modifier le chemin d'accès ou cliquer sur OK pour enregistrer.