Utilisation de watsonx Code Assistant Individu avec un modèle local IBM Granite

watsonx Code Assistant Individuel

Pour les utilisateurs individuels, watsonx Code Assistant peut accéder à un modèle local par l'intermédiaire d' Ollama, qui est un moteur d'inférence locale largement utilisé pour les grands modèles linguistiques. Ollama englobe le projet de service de modèle sous-jacent llama.cpp.

Pour des performances accrues et un ensemble complet de fonctionnalités pour votre organisation, provisionnez une version d'essai de watsonx Code Assistant sur IBM Cloud Pour plus d'informations, voir Configuration de votre service watsonx Code Assistant dans IBM Cloud

Installer l'extension watsonx Code Assistant

Vous pouvez configurer Ollama pour l'utiliser dans Microsoft Visual Studio Code

Cette configuration n'est pas disponible pour le plug-in d' Eclipse IDE. Il n'est disponible qu'avec l'extension Visual Studio Code.

  1. Ouvrez la watsonx Code Assistant page dans Visual Studio Marketplace.

  2. Cliquez sur Installer sur la page Marketplace.

  3. Dans Visual Studio Code, cliquez sur Installer dans l'extension.

  4. Dans les paramètres de l'extension, réglez Wca : Backend Provider sur ollama.

    Note pour les employés de IBM: Changer le fournisseur de backend reviendra toujours à wcaCore si vous êtes un employé de IBM ou Red Hat utilisant l'extension interne WCA@IBM. Pour permettre de changer de fournisseur d'accès :

    • Dans les paramètres de l'extension WCA@IBM, décochez Activer le mode WCA@IBM pour watsonx Code Assistant
    • Une autre solution consiste à désactiver l'extension WCA@IBM

Installer Ollama

Démarrer le serveur d'inférence Ollama

Dans une fenêtre de console, exécutez :

ollama serve

Laissez cette fenêtre ouverte pendant que vous utilisez Ollama.

Si vous recevez le message 'Error: listen tcp 127.0.0.1:11434: bind: address already in use, le serveur Ollama est déjà démarré.

Installer le modèle de code IBM Granite

Commencez par installer le modèle " granite-code:8b disponible dans la bibliothèque Ollama.

  1. Ouvrez une nouvelle fenêtre de console.

  2. Sur la ligne de commande, tapez " ollama run granite-code:8b pour télécharger et déployer le modèle. La sortie est similaire à l'exemple suivant :

    pulling manifest
    pulling 8718ec280572... 100% ▕███████████████████████ 4.6 GB
    pulling e50df8490144... 100% ▕███████████████████████ ▏  123 B
    pulling 58d1e17ffe51... 100% ▕███████████████████████▏  11 KB
    pulling 9893bb2c2917... 100% ▕███████████████████████▏  108 B
    pulling 0e851433eda0... 100% ▕███████████████████████▏  485 B
    verifying sha256 digest
    writing manifest
    removing any unused layers
    success
    >>>
    
  3. Tapez '/bye après '>>> pour quitter le shell de commande Ollama.

  4. Essayez le modèle en le tapant :

    ollama run granite-code:8b "How do I create a python class?"
    
  5. Vous devriez obtenir une réponse semblable à celle présentée ci-dessous :

    To create a Python class, you can define a new class using the "class" keyword followed by the name of the class and a colon. Inside the class definition, you can specify the methods and attributes that the class will have. Here is an example: ...
    

Configurer l'hôte Ollama

Par défaut, le serveur Ollama fonctionne sur l'adresse IP 127.0.0.1, le port 11434, et le protocole http. Si vous changez l'adresse IP ou le port où Ollama est disponible :

  1. Dans Visual Studio Code, ouvrez les paramètres d'extension pour watsonx Code Assistant

  2. Dans Wca > Local : API Host, ajoutez l'IP et le port de l'hôte.

Configurer le modèle Granite pour utiliser

Par défaut, watsonx Code Assistant utilise le modèle " granite-code:8b pour le chat et la complétion de code. Si la capacité de votre environnement est suffisante, installez le modèle " granite-code:8b-base.

Pour utiliser un autre modèle :

  1. Installer le modèle " granite-code:8b-base. Voir Installer le modèle de code IBM Granite.

  2. Dans Visual Studio Code, ouvrez les paramètres d'extension pour watsonx Code Assistant

  3. Dans Wca > Local : Code Gen Model, entrez " granite-code:8b-base.

Sécuriser votre installation

Par défaut, le serveur Ollama fonctionne sur l'adresse IP 127.0.0.1, port 11434, en utilisant le protocole http, sur votre appareil local. Pour utiliser https à la place, ou passer par un serveur proxy, consultez la documentation d'Ollama.

Passer d'un modèle local à IBM Cloud

Vous pouvez décider de passer d'un modèle local à l'utilisation d'une instance de service sur IBM Cloud Vous pouvez ensuite configurer Visual Studio Code pour passer d'un modèle local à IBM Cloud

Pour plus d'informations, voir Configuration de votre service watsonx Code Assistant dans IBM Cloud

Pour mettre à jour votre éditeur Visual Studio Code afin d'utiliser IBM Cloud au lieu d'Ollama :

  1. Quitter Visual Studio Code.

  2. Quitter l'application Ollama.

  3. Lancez Visual Studio Code, puis ouvrez watsonx Code Assistant Le message " Ollama is not running in your IDE. devrait s'afficher

  4. Cliquez sur Switch to watsonx Code Assistant on IBM Cloud.

Pour une autre méthode, vous pouvez modifier les paramètres de l'extension :

  1. Dans Visual Studio Code, ouvrez les paramètres d'extension pour watsonx Code Assistant

  2. Dans Wca : Backend Provider, passez de " ollama à " wcaCore.

  3. Redémarrez les extensions pour appliquer la modification.