Utilisation de watsonx Code Assistant Individu avec un modèle local IBM Granite
watsonx Code Assistant Individuel
Pour les utilisateurs individuels, watsonx Code Assistant peut accéder à un modèle local par l'intermédiaire d' Ollama, qui est un moteur d'inférence locale largement utilisé pour les grands modèles linguistiques. Ollama englobe le projet de service de modèle sous-jacent llama.cpp.
Pour des performances accrues et un ensemble complet de fonctionnalités pour votre organisation, provisionnez une version d'essai de watsonx Code Assistant sur IBM Cloud Pour plus d'informations, voir Configuration de votre service watsonx Code Assistant dans IBM Cloud
Installer l'extension watsonx Code Assistant
Vous pouvez configurer Ollama pour l'utiliser dans Microsoft Visual Studio Code
Cette configuration n'est pas disponible pour le plug-in d' Eclipse IDE. Il n'est disponible qu'avec l'extension Visual Studio Code.
-
Ouvrez la watsonx Code Assistant page dans Visual Studio Marketplace.
-
Cliquez sur Installer sur la page Marketplace.
-
Dans Visual Studio Code, cliquez sur Installer dans l'extension.
-
Dans les paramètres de l'extension, réglez Wca : Backend Provider sur ollama.
Note pour les employés de IBM: Changer le fournisseur de backend reviendra toujours à
wcaCoresi vous êtes un employé de IBM ou Red Hat utilisant l'extension interne WCA@IBM. Pour permettre de changer de fournisseur d'accès :- Dans les paramètres de l'extension WCA@IBM, décochez Activer le mode WCA@IBM pour watsonx Code Assistant
- Une autre solution consiste à désactiver l'extension WCA@IBM
Installer Ollama
-
Téléchargez et exécutez le programme d'installation d'ollama.
-
Sur macOS,, vous pouvez également utiliser Homebrew pour installer Ollama :
brew install ollama
Démarrer le serveur d'inférence Ollama
Dans une fenêtre de console, exécutez :
ollama serve
Laissez cette fenêtre ouverte pendant que vous utilisez Ollama.
Si vous recevez le message 'Error: listen tcp 127.0.0.1:11434: bind: address already in use, le serveur Ollama est déjà démarré.
Installer le modèle de code IBM Granite
Commencez par installer le modèle " granite-code:8b disponible dans la bibliothèque Ollama.
-
Ouvrez une nouvelle fenêtre de console.
-
Sur la ligne de commande, tapez "
ollama run granite-code:8bpour télécharger et déployer le modèle. La sortie est similaire à l'exemple suivant :pulling manifest pulling 8718ec280572... 100% ▕███████████████████████ 4.6 GB pulling e50df8490144... 100% ▕███████████████████████ ▏ 123 B pulling 58d1e17ffe51... 100% ▕███████████████████████▏ 11 KB pulling 9893bb2c2917... 100% ▕███████████████████████▏ 108 B pulling 0e851433eda0... 100% ▕███████████████████████▏ 485 B verifying sha256 digest writing manifest removing any unused layers success >>> -
Tapez '
/byeaprès '>>>pour quitter le shell de commande Ollama. -
Essayez le modèle en le tapant :
ollama run granite-code:8b "How do I create a python class?" -
Vous devriez obtenir une réponse semblable à celle présentée ci-dessous :
To create a Python class, you can define a new class using the "class" keyword followed by the name of the class and a colon. Inside the class definition, you can specify the methods and attributes that the class will have. Here is an example: ...
Configurer l'hôte Ollama
Par défaut, le serveur Ollama fonctionne sur l'adresse IP 127.0.0.1, le port 11434, et le protocole http. Si vous changez l'adresse IP ou le port où Ollama est disponible :
-
Dans Visual Studio Code, ouvrez les paramètres d'extension pour watsonx Code Assistant
-
Dans Wca > Local : API Host, ajoutez l'IP et le port de l'hôte.
Configurer le modèle Granite pour utiliser
Par défaut, watsonx Code Assistant utilise le modèle " granite-code:8b pour le chat et la complétion de code. Si la capacité de votre environnement est suffisante, installez le modèle " granite-code:8b-base.
Pour utiliser un autre modèle :
-
Installer le modèle "
granite-code:8b-base. Voir Installer le modèle de code IBM Granite. -
Dans Visual Studio Code, ouvrez les paramètres d'extension pour watsonx Code Assistant
-
Dans Wca > Local : Code Gen Model, entrez "
granite-code:8b-base.
Sécuriser votre installation
Par défaut, le serveur Ollama fonctionne sur l'adresse IP 127.0.0.1, port 11434, en utilisant le protocole http, sur votre appareil local. Pour utiliser https à la place, ou passer par un serveur proxy, consultez la documentation d'Ollama.
Passer d'un modèle local à IBM Cloud
Vous pouvez décider de passer d'un modèle local à l'utilisation d'une instance de service sur IBM Cloud Vous pouvez ensuite configurer Visual Studio Code pour passer d'un modèle local à IBM Cloud
Pour plus d'informations, voir Configuration de votre service watsonx Code Assistant dans IBM Cloud
Pour mettre à jour votre éditeur Visual Studio Code afin d'utiliser IBM Cloud au lieu d'Ollama :
-
Quitter Visual Studio Code.
-
Quitter l'application Ollama.
-
Lancez Visual Studio Code, puis ouvrez watsonx Code Assistant Le message "
Ollama is not running in your IDE.devrait s'afficher -
Cliquez sur
Switch to watsonx Code Assistant on IBM Cloud.
Pour une autre méthode, vous pouvez modifier les paramètres de l'extension :
-
Dans Visual Studio Code, ouvrez les paramètres d'extension pour watsonx Code Assistant
-
Dans Wca : Backend Provider, passez de "
ollamaà "wcaCore. -
Redémarrez les extensions pour appliquer la modification.