Utilizzo di watsonx Code Assistant Individuale con un modello IBM Granite locale
watsonx Code Assistant Individuale
Per i singoli utenti, watsonx Code Assistant può accedere a un modello locale attraverso Ollama, un motore di inferenza locale ampiamente utilizzato per modelli linguistici di grandi dimensioni. Ollama avvolge il progetto sottostante llama.cpp, che serve da modello.
Per ottenere maggiori prestazioni e un set completo di funzioni per la vostra organizzazione, fornite una prova di watsonx Code Assistant su IBM Cloud. Per ulteriori informazioni, vedere Impostazione del servizio watsonx Code Assistant in IBM Cloud.
Installare l'estensione watsonx Code Assistant
È possibile configurare Ollama per l'uso all'interno di Microsoft Visual Studio Code.
Questa configurazione non è disponibile per il plug-in dell' Eclipse IDE. È disponibile solo con l'estensione " Visual Studio Code ".
-
Apri la watsonx Code Assistant pagina in Visual Studio Marketplace.
-
Fare clic su Installa nella pagina del Marketplace.
-
In Visual Studio Code, fare clic su Installa sull'estensione.
-
Nelle impostazioni dell'estensione, impostare Wca: Backend Provider su ollama.
Nota per i dipendenti di IBM: Cambiando il provider di backend si tornerà sempre a
wcaCorese si è un dipendente di IBM o Red Hat che utilizza l'estensione interna WCA@IBM. Per abilitare la modifica del provider di backend:- Nelle impostazioni dell'estensione WCA@IBM, deseleziona Abilita modalità WCA@IBM per watsonx Code Assistant
- In alternativa, disabilitare l'estensione WCA@IBM
Installare Ollama
-
Scaricare ed eseguire il programma di installazione di ollama.
-
Su macOS, è possibile utilizzare Homebrew per installare Ollama:
brew install ollama
Avviare il server di inferenza Ollama
In una finestra di console, eseguire:
ollama serve
Lasciare la finestra aperta mentre si usa Ollama.
Se si riceve il messaggio 'Error: listen tcp 127.0.0.1:11434: bind: address already in use, il server Ollama è già avviato.
Installare il modello di codice IBM Granite
Per iniziare, installate il modello 'granite-code:8b disponibile nella libreria Ollama.
-
Aprire una nuova finestra di console.
-
Alla riga di comando, digitare '
ollama run granite-code:8bper scaricare e distribuire il modello. Viene visualizzato un risultato simile a quello dell'esempio seguente:pulling manifest pulling 8718ec280572... 100% ▕███████████████████████ 4.6 GB pulling e50df8490144... 100% ▕███████████████████████ ▏ 123 B pulling 58d1e17ffe51... 100% ▕███████████████████████▏ 11 KB pulling 9893bb2c2917... 100% ▕███████████████████████▏ 108 B pulling 0e851433eda0... 100% ▕███████████████████████▏ 485 B verifying sha256 digest writing manifest removing any unused layers success >>> -
Digitare '
/byedopo '>>>per uscire dalla shell di comando di Ollama. -
Provate il modello digitando:
ollama run granite-code:8b "How do I create a python class?" -
Dovrebbe apparire una risposta simile a:
To create a Python class, you can define a new class using the "class" keyword followed by the name of the class and a colon. Inside the class definition, you can specify the methods and attributes that the class will have. Here is an example: ...
Configurare l'host Ollama
Per impostazione predefinita, il server Ollama viene eseguito all'indirizzo IP 127.0.0.1, alla porta 11434 e al protocollo http. Se si cambia l'indirizzo IP o la porta in cui è disponibile Ollama:
-
In Visual Studio Code, aprire le impostazioni dell'estensione per watsonx Code Assistant.
-
In Wca > Locale: Host API, aggiungere l'IP e la porta dell'host.
Configurare il modello Granite da utilizzare
Per impostazione predefinita, watsonx Code Assistant utilizza il modello 'granite-code:8b sia per la chat che per il completamento del codice. Se l'ambiente ha una capacità sufficiente, installare il modello " granite-code:8b-base.
Per utilizzare un modello diverso:
-
Installare il modello '
granite-code:8b-base. Vedere Installazione del modello di codice IBM Granite. -
In Visual Studio Code, aprire le impostazioni dell'estensione per watsonx Code Assistant.
-
In Wca > Locale: Code Gen Model, inserire '
granite-code:8b-base.
Protezione della configurazione
Per impostazione predefinita, il server Ollama viene eseguito all'indirizzo IP 127.0.0.1, porta 11434, utilizzando il protocollo http, sul dispositivo locale. Per utilizzare invece https o passare attraverso un server proxy, consultare la documentazione di Ollama.
Passare da un modello locale a IBM Cloud
Si potrebbe decidere di passare da un modello locale all'uso di un'istanza di servizio su IBM Cloud. È quindi possibile configurare Visual Studio Code per passare da un modello locale a IBM Cloud.
Per ulteriori informazioni, vedere Impostazione del servizio watsonx Code Assistant in IBM Cloud.
Per aggiornare l'editor di Visual Studio Code in modo da utilizzare IBM Cloud invece di Ollama:
-
Abbandona Visual Studio Code.
-
Chiudere l'applicazione Ollama.
-
Avviare Visual Studio Code, quindi aprire watsonx Code Assistant. Dovrebbe apparire il messaggio '
Ollama is not running in your IDE. -
Fare clic su '
Switch to watsonx Code Assistant on IBM Cloud.
Per un metodo alternativo, è possibile modificare le impostazioni dell'estensione:
-
In Visual Studio Code, aprire le impostazioni dell'estensione per watsonx Code Assistant.
-
In Wca: Backend Provider, passare da '
ollamaa 'wcaCore. -
Riavviare le estensioni per applicare la modifica.