Utilizando watsonx Code Assistant Individual con un modelo local IBM Granite
watsonx Code Assistant Individual
Para los usuarios individuales, watsonx Code Assistant puede acceder a un modelo local a través de Ollama, que es un motor de inferencia local ampliamente utilizado para grandes modelos lingüísticos. Ollama envuelve el proyecto subyacente de servicio de modelos llama.cpp.
Para obtener un mayor rendimiento y un conjunto completo de funciones para su organización, aprovisione una versión de prueba de watsonx Code Assistant en IBM Cloud. Para obtener más información, consulte Configuración de su servicio watsonx Code Assistant en IBM Cloud.
Instale la extensión watsonx Code Assistant
Puede configurar Ollama para utilizarlo con Microsoft Visual Studio Code.
Esta configuración no está disponible para el complemento de Eclipse IDE. Solo está disponible con la extensión Visual Studio Code.
-
Abra la watsonx Code Assistant página en Visual Studio Marketplace.
-
Haga clic en Instalar en la página Marketplace.
-
En Visual Studio Code, haga clic en Instalar en la extensión.
-
En la configuración de la extensión, establezca Wca: Backend Provider en ollama.
Nota para los empleados de IBM: El cambio de proveedor de backend siempre revertirá a
wcaCoresi eres empleado de IBM o Red Hat y utilizas la extensión interna WCA@IBM. Para poder cambiar el proveedor de backend:- En la configuración de la extensión WCA@IBM, desmarque Habilitar modo WCA@IBM para watsonx Code Assistant
- Como alternativa, desactive la extensión WCA@IBM
Instalar Ollama
-
Descarga y ejecuta el instalador de ollama.
-
En macOS, también puedes usar Homebrew para instalar Ollama:
brew install ollama
Iniciar el servidor de inferencia Ollama
En una ventana de consola, ejecute
ollama serve
Deja esa ventana abierta mientras usas Ollama.
Si recibe el mensaje ' Error: listen tcp 127.0.0.1:11434: bind: address already in use, el servidor Ollama ya está iniciado.
Instalar el modelo de código IBM Granite
Empieza instalando el modelo ' granite-code:8b ' disponible en la biblioteca Ollama.
-
Abre una nueva ventana de consola.
-
En la línea de comandos, escriba "
ollama run granite-code:8b" para descargar e implantar el modelo. Verá una salida similar a la del ejemplo siguiente:pulling manifest pulling 8718ec280572... 100% ▕███████████████████████ 4.6 GB pulling e50df8490144... 100% ▕███████████████████████ ▏ 123 B pulling 58d1e17ffe51... 100% ▕███████████████████████▏ 11 KB pulling 9893bb2c2917... 100% ▕███████████████████████▏ 108 B pulling 0e851433eda0... 100% ▕███████████████████████▏ 485 B verifying sha256 digest writing manifest removing any unused layers success >>> -
Escriba '
/byedespués de '>>>' para salir del intérprete de comandos de Ollama. -
Prueba el modelo tecleando:
ollama run granite-code:8b "How do I create a python class?" -
Debería ver una respuesta similar a la siguiente:
To create a Python class, you can define a new class using the "class" keyword followed by the name of the class and a colon. Inside the class definition, you can specify the methods and attributes that the class will have. Here is an example: ...
Configurar el host Ollama
Por defecto, el servidor Ollama se ejecuta en la dirección IP 127.0.0.1, puerto 11434, y http como protocolo. Si cambia la dirección IP o el puerto donde Ollama está disponible:
-
En Visual Studio Code, abra la configuración de extensión para watsonx Code Assistant.
-
En Wca > Local: API Host, añada la IP del host y el puerto.
Configurar el modelo de Granite que se va a utilizar
Por defecto, watsonx Code Assistant utiliza el modelo ' granite-code:8b ' tanto para el chat como para el completado de código. Si su entorno tiene capacidad suficiente, instale el modelo " granite-code:8b-base ".
Para utilizar otro modelo:
-
Instala el modelo "
granite-code:8b-base". Consulte Instalar el modelo de código IBM Granite. -
En Visual Studio Code, abra la configuración de extensión para watsonx Code Assistant.
-
En Wca > Local: Code Gen Model, introduzca '
granite-code:8b-base.
Seguridad de la instalación
Por defecto, el servidor Ollama se ejecuta en la dirección IP 127.0.0.1, puerto 11434, utilizando http como protocolo, en su dispositivo local. Para utilizar https en su lugar, o pasar por un servidor proxy, consulte la documentación de Ollama.
Cambiar de un modelo local a IBM Cloud
Es posible que decida cambiar de un modelo local a utilizar una instancia de servicio en IBM Cloud. A continuación, puede configurar Visual Studio Code para cambiar de un modelo local a IBM Cloud.
Para obtener más información, consulte Configuración de su servicio watsonx Code Assistant en IBM Cloud.
Para actualizar su editor de Visual Studio Code para utilizar IBM Cloud en lugar de Ollama:
-
Salga de Visual Studio Code.
-
Salga de la aplicación Ollama.
-
Inicie Visual Studio Code y abra watsonx Code Assistant. Debería aparecer el mensaje "
Ollama is not running in your IDE. -
Pulse
Switch to watsonx Code Assistant on IBM Cloud.
Como método alternativo, puede cambiar la configuración de la extensión:
-
En Visual Studio Code, abra la configuración de extensión para watsonx Code Assistant.
-
En Wca: Backend Provider, cambiar de '
ollama' a 'wcaCore. -
Reinicie las extensiones para aplicar el cambio.