Implantación de modelos para InstructLab

Elija cómo desplegar su modelo.

Despliegue del modelo en RHEL-AI en IBM Cloud

  1. Instalar RHEL-AI en IBM Cloud.

  2. Utilizando la CLI IBM Cloud, obtenga un token de portador.

    ibmcloud iam oauth-tokens

  3. Actualiza las variables de este script bash y ejecútalo.

    #!/usr/bin/env bash
# Replace variable with the bearer token
BEARER_TOKEN="XXX"
# Replace variable with the Object Storage bucket name
CUSTOMER_BUCKET="XXX"
# Replace variable with the Object Storage endpoint
COS_ENDPOINT=https://s3.direct.us-east.cloud-object-storage.appdomain.cloud
# Replace variable with the model ID
MODEL_PREFIX="trained_models/XXX/model/"
# Replace variable with the model directory path
MODEL_DIR=/root/model/modeltest
curl -v -G "$COS_ENDPOINT/$CUSTOMER_BUCKET" --data-urlencode "list-type=2" --data-urlencode "prefix=$MODEL_PREFIX" -H "Authorization: Bearer $BEARER_TOKEN" >/tmp/rawxml.txt
cat /tmp/rawxml.txt | awk '{split($0,a,"<Key>"); for (i=1; i<=length(a); i++)  print a[i]}' >/tmp/keysonnewline.txt
mkdir -p "$MODEL_DIR"
while read -r line; do
    if [[ "$line" != "trained_models"* ]]; then
        continue
    fi
    KEY_TO_DOWNLOAD=$(echo "$line" | awk -F '<' '{print $1}')
    FILE_NAME=$(basename "$KEY_TO_DOWNLOAD")
    curl -X "GET" "$COS_ENDPOINT/$CUSTOMER_BUCKET/$KEY_TO_DOWNLOAD" -H "Authorization: Bearer $BEARER_TOKEN" >"${MODEL_DIR}/$FILE_NAME"
done </tmp/keysonnewline.txt

  4. A continuación, utilice los comandos ilab para servir y chatear.

    ilab model serve --model-path $MODEL_DIR -- --tensor-parallel-size 1 --host 0.0.0.0 --port 8080

    ilab model chat --endpoint-url http://localhost:8080/v1 -m $MODEL_DIR

Despliegue del modelo en Watsonx en IBM Cloud

  1. Inscríbete IBM watsonx as a Service.

  2. Inicie sesión y cree una clave API.

  3. Si aún no tiene uno, cree un proyecto.

  4. Añada una conexión a la fuente de datos Object Storage en IBM Cloud.

  5. Importa el modelo.

  6. Despliega el modelo.

  7. Pruebe la implantación.

Despliegue del modelo en Red Hat OpenShift AI

  1. Si aún no lo ha hecho, instale el complemento Red Hat OpenShift AI en su clúster. La instalación del complemento puede tardar hasta 15 minutos.
  2. Una vez instalado el complemento, acceda al panel de control OpenShift AI.
  3. Haga clic en Proyectos de ciencia de datos y, a continuación, en Crear un proyecto.
  4. Siga las instrucciones para dar un nombre y una descripción a su proyecto y, a continuación, haga clic en Crear.
  5. Busque la sección Modelos de servicio y elija la opción Plataforma de servicio de modelo único.
  6. Pulse Desplegar modelo.
  7. Rellene las propiedades de configuración necesarias. Para especificar el modelo que ha entrenado con InstructLab, busque la sección Localización del modelo fuente y elija el tipo de conexión S3 almacenamiento de objetos compatible -v1.
  8. En Detalles de la conexión, especifique la clave de acceso, la clave secreta, el punto final y el nombre del bucket COS en el que se almacenan los datos del modelo entrenado. Especifique una ruta a su modelo o a la carpeta que contiene su modelo dentro de su cubo.
  9. Una vez completadas las propiedades de configuración restantes, haga clic en Desplegar.
  10. Para verificar y ver el estado del despliegue del modelo, haga clic en Modelo > Despliegue del modelo y seleccione el Proyecto de Ciencia de Datos en el que creó el modelo.