Implementación de modelos para Inferencia de IA de Red Hat

Elige cómo implementar tu modelo.

Red Hat AI Inference Las funciones de alineación de modelos, generación de datos sintéticos y gestión de taxonomías han quedado obsoletas y se eliminarán el 25 de septiembre de 2026. Para continuar con los flujos de trabajo de personalización y alineación de modelos, migra a Red Hat® OpenShift® AI On OpenShift. Más información sobre la IA de Red Hat® OpenShift®.

Implementación del modelo en RHEL-AI en IBM Cloud

  1. Instalar RHEL-AI en IBM Cloud.

  2. Utilizando la CLI de IBM Cloud, obtén un token de portador.

    ibmcloud iam oauth-tokens

  3. Actualiza las variables de este script de Bash y ejecútalo.

    #!/usr/bin/env bash
# Replace variable with the bearer token
BEARER_TOKEN="XXX"
# Replace variable with the Object Storage bucket name
CUSTOMER_BUCKET="XXX"
# Replace variable with the Object Storage endpoint
COS_ENDPOINT=https://s3.direct.us-east.cloud-object-storage.appdomain.cloud
# Replace variable with the model ID
MODEL_PREFIX="trained_models/XXX/model/"
# Replace variable with the model directory path
MODEL_DIR=/root/model/modeltest
curl -v -G "$COS_ENDPOINT/$CUSTOMER_BUCKET" --data-urlencode "list-type=2" --data-urlencode "prefix=$MODEL_PREFIX" -H "Authorization: Bearer $BEARER_TOKEN" >/tmp/rawxml.txt
cat /tmp/rawxml.txt | awk '{split($0,a,"<Key>"); for (i=1; i<=length(a); i++)  print a[i]}' >/tmp/keysonnewline.txt
mkdir -p "$MODEL_DIR"
while read -r line; do
    if [[ "$line" != "trained_models"* ]]; then
        continue
    fi
    KEY_TO_DOWNLOAD=$(echo "$line" | awk -F '<' '{print $1}')
    FILE_NAME=$(basename "$KEY_TO_DOWNLOAD")
    curl -X "GET" "$COS_ENDPOINT/$CUSTOMER_BUCKET/$KEY_TO_DOWNLOAD" -H "Authorization: Bearer $BEARER_TOKEN" >"${MODEL_DIR}/$FILE_NAME"
done </tmp/keysonnewline.txt

  4. A continuación, utiliza los comandos ilab para atender y chatear.

    ilab model serve --model-path $MODEL_DIR -- --tensor-parallel-size 1 --host 0.0.0.0 --port 8080

    ilab model chat --endpoint-url http://localhost:8080/v1 -m $MODEL_DIR

Implementación del modelo en Watsonx en IBM Cloud

  1. Suscríbete a IBM en watsonx as a Service.

  2. Inicia sesión y crea una clave API.

  3. Si aún no tienes uno, crea un proyecto.

  4. Añade una conexión a la fuente de datos Object Storage en IBM Cloud.

  5. Importa el modelo.

  6. Implementa el modelo.

  7. Prueba la implementación.

Implementación del modelo en la IA de Red Hat OpenShift

  1. Si aún no lo has hecho, instala el complemento de IA Red Hat OpenShift en tu clúster. La instalación del complemento puede tardar hasta 15 minutos.
  2. Una vez instalado el complemento, acceda al panel de control de IA de OpenShift.
  3. Haz clic en Proyectos de ciencia de datos y, a continuación, en Crear un proyecto.
  4. Sigue las instrucciones para asignar un nombre y una descripción a tu proyecto y, a continuación, haz clic en Crear.
  5. Busca la sección Modelos de Serve y selecciona la opción Plataforma de servicio de modelo único.
  6. Pulse Desplegar modelo.
  7. Rellene las propiedades de configuración obligatorias. Para especificar el modelo con el que has realizado el entrenamiento Inferencia de IA de Red Hat, busca la sección Ubicación del modelo de origen y selecciona el tipo de conexión S3, almacenamiento de objetos compatible -v1.
  8. En Detalles de conexión, especifica la clave de acceso, la clave secreta, el punto final y el nombre del depósito COS en el que se almacenan los datos de tu modelo entrenado. Especifica la ruta de acceso a tu modelo o a la carpeta que lo contiene dentro de tu bucket.
  9. Cuando haya rellenado el resto de propiedades de configuración, haga clic en Implementar.
  10. Para comprobar y ver el estado de la implementación del modelo, haz clic en Modelo > Implementación del modelo y selecciona el proyecto de ciencia de datos en el que creaste el modelo.