Déploiement de modèles pour l' Inférence d'IA Red Hat

Choisissez comment déployer votre modèle.

Red Hat AI Inference Les fonctionnalités d'alignement de modèles, de génération de données synthétiques et de gestion de la taxonomie sont obsolètes et seront supprimées le 25 septembre 2026. Pour poursuivre les workflows de personnalisation et d'alignement des modèles, migrez vers Red Hat® OpenShift® AI On OpenShift. En savoir plus sur l'IA d' Red Hat® OpenShift®.

Déploiement du modèle sur RHEL-AI via IBM Cloud

  1. Installer RHEL-AI sur IBM Cloud.

  2. À l'aide de l'interface CLI d' IBM Cloud, obtenez un jeton bearer.

    ibmcloud iam oauth-tokens

  3. Mettez à jour les variables de ce script Bash, puis exécutez-le.

    #!/usr/bin/env bash
# Replace variable with the bearer token
BEARER_TOKEN="XXX"
# Replace variable with the Object Storage bucket name
CUSTOMER_BUCKET="XXX"
# Replace variable with the Object Storage endpoint
COS_ENDPOINT=https://s3.direct.us-east.cloud-object-storage.appdomain.cloud
# Replace variable with the model ID
MODEL_PREFIX="trained_models/XXX/model/"
# Replace variable with the model directory path
MODEL_DIR=/root/model/modeltest
curl -v -G "$COS_ENDPOINT/$CUSTOMER_BUCKET" --data-urlencode "list-type=2" --data-urlencode "prefix=$MODEL_PREFIX" -H "Authorization: Bearer $BEARER_TOKEN" >/tmp/rawxml.txt
cat /tmp/rawxml.txt | awk '{split($0,a,"<Key>"); for (i=1; i<=length(a); i++)  print a[i]}' >/tmp/keysonnewline.txt
mkdir -p "$MODEL_DIR"
while read -r line; do
    if [[ "$line" != "trained_models"* ]]; then
        continue
    fi
    KEY_TO_DOWNLOAD=$(echo "$line" | awk -F '<' '{print $1}')
    FILE_NAME=$(basename "$KEY_TO_DOWNLOAD")
    curl -X "GET" "$COS_ENDPOINT/$CUSTOMER_BUCKET/$KEY_TO_DOWNLOAD" -H "Authorization: Bearer $BEARER_TOKEN" >"${MODEL_DIR}/$FILE_NAME"
done </tmp/keysonnewline.txt

  4. Utilisez ensuite les commandes ilab pour interagir et discuter.

    ilab model serve --model-path $MODEL_DIR -- --tensor-parallel-size 1 --host 0.0.0.0 --port 8080

    ilab model chat --endpoint-url http://localhost:8080/v1 -m $MODEL_DIR

Déploiement du modèle sur Watsonx sur IBM Cloud

  1. Inscrivez-vous à IBM watsonx as a Service.

  2. Connectez-vous et créez une clé API.

  3. Si vous n'en avez pas encore, créez un projet.

  4. Ajoutez une connexion à la source de données Object Storage dans IBM Cloud.

  5. Importez le modèle.

  6. Déployez le modèle.

  7. Testez le déploiement.

Déploiement du modèle sur l'IA d' Red Hat OpenShift

  1. Si ce n'est pas déjà fait, installez le module complémentaire d'IA Red Hat OpenShift sur votre cluster. L'installation du module complémentaire peut prendre jusqu'à 15 minutes.
  2. Une fois le module complémentaire installé, accédez au tableau de bord IA d' OpenShift.
  3. Cliquez sur Projets de science des données, puis sur Créer un projet.
  4. Suivez les instructions pour donner un nom et une description à votre projet, puis cliquez sur Créer.
  5. Recherchez la section Modèles Serve et sélectionnez l'option Plateforme de diffusion à modèle unique.
  6. Cliquez sur Déployer le modèle.
  7. Remplissez les propriétés de configuration requises. Pour spécifier le modèle que vous avez entraîné à l’aide d’ Inférence d'IA Red Hat, recherchez la section Emplacement du modèle source et choisissez le type de connexion Stockage d’objets compatible avec l’ S3 -v1.
  8. Sous Détails de la connexion, indiquez la clé d'accès, la clé secrète, le point de terminaison et le nom du compartiment COS dans lequel sont stockées les données de votre modèle entraîné. Indiquez le chemin d'accès à votre modèle ou au dossier contenant votre modèle au sein de votre compartiment.
  9. Une fois les autres propriétés de configuration renseignées, cliquez sur Déployer.
  10. Pour vérifier et consulter l'état du déploiement du modèle, cliquez sur Modèle > Déploiement du modèle, puis sélectionnez le projet Data Science dans lequel vous avez créé le modèle.