Déployer des modèles pour InstructLab

Choisissez comment déployer votre modèle.

Déploiement du modèle sur RHEL-AI sur IBM Cloud

  1. Installer RHEL-AI sur IBM Cloud.

  2. En utilisant le CLI de IBM Cloud, obtenez un jeton de support.

    ibmcloud iam oauth-tokens

  3. Mettez à jour les variables de ce script bash et exécutez-le.

    #!/usr/bin/env bash
# Replace variable with the bearer token
BEARER_TOKEN="XXX"
# Replace variable with the Object Storage bucket name
CUSTOMER_BUCKET="XXX"
# Replace variable with the Object Storage endpoint
COS_ENDPOINT=https://s3.direct.us-east.cloud-object-storage.appdomain.cloud
# Replace variable with the model ID
MODEL_PREFIX="trained_models/XXX/model/"
# Replace variable with the model directory path
MODEL_DIR=/root/model/modeltest
curl -v -G "$COS_ENDPOINT/$CUSTOMER_BUCKET" --data-urlencode "list-type=2" --data-urlencode "prefix=$MODEL_PREFIX" -H "Authorization: Bearer $BEARER_TOKEN" >/tmp/rawxml.txt
cat /tmp/rawxml.txt | awk '{split($0,a,"<Key>"); for (i=1; i<=length(a); i++)  print a[i]}' >/tmp/keysonnewline.txt
mkdir -p "$MODEL_DIR"
while read -r line; do
    if [[ "$line" != "trained_models"* ]]; then
        continue
    fi
    KEY_TO_DOWNLOAD=$(echo "$line" | awk -F '<' '{print $1}')
    FILE_NAME=$(basename "$KEY_TO_DOWNLOAD")
    curl -X "GET" "$COS_ENDPOINT/$CUSTOMER_BUCKET/$KEY_TO_DOWNLOAD" -H "Authorization: Bearer $BEARER_TOKEN" >"${MODEL_DIR}/$FILE_NAME"
done </tmp/keysonnewline.txt

  4. Utilisez ensuite les commandes ilab pour servir et discuter.

    ilab model serve --model-path $MODEL_DIR -- --tensor-parallel-size 1 --host 0.0.0.0 --port 8080

    ilab model chat --endpoint-url http://localhost:8080/v1 -m $MODEL_DIR

Déploiement du modèle à l'adresse Watsonx sur IBM Cloud

  1. S'inscrire à IBM watsonx as a Service.

  2. Connectez-vous et créez une clé API.

  3. Si vous n'en avez pas encore, créez un projet.

  4. Ajouter une connexion à la source de données Object Storage dans IBM Cloud.

  5. Importer le modèle.

  6. Déployer le modèle.

  7. Tester le déploiement.

Déploiement du modèle sur Red Hat OpenShift AI

  1. Si ce n'est pas déjà fait, installez le module complémentaire Red Hat OpenShift AI sur votre cluster. L'installation du module complémentaire peut prendre jusqu'à 15 minutes.
  2. Une fois le module complémentaire installé, accédez au tableau de bord OpenShift AI.
  3. Cliquez sur Projets de science des données, puis sur Créer un projet.
  4. Suivez les invites pour donner un nom et une description à votre projet, puis cliquez sur Créer.
  5. Trouvez la section Serve models et choisissez l'option Single-model serving platform.
  6. Cliquez sur Déployer le modèle.
  7. Remplissez les propriétés de configuration requises. Pour spécifier le modèle que vous avez formé avec InstructLab, trouvez la section Emplacement du modèle de source et choisissez le type de connexion S3 stockage d'objets compatibles -v1.
  8. Sous Détails de la connexion, indiquez la clé d'accès, la clé secrète, le point de terminaison et le nom du seau pour le seau COS dans lequel les données de votre modèle entraîné sont stockées. Indiquez le chemin d'accès à votre modèle ou au dossier contenant votre modèle dans votre panier.
  9. Lorsque les autres propriétés de configuration sont remplies, cliquez sur Déployer.
  10. Pour vérifier et afficher l'état du déploiement du modèle, cliquez sur Modèle > Déploiement du modèle et sélectionnez le projet Data Science dans lequel vous avez créé le modèle.