Bereitstellung von Modellen für Red Hat AI Inference

Wählen Sie aus, wie Sie Ihr Modell bereitstellen möchten.

Red Hat AI Inference Die Funktionen Modellabgleich, Generierung synthetischer Daten und Taxonomieverwaltung sind veraltet und werden am 25. September 2026 entfernt. Um die Workflows zur Modellanpassung und -abgleichung fortzusetzen, migrieren Sie zu Red Hat® OpenShift® AI On OpenShift. Erfahren Sie mehr über die KI von Red Hat® OpenShift®.

Bereitstellung des Modells auf RHEL-AI unter IBM Cloud

  1. Installieren Sie RHEL-AI auf IBM Cloud.

  2. Rufen Sie mithilfe der IBM Cloud-CLI ein Bearer-Token ab.

    ibmcloud iam oauth-tokens

  3. Aktualisieren Sie die Variablen in diesem Bash-Skript und führen Sie es aus.

    #!/usr/bin/env bash
# Replace variable with the bearer token
BEARER_TOKEN="XXX"
# Replace variable with the Object Storage bucket name
CUSTOMER_BUCKET="XXX"
# Replace variable with the Object Storage endpoint
COS_ENDPOINT=https://s3.direct.us-east.cloud-object-storage.appdomain.cloud
# Replace variable with the model ID
MODEL_PREFIX="trained_models/XXX/model/"
# Replace variable with the model directory path
MODEL_DIR=/root/model/modeltest
curl -v -G "$COS_ENDPOINT/$CUSTOMER_BUCKET" --data-urlencode "list-type=2" --data-urlencode "prefix=$MODEL_PREFIX" -H "Authorization: Bearer $BEARER_TOKEN" >/tmp/rawxml.txt
cat /tmp/rawxml.txt | awk '{split($0,a,"<Key>"); for (i=1; i<=length(a); i++)  print a[i]}' >/tmp/keysonnewline.txt
mkdir -p "$MODEL_DIR"
while read -r line; do
    if [[ "$line" != "trained_models"* ]]; then
        continue
    fi
    KEY_TO_DOWNLOAD=$(echo "$line" | awk -F '<' '{print $1}')
    FILE_NAME=$(basename "$KEY_TO_DOWNLOAD")
    curl -X "GET" "$COS_ENDPOINT/$CUSTOMER_BUCKET/$KEY_TO_DOWNLOAD" -H "Authorization: Bearer $BEARER_TOKEN" >"${MODEL_DIR}/$FILE_NAME"
done </tmp/keysonnewline.txt

  4. Verwenden Sie anschließend die Befehle ilab zum Ausführen und Chatten.

    ilab model serve --model-path $MODEL_DIR -- --tensor-parallel-size 1 --host 0.0.0.0 --port 8080

    ilab model chat --endpoint-url http://localhost:8080/v1 -m $MODEL_DIR

Bereitstellung des Modells in Watsonx auf IBM Cloud

  1. Melden Sie sich für IBM unter watsonx as a Service an.

  2. Melden Sie sich an und erstellen Sie einen API-Schlüssel.

  3. Falls Sie noch kein Projekt haben, erstellen Sie eines.

  4. Fügen Sie in IBM Cloud eine Verbindung zur Datenquelle Object Storage hinzu.

  5. Importieren Sie das Modell.

  6. Stellen Sie das Modell bereit.

  7. Testen Sie die Bereitstellung.

Bereitstellung des Modells in Red Hat OpenShift AI

  1. Falls Sie dies noch nicht getan haben, installieren Sie das AI-Add-on Red Hat OpenShift auf Ihrem Cluster. Die Installation des Add-ons kann bis zu 15 Minuten dauern.
  2. Nachdem das Add-on installiert wurde, navigieren Sie zum OpenShift-AI-Dashboard.
  3. Klicken Sie auf Data Science-Projekte und anschließend auf Projekt erstellen.
  4. Befolgen Sie die Anweisungen, um Ihrem Projekt einen Namen und eine Beschreibung zu geben, und klicken Sie anschließend auf Erstellen.
  5. Suchen Sie den Abschnitt Serve-Modelle und wählen Sie die Option Single-Model-Serving-Plattform aus.
  6. Klicken Sie auf Modell bereitstellen.
  7. Geben Sie die erforderlichen Konfigurationseigenschaften ein. Um das Modell anzugeben, das Sie mit Red Hat AI Inference trainiert haben, suchen Sie den Abschnitt Speicherort des Quellmodells und wählen Sie den Verbindungstyp S3-kompatibler Objektspeicher -v1 aus.
  8. Geben Sie unter Verbindungsdetails den Zugriffsschlüssel, den geheimen Schlüssel, den Endpunkt und den Bucket-Namen für den COS-Bucket an, in dem Ihre trainierten Modelldaten gespeichert sind. Geben Sie einen Pfad zu Ihrem Modell oder zu dem Ordner an, der Ihr Modell in Ihrem Bucket enthält.
  9. Wenn Sie die restlichen Konfigurationseigenschaften ausgefüllt haben, klicken Sie auf Bereitstellen.
  10. Um den Status der Modellbereitstellung zu überprüfen und anzuzeigen, klicken Sie auf Modell > Modellbereitstellung und wählen Sie das Data Science-Projekt aus, in dem Sie das Modell erstellt haben.