Einsatz von Modellen für InstructLab

Wählen Sie, wie Sie Ihr Modell einsetzen wollen.

Bereitstellen des Modells auf RHEL-AI auf IBM Cloud

  1. Installieren Sie RHEL-AI auf IBM Cloud.

  2. Holen Sie sich mit der IBM Cloud CLI ein Bearer-Token.

    ibmcloud iam oauth-tokens

  3. Aktualisieren Sie die Variablen in diesem Bash-Skript und führen Sie es aus.

    #!/usr/bin/env bash
# Replace variable with the bearer token
BEARER_TOKEN="XXX"
# Replace variable with the Object Storage bucket name
CUSTOMER_BUCKET="XXX"
# Replace variable with the Object Storage endpoint
COS_ENDPOINT=https://s3.direct.us-east.cloud-object-storage.appdomain.cloud
# Replace variable with the model ID
MODEL_PREFIX="trained_models/XXX/model/"
# Replace variable with the model directory path
MODEL_DIR=/root/model/modeltest
curl -v -G "$COS_ENDPOINT/$CUSTOMER_BUCKET" --data-urlencode "list-type=2" --data-urlencode "prefix=$MODEL_PREFIX" -H "Authorization: Bearer $BEARER_TOKEN" >/tmp/rawxml.txt
cat /tmp/rawxml.txt | awk '{split($0,a,"<Key>"); for (i=1; i<=length(a); i++)  print a[i]}' >/tmp/keysonnewline.txt
mkdir -p "$MODEL_DIR"
while read -r line; do
    if [[ "$line" != "trained_models"* ]]; then
        continue
    fi
    KEY_TO_DOWNLOAD=$(echo "$line" | awk -F '<' '{print $1}')
    FILE_NAME=$(basename "$KEY_TO_DOWNLOAD")
    curl -X "GET" "$COS_ENDPOINT/$CUSTOMER_BUCKET/$KEY_TO_DOWNLOAD" -H "Authorization: Bearer $BEARER_TOKEN" >"${MODEL_DIR}/$FILE_NAME"
done </tmp/keysonnewline.txt

  4. Verwenden Sie dann die Befehle ilab zum Servieren und Chatten.

    ilab model serve --model-path $MODEL_DIR -- --tensor-parallel-size 1 --host 0.0.0.0 --port 8080

    ilab model chat --endpoint-url http://localhost:8080/v1 -m $MODEL_DIR

Bereitstellung des Modells auf Watsonx auf IBM Cloud

  1. Registrieren Sie sich für IBM watsonx as a Service.

  2. Melden Sie sich an und erstellen Sie einen API-Schlüssel.

  3. Wenn Sie noch keine haben, erstellen Sie ein Projekt.

  4. Fügen Sie eine Verbindung zur Object Storage Datenquelle in IBM Cloud hinzu.

  5. Importieren Sie das Modell.

  6. Setzen Sie das Modell ein.

  7. Testen Sie die Bereitstellung.

Bereitstellung des Modells auf Red Hat OpenShift AI

  1. Falls noch nicht geschehen, installieren Sie das Red Hat OpenShift AI Add-on auf Ihrem Cluster. Es kann bis zu 15 Minuten dauern, bis das Add-on installiert ist.
  2. Nach der Installation des Add-ons können Sie zum OpenShift AI Dashboard navigieren aufrufen.
  3. Klicken Sie auf Data Science Projects und dann auf Create a Project.
  4. Folgen Sie den Anweisungen, um Ihrem Projekt einen Namen und eine Beschreibung zu geben, und klicken Sie dann auf Erstellen.
  5. Suchen Sie den Abschnitt Serviermodelle und wählen Sie die Option Servierplattform Einzelmodell.
  6. Klicken Sie auf Modell bereitstellen.
  7. Füllen Sie die erforderlichen Konfigurationseigenschaften aus. Um das Modell anzugeben, das Sie mit InstructLab trainiert haben, suchen Sie den Abschnitt Quellmodellstandort und wählen Sie den Verbindungstyp S3 kompatibler Objektspeicher -v1.
  8. Geben Sie unter Verbindungsdetails den Zugriffsschlüssel, den geheimen Schlüssel, den Endpunkt und den Bucket-Namen für den COS-Bucket an, in dem Ihre trainierten Modelldaten gespeichert sind. Geben Sie einen Pfad zu Ihrem Modell oder zu dem Ordner an, der Ihr Modell in Ihrem Bucket enthält.
  9. Wenn die restlichen Konfigurationseigenschaften ausgefüllt sind, klicken Sie auf Verteilen.
  10. Um den Zustand der Modellbereitstellung zu überprüfen und anzuzeigen, klicken Sie auf Modell > Modellbereitstellung und wählen das Data Science-Projekt aus, in dem Sie das Modell erstellt haben.