Distribuzione di modelli per InstructLab

Scegliere come distribuire il modello.

Distribuzione del modello su RHEL-AI su IBM Cloud

  1. Installare RHEL-AI su IBM Cloud.

  2. Utilizzando la CLI di IBM Cloud, ottenere un token bearer.

    ibmcloud iam oauth-tokens

  3. Aggiornare le variabili di questo script bash ed eseguirlo.

    #!/usr/bin/env bash
# Replace variable with the bearer token
BEARER_TOKEN="XXX"
# Replace variable with the Object Storage bucket name
CUSTOMER_BUCKET="XXX"
# Replace variable with the Object Storage endpoint
COS_ENDPOINT=https://s3.direct.us-east.cloud-object-storage.appdomain.cloud
# Replace variable with the model ID
MODEL_PREFIX="trained_models/XXX/model/"
# Replace variable with the model directory path
MODEL_DIR=/root/model/modeltest
curl -v -G "$COS_ENDPOINT/$CUSTOMER_BUCKET" --data-urlencode "list-type=2" --data-urlencode "prefix=$MODEL_PREFIX" -H "Authorization: Bearer $BEARER_TOKEN" >/tmp/rawxml.txt
cat /tmp/rawxml.txt | awk '{split($0,a,"<Key>"); for (i=1; i<=length(a); i++)  print a[i]}' >/tmp/keysonnewline.txt
mkdir -p "$MODEL_DIR"
while read -r line; do
    if [[ "$line" != "trained_models"* ]]; then
        continue
    fi
    KEY_TO_DOWNLOAD=$(echo "$line" | awk -F '<' '{print $1}')
    FILE_NAME=$(basename "$KEY_TO_DOWNLOAD")
    curl -X "GET" "$COS_ENDPOINT/$CUSTOMER_BUCKET/$KEY_TO_DOWNLOAD" -H "Authorization: Bearer $BEARER_TOKEN" >"${MODEL_DIR}/$FILE_NAME"
done </tmp/keysonnewline.txt

  4. Quindi utilizzare i comandi di ilab per servire e chattare.

    ilab model serve --model-path $MODEL_DIR -- --tensor-parallel-size 1 --host 0.0.0.0 --port 8080

    ilab model chat --endpoint-url http://localhost:8080/v1 -m $MODEL_DIR

Distribuzione del modello a Watsonx su IBM Cloud

  1. Iscriviti a IBM watsonx as a Service.

  2. Accedere e creare una chiave API.

  3. Se non ne avete ancora uno, create un progetto.

  4. Aggiungere una connessione all'origine dati Object Storage in IBM Cloud.

  5. Importare il modello.

  6. Distribuire il modello.

  7. Testate la distribuzione.

Implementazione del modello su Red Hat OpenShift AI

  1. Se non l'avete ancora fatto, installate il componente aggiuntivo Red Hat OpenShift AI sul vostro cluster. L'installazione del componente aggiuntivo può richiedere fino a 15 minuti.
  2. Dopo aver installato il componente aggiuntivo, accedere alla dashboard di OpenShift AI.
  3. Fare clic su Progetti di scienze dei dati, quindi su Crea un progetto.
  4. Seguire le indicazioni per dare un nome e una descrizione al progetto, quindi fare clic su Crea.
  5. Individuare la sezione Modelli di servizio e scegliere l'opzione Piattaforma di servizio monomodello.
  6. Fai clic su Deploy model.
  7. Compilare le proprietà di configurazione richieste. Per specificare il modello addestrato con InstructLab, individuare la sezione Posizione del modello sorgente e scegliere il tipo di connessione S3 compatibile con l'archiviazione degli oggetti -v1.
  8. In Dettagli connessione, specificare la chiave di accesso, la chiave segreta, l'endpoint e il nome del bucket COS in cui sono memorizzati i dati del modello addestrato. Specificare il percorso del modello o della cartella contenente il modello all'interno del bucket.
  9. Una volta compilate le restanti proprietà di configurazione, fare clic su Deploy.
  10. Per verificare e visualizzare lo stato di salute della distribuzione del modello, fare clic su Modello > Distribuzione del modello e selezionare il progetto Data Science in cui è stato creato il modello.