Implementazione dei modelli per Inferenza AI di Red Hat

Scegli come implementare il tuo modello.

Red Hat AI Inference Le funzionalità di allineamento dei modelli, generazione di dati sintetici e gestione della tassonomia sono obsolete e saranno rimosse il 25 settembre 2026. Per proseguire con i flussi di lavoro relativi alla personalizzazione e all'allineamento dei modelli, esegui la migrazione a Red Hat® OpenShift® AI On OpenShift. Scopri di più sull'intelligenza artificiale di Red Hat® OpenShift®.

Distribuzione del modello su RHEL-AI su IBM Cloud

  1. Installa RHEL-AI su IBM Cloud.

  2. Utilizzando la CLI di IBM Cloud, ottieni un token bearer.

    ibmcloud iam oauth-tokens

  3. Aggiorna le variabili in questo script Bash ed eseguilo.

    #!/usr/bin/env bash
# Replace variable with the bearer token
BEARER_TOKEN="XXX"
# Replace variable with the Object Storage bucket name
CUSTOMER_BUCKET="XXX"
# Replace variable with the Object Storage endpoint
COS_ENDPOINT=https://s3.direct.us-east.cloud-object-storage.appdomain.cloud
# Replace variable with the model ID
MODEL_PREFIX="trained_models/XXX/model/"
# Replace variable with the model directory path
MODEL_DIR=/root/model/modeltest
curl -v -G "$COS_ENDPOINT/$CUSTOMER_BUCKET" --data-urlencode "list-type=2" --data-urlencode "prefix=$MODEL_PREFIX" -H "Authorization: Bearer $BEARER_TOKEN" >/tmp/rawxml.txt
cat /tmp/rawxml.txt | awk '{split($0,a,"<Key>"); for (i=1; i<=length(a); i++)  print a[i]}' >/tmp/keysonnewline.txt
mkdir -p "$MODEL_DIR"
while read -r line; do
    if [[ "$line" != "trained_models"* ]]; then
        continue
    fi
    KEY_TO_DOWNLOAD=$(echo "$line" | awk -F '<' '{print $1}')
    FILE_NAME=$(basename "$KEY_TO_DOWNLOAD")
    curl -X "GET" "$COS_ENDPOINT/$CUSTOMER_BUCKET/$KEY_TO_DOWNLOAD" -H "Authorization: Bearer $BEARER_TOKEN" >"${MODEL_DIR}/$FILE_NAME"
done </tmp/keysonnewline.txt

  4. Quindi usa i comandi ilab per partecipare e chattare.

    ilab model serve --model-path $MODEL_DIR -- --tensor-parallel-size 1 --host 0.0.0.0 --port 8080

    ilab model chat --endpoint-url http://localhost:8080/v1 -m $MODEL_DIR

Distribuzione del modello su Watsonx su IBM Cloud

  1. Iscriviti a IBM watsonx as a Service.

  2. Accedi e crea una chiave API.

  3. Se non ne hai ancora uno, crea un progetto.

  4. Aggiungi una connessione all'origine dati " Object Storage " in IBM Cloud.

  5. Importa il modello.

  6. Distribuire il modello.

  7. Verifica l'implementazione.

Implementazione del modello nell'IA dell' Red Hat OpenShift

  1. Se non l'hai ancora fatto, installa il componente aggiuntivo AI " Red Hat OpenShift " sul tuo cluster. L'installazione del componente aggiuntivo potrebbe richiedere fino a 15 minuti.
  2. Una volta installato il componente aggiuntivo, accedi alla dashboard di AI di OpenShift.
  3. Fare clic su " Progetti di Data Science ", quindi su " Crea un progetto ".
  4. Segui le istruzioni per assegnare un nome e una descrizione al tuo progetto, quindi fai clic su Crea.
  5. Individua la sezione " Modelli di servizio " e seleziona l'opzione " Piattaforma di servizio a modello unico ".
  6. Fai clic su Deploy model.
  7. Compila le proprietà di configurazione richieste. Per specificare il modello addestrato con Inferenza AI di Red Hat, individuare la sezione " Posizione del modello di origine " e selezionare il tipo di connessione " S3 " compatibile con l'object storage -v1.
  8. Nella sezione " Dettagli connessione ", specifica la chiave di accesso, la chiave segreta, l'endpoint e il nome del bucket COS in cui sono archiviati i dati del modello addestrato. Specificare il percorso del modello o della cartella che lo contiene all'interno del proprio bucket.
  9. Una volta compilate le restanti proprietà di configurazione, fare clic su "Deploy".
  10. Per verificare e visualizzare lo stato di integrità della distribuzione del modello, fare clic su Modello > Distribuzione del modello e selezionare il progetto di Data Science in cui è stato creato il modello.