Implantação de modelos para Inferência de IA da Red Hat

Escolha como implantar seu modelo.

Red Hat AI Inference Os recursos de alinhamento de modelos, geração de dados sintéticos e gerenciamento de taxonomia estão obsoletos e serão removidos em 25 de setembro de 2026. Para dar continuidade aos fluxos de trabalho de personalização e alinhamento de modelos, migre para o Red Hat® OpenShift® AI On OpenShift. Saiba mais sobre a IA d Red Hat® OpenShift®.

Implantação do modelo no RHEL-AI em IBM Cloud

  1. Instale o RHEL-AI em IBM Cloud.

  2. Usando a CLI do IBM Cloud, obtenha um token de portador.

    ibmcloud iam oauth-tokens

  3. Atualize as variáveis deste script do Bash e execute-o.

    #!/usr/bin/env bash
# Replace variable with the bearer token
BEARER_TOKEN="XXX"
# Replace variable with the Object Storage bucket name
CUSTOMER_BUCKET="XXX"
# Replace variable with the Object Storage endpoint
COS_ENDPOINT=https://s3.direct.us-east.cloud-object-storage.appdomain.cloud
# Replace variable with the model ID
MODEL_PREFIX="trained_models/XXX/model/"
# Replace variable with the model directory path
MODEL_DIR=/root/model/modeltest
curl -v -G "$COS_ENDPOINT/$CUSTOMER_BUCKET" --data-urlencode "list-type=2" --data-urlencode "prefix=$MODEL_PREFIX" -H "Authorization: Bearer $BEARER_TOKEN" >/tmp/rawxml.txt
cat /tmp/rawxml.txt | awk '{split($0,a,"<Key>"); for (i=1; i<=length(a); i++)  print a[i]}' >/tmp/keysonnewline.txt
mkdir -p "$MODEL_DIR"
while read -r line; do
    if [[ "$line" != "trained_models"* ]]; then
        continue
    fi
    KEY_TO_DOWNLOAD=$(echo "$line" | awk -F '<' '{print $1}')
    FILE_NAME=$(basename "$KEY_TO_DOWNLOAD")
    curl -X "GET" "$COS_ENDPOINT/$CUSTOMER_BUCKET/$KEY_TO_DOWNLOAD" -H "Authorization: Bearer $BEARER_TOKEN" >"${MODEL_DIR}/$FILE_NAME"
done </tmp/keysonnewline.txt

  4. Em seguida, use os comandos ilab para atender e conversar.

    ilab model serve --model-path $MODEL_DIR -- --tensor-parallel-size 1 --host 0.0.0.0 --port 8080

    ilab model chat --endpoint-url http://localhost:8080/v1 -m $MODEL_DIR

Implantando o modelo no Watsonx em IBM Cloud

  1. Inscreva-se no IBM watsonx as a Service.

  2. Faça login e crie uma chave de API.

  3. Se você ainda não tiver um, crie um projeto.

  4. Adicione uma conexão à fonte de dados “ Object Storage ” em IBM Cloud.

  5. Importe o modelo.

  6. Implemente o modelo.

  7. Teste a implantação.

Implantação do modelo em uma IA d Red Hat OpenShift

  1. Caso ainda não tenha feito isso, instale o complemento de IA “ Red Hat OpenShift ” no seu cluster. A instalação do complemento pode levar até 15 minutos.
  2. Após a instalação do complemento, acesse o painel de controle do OpenShift AI.
  3. Clique em “Projetos de Ciência de Dados ” e, em seguida, clique em “Criar um projeto ”.
  4. Siga as instruções para dar um nome e uma descrição ao seu projeto e, em seguida, clique em “Criar ”.
  5. Encontre a seção “Modelos do Serve ” e escolha a opção “Plataforma de veiculação de modelo único ”.
  6. Clique em Implementar modelo.
  7. Preencha as propriedades de configuração necessárias. Para especificar o modelo que você treinou com o Inferência de IA da Red Hat, localize a seção “Localização do modelo de origem” e selecione o tipo de conexão “ S3 ” (armazenamento de objetos compatível com -v1 ).
  8. Na seção “Detalhes da conexão”, especifique a chave de acesso, a chave secreta, o endpoint e o nome do bucket COS no qual os dados do seu modelo treinado estão armazenados. Especifique o caminho para o seu modelo ou para a pasta que o contém dentro do seu bucket.
  9. Quando as demais propriedades de configuração estiverem preenchidas, clique em Implantar.
  10. Para verificar e visualizar o estado da implantação do modelo, clique em Modelo > Implantação do modelo e selecione o Projeto de Ciência de Dados no qual você criou o modelo.