Implementação de modelos para InstructLab

Escolha como implantar seu modelo.

Implementação do modelo no RHEL-AI em IBM Cloud

  1. Instale o RHEL-AI em IBM Cloud.

  2. Usando a CLI do IBM Cloud, obtenha um token de portador.

    ibmcloud iam oauth-tokens

  3. Atualize as variáveis desse script bash e execute-o.

    #!/usr/bin/env bash
# Replace variable with the bearer token
BEARER_TOKEN="XXX"
# Replace variable with the Object Storage bucket name
CUSTOMER_BUCKET="XXX"
# Replace variable with the Object Storage endpoint
COS_ENDPOINT=https://s3.direct.us-east.cloud-object-storage.appdomain.cloud
# Replace variable with the model ID
MODEL_PREFIX="trained_models/XXX/model/"
# Replace variable with the model directory path
MODEL_DIR=/root/model/modeltest
curl -v -G "$COS_ENDPOINT/$CUSTOMER_BUCKET" --data-urlencode "list-type=2" --data-urlencode "prefix=$MODEL_PREFIX" -H "Authorization: Bearer $BEARER_TOKEN" >/tmp/rawxml.txt
cat /tmp/rawxml.txt | awk '{split($0,a,"<Key>"); for (i=1; i<=length(a); i++)  print a[i]}' >/tmp/keysonnewline.txt
mkdir -p "$MODEL_DIR"
while read -r line; do
    if [[ "$line" != "trained_models"* ]]; then
        continue
    fi
    KEY_TO_DOWNLOAD=$(echo "$line" | awk -F '<' '{print $1}')
    FILE_NAME=$(basename "$KEY_TO_DOWNLOAD")
    curl -X "GET" "$COS_ENDPOINT/$CUSTOMER_BUCKET/$KEY_TO_DOWNLOAD" -H "Authorization: Bearer $BEARER_TOKEN" >"${MODEL_DIR}/$FILE_NAME"
done </tmp/keysonnewline.txt

  4. Em seguida, use os comandos do ilab para servir e conversar.

    ilab model serve --model-path $MODEL_DIR -- --tensor-parallel-size 1 --host 0.0.0.0 --port 8080

    ilab model chat --endpoint-url http://localhost:8080/v1 -m $MODEL_DIR

Implementação do modelo para Watsonx em IBM Cloud

  1. Registre-se para IBM watsonx as a Service.

  2. Faça login e crie uma chave de API.

  3. Se você ainda não tiver um, crie um projeto.

  4. Adicione uma conexão à fonte de dados Object Storage em IBM Cloud.

  5. Importar o modelo.

  6. Implantar o modelo.

  7. Teste a implantação.

Implementação do modelo para Red Hat OpenShift AI

  1. Se ainda não o fez, instale o complemento Red Hat OpenShift AI em seu cluster. A instalação do complemento pode levar até 15 minutos.
  2. Depois que o complemento for instalado, navegue até o painel OpenShift AI.
  3. Clique em Projetos de ciência de dados e, em seguida, clique em Criar um projeto.
  4. Siga as instruções para dar um nome e uma descrição ao seu projeto e, em seguida, clique em Create (Criar ).
  5. Localize a seção Serve models (Modelos de serviço ) e escolha a opção Single-model serving platform (Plataforma de serviço de modelo único).
  6. Clique em Implementar modelo.
  7. Preencha as propriedades de configuração necessárias. Para especificar o modelo treinado com InstructLab, localize a seção Localização do modelo de origem e escolha o tipo de conexão S3 armazenamento de objetos compatível -v1.
  8. Em Detalhes da conexão, especifique a chave de acesso, a chave secreta, o endpoint e o nome do bucket para o bucket COS em que os dados do modelo treinado estão armazenados. Especifique um caminho para seu modelo ou para a pasta que contém o modelo em seu bucket.
  9. Quando as propriedades de configuração restantes estiverem preenchidas, clique em Deploy.
  10. Para verificar e visualizar a integridade da implantação do modelo, clique em Model > Model deployment e selecione o Data Science Project no qual você criou o modelo.