Introdução ao Red Hat AI Inference on IBM Cloud

Pronto para começar a usar inteligência artificial (IA) em seus aplicativos? Neste tutorial, você aprenderá a realizar inferências com modelos de base e a gerar respostas com o auxílio da IA. Em apenas 15 minutos, você estará conversando com um modelo de linguagem de grande porte e integrando a IA conversacional aos seus fluxos de trabalho.

Red Hat® AI Inference on IBM Cloud® é uma solução de IA generativa pronta para uso empresarial, privada e segura, desenvolvida com a tecnologia de IA “ Red Hat OpenShift ”. Este tutorial tem como objetivo apresentar a inferência para interagir com modelos de base, a maneira mais rápida de começar a usar IA.

O que você realizará

Neste tutorial, você realizará as seguintes tarefas:

  • Configure sua conta e seu projeto no IBM Cloud.
  • Faça a autenticação na API de inferência.
  • Gere sua primeira resposta de chat usando um modelo de base.
  • Saiba quais são os próximos passos para personalizar modelos com seus próprios dados.

Antes de Iniciar

Certifique-se de ter o seguinte:

  • Uma conta “ IBM Cloud ” no modelo “Pay-As-You-Go” ou por assinatura. Não são oferecidas contas de teste. Para obter mais informações ou para fazer o upgrade da sua conta, consulte Tipos de conta.

  • Um projeto da Red Hat AI Inference.

  • A função “Writer” ou superior no serviço Red Hat AI Inference. Para obter mais informações, veja Gerenciando acesso ao IAM.

Obtenha o ID do seu projeto e o endpoint da API

O ID do seu projeto é obrigatório para todas as solicitações de API.

  1. Acesse Red Hat AI Inference projetos.

  2. Abra seu projeto.

  3. Copie o ID do seu projeto e guarde-o para as próximas etapas.

Terminal de API

Todas as solicitações de API utilizam o seguinte formato básico: URL:

https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference

Substitua <project_id> pelo ID do seu projeto.

Autenticar-se na API

Antes de poder interagir com os modelos de base, é necessário autenticar suas solicitações de API. Você pode usar um token de portador ou uma chave de API do IBM Cloud. Este tutorial mostra como usar um ID de serviço com uma chave de API para acesso programático. Para obter mais informações sobre como usar um token de portador, consulte “Autenticação usando um token de portador ”.

Criação de um ID de serviço e de uma chave de API

Um ID de serviço gerencia o acesso de aplicativos e fluxos de trabalho automatizados. Ao criar um ID de serviço diretamente no seu projeto, a função de acesso “Writer” é atribuída automaticamente para que você possa criar sugestões de chat.

  1. Acesse a página de projetos do Red Hat AI Inference e selecione seu projeto.
  2. Na seção “Como usar a API ”, clique em “Criar chave de API ”.
  3. Clique em “Avançar ” e selecione “Apenas este projeto ” para restringir o acesso ao projeto atual.
  4. Clique em Criar.
  5. Copie a chave da API e guarde-a em um local seguro. O valor da chave da API não poderá ser exibido novamente após o fechamento da caixa de diálogo.

Agora você pode usar essa chave de API para autenticar suas solicitações. Na próxima etapa, você usará essa chave no cabeçalho “ Authorization: Bearer ” das suas chamadas de API.

Conheça os modelos disponíveis

Diferentes modelos de fundação apresentam diferentes pontos fortes; por isso, é importante analisar os modelos disponíveis para o seu projeto.

Faça a seguinte chamada de API para listar todos os modelos disponíveis. Substitua <project_id> pelo ID do seu projeto e <api_key> pela chave de API do seu serviço:

curl -L 'https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference/models' \
  -H 'Accept: application/json' \
  -H "Authorization: Bearer <api_key>"

from openai import OpenAI
client = OpenAI(
  api_key="<api_key>",
  base_url="https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference",
)
models = client.models.list()
print(models)

A resposta mostra todos os modelos que você pode usar, juntamente com informações sobre suas funcionalidades. Você pode experimentar diferentes modelos para encontrar aquele que melhor se adapta ao seu caso de uso.

Crie sua primeira resposta de chat

Agora, envie uma mensagem para o modelo e receba uma resposta gerada por IA.

Faça a seguinte chamada de API, substituindo <project_id> pelo ID do seu projeto e <api_key> pela chave de API do seu serviço:

curl https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer <api_key>" \
  -d '{
    "model": "granite-4-0-h-small",
    "messages": [
      {
        "role": "developer",
        "content": "You are a helpful assistant"
      },
      {
        "role": "user",
        "content": "Hello! Tell me about yourself"
      }
    ]
  }'

from openai import OpenAI
client = OpenAI(
  api_key="<api_key>",
  base_url="https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference",
)
completion = client.chat.completions.create(
  model="granite-4-0-h-small",
  messages=[
    {"role": "developer", "content": "You are a helpful assistant."},
    {"role": "user", "content": "Hello! Tell me about yourself"}
  ]
)
print(completion.choices[0].message)

Você deve receber uma resposta do modelo apresentando-se.

Compreendendo a solicitação

Vamos analisar o que você acabou de fazer:

modelo
Você especificou o modelo “ granite-4-0-h-small ”, um dos modelos básicos disponíveis. Modelos diferentes apresentam capacidades e características de desempenho distintas.
mensagens
Você enviou duas mensagens. Uma delas era uma mensagem do desenvolvedor que definia o prompt do sistema e instruía o modelo sobre como se comportar. A mensagem do usuário incluía a sua pergunta propriamente dita, para que o modelo a respondesse.
Terminal de API
A solicitação foi enviada ao endpoint de inferência do seu projeto, que é responsável por direcioná-la ao modelo apropriado.

Você pode personalizar o comportamento do modelo ajustando o prompt do sistema, adicionando mais mensagens ou utilizando modelos diferentes para diferentes casos de uso.

Próximas etapas

Agora que você já começou a usar a inferência com sucesso, veja o que pode fazer a seguir:

Continuar com a inferência