Iniciación a Red Hat AI Inference on IBM Cloud

¿Estás listo para empezar a utilizar la inteligencia artificial (IA) en tus aplicaciones? En este tutorial, aprenderás a realizar inferencias con modelos base y a generar respuestas basadas en IA. En solo 15 minutos, estarás chateando con un modelo de lenguaje de gran tamaño e integrando la IA conversacional en tus flujos de trabajo.

Red Hat® AI Inference on IBM Cloud® es una solución de IA generativa lista para su uso empresarial, privada y segura, impulsada por la IA de Red Hat OpenShift. Este tutorial se centra en ayudarte a dar tus primeros pasos con la inferencia para interactuar con modelos base, la forma más rápida de empezar a utilizar la IA.

Qué conseguirá

En este tutorial, realizarás las siguientes tareas:

  • Configura tu cuenta y tu proyecto de IBM Cloud.
  • Inicia sesión en la API de inferencia.
  • Genera tu primera respuesta de chat con un modelo base.
  • Descubre los siguientes pasos para personalizar los modelos con tus propios datos.

Antes de empezar

Asegúrate de que dispones de lo siguiente:

Consigue tu ID de proyecto y tu punto final de la API

Es necesario indicar el ID de tu proyecto en todas las solicitudes de API.

  1. Acceder a los proyectos de Red Hat AI Inference.

  2. Abre tu proyecto.

  3. Copia tu ID de proyecto y guárdalo para los siguientes pasos.

Punto final de API

Todas las solicitudes de API utilizan el siguiente formato básico: URL:

https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference

Sustituye <project_id> por el ID de tu proyecto.

Autenticarse en la API

Antes de poder interactuar con los modelos básicos, debes autenticar tus solicitudes de API. Puede utilizar un token de portador o una clave API de IBM Cloud. Este tutorial muestra cómo utilizar un ID de servicio junto con una clave de API para el acceso programático. Para obtener más información sobre el uso de un token de portador, consulta Autenticación mediante un token de portador.

Creación de un ID de servicio y una clave de API

Un identificador de servicio gestiona el acceso de las aplicaciones y los flujos de trabajo automatizados. Cuando creas un ID de servicio directamente en tu proyecto, se asigna automáticamente el rol de acceso Writer para que puedas crear respuestas automáticas en el chat.

  1. Ve a la página de proyectos de Red Hat AI Inference y selecciona tu proyecto.
  2. En la sección Uso de la API, haz clic en Crear clave de API.
  3. Haz clic en Siguiente y selecciona Solo este proyecto para restringir el acceso al proyecto actual.
  4. Pulse Crear.
  5. Copia la clave de la API y guárdala en un lugar seguro. El valor de la clave de la API no se podrá volver a mostrar una vez cerrado el cuadro de diálogo.

Ahora puede utilizar esa clave de API para autenticar sus solicitudes. En el siguiente paso, utilizarás esta clave en el Authorization: Bearer encabezado de tus llamadas a la API.

Explora los modelos disponibles

Cada modelo base tiene sus propios puntos fuertes, por lo que es importante revisar los modelos disponibles en su proyecto.

Realice la siguiente llamada a la API para ver una lista de todos los modelos disponibles. Sustituye <project_id> por tu ID de proyecto y <api_key> por tu clave API de servicio:

curl -L 'https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference/models' \
  -H 'Accept: application/json' \
  -H "Authorization: Bearer <api_key>"

from openai import OpenAI
client = OpenAI(
  api_key="<api_key>",
  base_url="https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference",
)
models = client.models.list()
print(models)

La respuesta te muestra todos los modelos que puedes utilizar, junto con información sobre sus capacidades. Puedes probar diferentes modelos para encontrar el que mejor se adapte a tu caso de uso.

Genera tu primera respuesta de chat

Ahora, envía un mensaje al modelo y recibe una respuesta generada por IA.

Realice la siguiente llamada a la API, sustituyendo <project_id> por el ID de su proyecto y <api_key> por la clave API de su servicio:

curl https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer <api_key>" \
  -d '{
    "model": "granite-4-0-h-small",
    "messages": [
      {
        "role": "developer",
        "content": "You are a helpful assistant"
      },
      {
        "role": "user",
        "content": "Hello! Tell me about yourself"
      }
    ]
  }'

from openai import OpenAI
client = OpenAI(
  api_key="<api_key>",
  base_url="https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference",
)
completion = client.chat.completions.create(
  model="granite-4-0-h-small",
  messages=[
    {"role": "developer", "content": "You are a helpful assistant."},
    {"role": "user", "content": "Hello! Tell me about yourself"}
  ]
)
print(completion.choices[0].message)

Deberías recibir una respuesta del modelo en la que se presente.

Comprender la solicitud

Analicemos lo que acabas de hacer:

modelo
Ha especificado granite-4-0-h-small, uno de los modelos básicos disponibles. Los distintos modelos presentan diferentes capacidades y características de rendimiento.
mensajes
Has proporcionado dos mensajes. Uno de ellos era un mensaje para desarrolladores que configuraba el mensaje del sistema e indicaba al modelo cómo debía comportarse. El mensaje del usuario incluía tu pregunta concreta para que el modelo la respondiera.
Punto final de API
La solicitud se envió al punto final de inferencia de tu proyecto, que se encarga de redirigirla al modelo adecuado.

Puede personalizar el comportamiento del modelo ajustando el mensaje del sistema, añadiendo más mensajes o utilizando diferentes modelos para distintos casos de uso.

Próximos pasos

Ahora que ya ha empezado a utilizar la inferencia con éxito, esto es lo que puede hacer a continuación:

Continuar con la inferencia