Iniciación a Red Hat AI Inference on IBM Cloud

¿Estás listo para empezar a utilizar la IA en tus aplicaciones? En este tutorial, aprenderás a realizar inferencias con modelos base y a generar respuestas basadas en IA. En solo 15 minutos, estarás chateando con un modelo de lenguaje de gran tamaño e integrando la IA conversacional en tus flujos de trabajo.

Red Hat® AI Inference on IBM Cloud® es una solución de IA generativa lista para su uso empresarial, privada y segura, impulsada por la IA de Red Hat OpenShift. Este tutorial se centra en ayudarte a dar tus primeros pasos con la inferencia para interactuar con modelos base, la forma más rápida de empezar a utilizar la IA.

Qué conseguirá

En este tutorial, realizarás las siguientes tareas:

Configura tu cuenta y tu proyecto de IBM Cloud.
Inicia sesión en la API de inferencia.
Genera tu primera respuesta de chat con un modelo base.
Descubre los siguientes pasos para personalizar los modelos con tus propios datos.

Antes de empezar

Asegúrate de que dispones de lo siguiente:

Una cuenta de IBM Cloud de pago por uso o por suscripción. No se admiten cuentas de prueba. Para obtener más información o para ampliar tu cuenta, consulta Tipos de cuenta.
Un proyecto de Red Hat AI Inference.
Rol de Writer o superior en el servicio Red Hat AI Inference. Para obtener más información, consulta Gestión del acceso a IAM.

Consigue tu ID de proyecto y tu punto final de la API

Es necesario indicar el ID de tu proyecto en todas las solicitudes de API.

Acceder a los proyectos de Red Hat AI Inference.
Abre tu proyecto.
Copia tu ID de proyecto y guárdalo para los siguientes pasos.

Punto final de API

Todas las solicitudes de API utilizan el siguiente formato básico: URL:

https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference

Sustituye <project_id> por el ID de tu proyecto.

Autenticarse en la API

Antes de poder interactuar con los modelos básicos, debes autenticar tus solicitudes de API. Puedes utilizar un token de portador o una clave API de IBM Cloud. Este tutorial muestra cómo utilizar un ID de servicio junto con una clave de API para el acceso programático. Para obtener más información sobre el uso de un token de portador, consulta Autenticación mediante un token de portador.

Crear un identificador de servicio y asignar acceso

Un identificador de servicio es una forma útil de controlar y distribuir el acceso a los proyectos de Red Hat AI Inference. Crea el ID del servicio y, a continuación, asígnale acceso a tu proyecto.

En la consola de IBM Cloud, ve a Gestionar > Acceso (IAM) > ID de servicio y haz clic en Crear.
Introduce un nombre y una descripción para tu ID de servicio y, a continuación, haz clic en Crear.
En la página de identificación del servicio, haz clic en Asignar acceso.
Selecciona Red Hat AI Inference como servicio.
En Recursos, selecciona Recursos específicos y elige tu proyecto. Al hacerlo, se limita el acceso a un proyecto específico.
En Roles y acciones, selecciona el rol de acceso al servicio adecuado:
- Selecciona Writer si necesitas crear sugerencias para el chat.
- Selecciona Lector si solo necesitas leer las sugerencias del chat o ver la información del modelo.
No se requieren roles de acceso a la plataforma para acceder a la API.
(Opcional) Añade condiciones, como el acceso por tiempo limitado, para delimitar aún más el alcance del acceso al ID de servicio.
Revisa el resumen de acceso y haz clic en Asignar.

Creación de una clave de API

Ahora que tu ID de servicio tiene acceso a tu proyecto de Red Hat AI Inference, crea una clave de API de ID de servicio para utilizarla en tus llamadas a la API.

En la página de identificación del servicio, haz clic en Claves de API.
Haz clic en Crear e introduce un nombre para tu clave API.
Para la gestión de claves filtradas, selecciona Desactivar la clave filtrada para desactivar automáticamente la clave si se detecta que se ha filtrado.
Establece una fecha de caducidad para la clave. Por motivos de seguridad, se recomienda la rotación periódica de claves.
Pulse Crear.
Copia la clave de la API y guárdala en un lugar seguro. La clave no se puede volver a consultar.

Ahora puede utilizar esa clave de API para autenticar sus solicitudes. En el siguiente paso, utilizarás esta clave en el Authorization: Bearer encabezado de tus llamadas a la API.

Explora los modelos disponibles

Cada modelo base tiene sus propios puntos fuertes, por lo que es importante revisar los modelos disponibles en su proyecto.

Realice la siguiente llamada a la API para ver una lista de todos los modelos disponibles. Sustituye <project_id> por tu ID de proyecto y <api_key> por tu clave API de servicio:

curl -L 'https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference/models' \
  -H 'Accept: application/json' \
  -H "Authorization: Bearer <api_key>"

from openai import OpenAI
client = OpenAI(
  api_key="<api_key>",
  base_url="https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference",
)
models = client.models.list()
print(models)

La respuesta te muestra todos los modelos que puedes utilizar, junto con información sobre sus capacidades. Puedes probar diferentes modelos para encontrar el que mejor se adapte a tu caso de uso.

Genera tu primera respuesta de chat

Ahora, envía un mensaje al modelo y recibe una respuesta generada por IA.

Realice la siguiente llamada a la API, sustituyendo <project_id> por el ID de su proyecto y <api_key> por la clave API de su servicio:

curl https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer <api_key>" \
  -d '{
    "model": "granite-4-0-h-small",
    "messages": [
      {
        "role": "developer",
        "content": "You are a helpful assistant"
      },
      {
        "role": "user",
        "content": "Hello! Tell me about yourself"
      }
    ]
  }'

from openai import OpenAI
client = OpenAI(
  api_key="<api_key>",
  base_url="https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference",
)
completion = client.chat.completions.create(
  model="granite-4-0-h-small",
  messages=[
    {"role": "developer", "content": "You are a helpful assistant."},
    {"role": "user", "content": "Hello! Tell me about yourself"}
  ]
)
print(completion.choices[0].message)

Deberías recibir una respuesta del modelo en la que se presente.

Comprender la solicitud

Analicemos lo que acabas de hacer:

modelo: Ha especificado granite-4-0-h-small, uno de los modelos básicos disponibles. Los distintos modelos presentan diferentes capacidades y características de rendimiento.
mensajes: Has proporcionado dos mensajes. Uno de ellos era un mensaje para desarrolladores que configuraba el mensaje del sistema e indicaba al modelo cómo debía comportarse. El mensaje del usuario incluía tu pregunta concreta para que el modelo la respondiera.
Punto final de API: La solicitud se envió al punto final de inferencia de tu proyecto, que se encarga de redirigirla al modelo adecuado.

Puede personalizar el comportamiento del modelo ajustando el mensaje del sistema, añadiendo más mensajes o utilizando diferentes modelos para distintos casos de uso.

Próximos pasos

Ahora que ya ha empezado a utilizar la inferencia con éxito, esto es lo que puede hacer a continuación:

Continuar con la inferencia

Obtén más información sobre la inferencia para descubrir funciones avanzadas como las respuestas en tiempo real, el ajuste de los parámetros del modelo y la gestión del historial de conversaciones.
Consulta la documentación de la API de autocompletado de chat de OpenAI para obtener una referencia completa de la API.
Integra la inferencia en tus aplicaciones utilizando el SDK de Python u otros lenguajes de programación.

Personaliza los modelos con tus datos

Obsoleto

¿Estás listo para ir más allá de los modelos de uso general? Puede personalizar los modelos básicos con los conocimientos y habilidades específicos de su organización mediante la alineación de modelos:

Elabora una taxonomía que recoja tus conocimientos y habilidades empresariales.
Genera datos sintéticos a partir de tu taxonomía.
Entrena un modelo personalizado que se adapte a tus necesidades específicas.

De este modo, podrá ajustar los modelos para que comprendan el contexto, la terminología y los requisitos de su empresa, lo que va más allá de lo que pueden ofrecer los modelos de uso general.