Initiation à Red Hat AI Inference on IBM Cloud

Prêt à utiliser l'IA dans vos applications? Dans ce tutoriel, vous apprendrez à effectuer des inférences à l'aide de modèles de base et à générer des réponses basées sur l'IA. En seulement 15 minutes, vous pourrez discuter avec un modèle linguistique de grande envergure et intégrer l'IA conversationnelle à vos flux de travail.

Red Hat® AI Inference on IBM Cloud® Il s'agit d'une solution d'IA générative prête à l'emploi, privée et sécurisée, optimisée par l'IA d' Red Hat OpenShift. Ce tutoriel a pour objectif de vous initier à l'inférence pour interagir avec des modèles de base, ce qui constitue le moyen le plus rapide de commencer à utiliser l'IA.

Ce que vous allez faire

Dans ce tutoriel, vous allez effectuer les tâches suivantes :

Configurez votre compte et votre projet IBM Cloud.
Authentifiez-vous auprès de l'API d'inférence.
Générez votre première réponse de chat à l'aide d'un modèle de base.
Découvrez les prochaines étapes pour personnaliser les modèles avec vos propres données.

Avant de commencer

Assurez-vous de disposer des éléments suivants :

Un compte Pay-As-You-Go ou Subscription sur IBM Cloud. Les comptes d'essai ne sont pas pris en charge. Pour plus d'informations ou pour passer à un compte supérieur, consultez la section Types de comptes.
Un projet d' Red Hat AI Inference.
Rôle Writer ou supérieur sur le service Red Hat AI Inference. Pour plus d'informations, consultez la section Gestion des accès IAM.

Obtenez votre identifiant de projet et votre point de terminaison API

Votre identifiant de projet est obligatoire pour toutes les requêtes API.

Accéder aux projets Red Hat AI Inference.
Ouvrez votre projet.
Copiez l'identifiant de votre projet et conservez-le pour les étapes suivantes.

Noeud final d'API

Toutes les requêtes API utilisent le format de base suivant : URL:

https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference

Remplacez <project_id> par l'identifiant de votre projet.

S'authentifier auprès de l'API

Avant de pouvoir interagir avec les modèles de base, vous devez authentifier vos requêtes API. Vous pouvez utiliser soit un jeton bearer, soit une clé API IBM Cloud. Ce tutoriel explique comment utiliser un identifiant de service avec une clé API pour un accès programmatique. Pour plus d'informations sur l'utilisation d'un jeton bearer, consultez la section Authentification à l'aide d'un jeton bearer.

Créer un identifiant de service et attribuer des droits d'accès

Un identifiant de service est un moyen pratique de contrôler et de gérer les accès aux projets d' Red Hat AI Inference. Créez l'identifiant de service, puis attribuez-lui un accès à votre projet.

Dans la console d' IBM Cloud, accédez à Gérer > Accès (IAM) > Identifiants de service, puis cliquez sur Créer.
Saisissez un nom et une description pour votre identifiant de service, puis cliquez sur Créer.
Depuis la page d'identification du service, cliquez sur Attribuer un accès.
Sélectionnez Red Hat AI Inference comme service.
Dans la section Ressources, sélectionnez Ressources spécifiques, puis choisissez votre projet. Ce faisant, vous limitez l'accès à un projet spécifique.
Dans la section Rôles et actions, sélectionnez le rôle d'accès au service approprié :
- Sélectionnez Writer si vous devez créer des suggestions de saisie pour le chat.
- Sélectionnez Lecteur si vous souhaitez uniquement lire les compléments de conversation ou consulter les informations sur les modèles.
Aucun rôle d'accès à la plateforme n'est requis pour accéder à l'API.
(Facultatif) Ajoutez des conditions telles qu'un accès limité dans le temps afin de restreindre davantage l'accès à l'identifiant de service.
Consultez le récapitulatif des droits d'accès, puis cliquez sur Attribuer.

Création d'une clé d'API

Maintenant que votre identifiant de service a accès à votre projet Red Hat AI Inference, créez une clé API d'identifiant de service à utiliser dans vos appels API.

Depuis la page d'identification du service, cliquez sur Clés API.
Cliquez sur Créer et saisissez un nom pour votre clé API.
Pour la gestion des clés compromises, sélectionnez Désactiver la clé compromise afin de désactiver automatiquement la clé si une compromission est détectée.
Définissez une date d'expiration pour la clé. Pour des raisons de sécurité, il est recommandé de procéder régulièrement à une rotation des clés.
Cliquez sur Créer.
Copiez la clé API et enregistrez-la dans un emplacement sécurisé. La clé ne peut plus être consultée.

Vous pouvez désormais utiliser cette clé API pour authentifier vos requêtes. À l'étape suivante, vous utiliserez cette clé dans l'en-tête Authorization: Bearer de vos appels API.

Découvrez les modèles disponibles

Chaque modèle de base présente des atouts différents; il est donc important de passer en revue les modèles disponibles dans le cadre de votre projet.

Effectuez l'appel d'API suivant pour répertorier tous les modèles disponibles. Remplacez <project_id> par votre identifiant de projet et <api_key> par votre clé API d'identifiant de service :

curl -L 'https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference/models' \
  -H 'Accept: application/json' \
  -H "Authorization: Bearer <api_key>"

from openai import OpenAI
client = OpenAI(
  api_key="<api_key>",
  base_url="https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference",
)
models = client.models.list()
print(models)

La réponse vous présente tous les modèles que vous pouvez utiliser, ainsi que des informations sur leurs fonctionnalités. Vous pouvez tester différents modèles afin de trouver celui qui correspond le mieux à votre cas d'utilisation.

Générez votre première suggestion de conversation

Envoyez maintenant un message au modèle et recevez une réponse générée par l'IA.

Effectuez l'appel d'API suivant, en remplaçant <project_id> par l'ID de votre projet et <api_key> par votre clé API de service :

curl https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer <api_key>" \
  -d '{
    "model": "granite-4-0-h-small",
    "messages": [
      {
        "role": "developer",
        "content": "You are a helpful assistant"
      },
      {
        "role": "user",
        "content": "Hello! Tell me about yourself"
      }
    ]
  }'

from openai import OpenAI
client = OpenAI(
  api_key="<api_key>",
  base_url="https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference",
)
completion = client.chat.completions.create(
  model="granite-4-0-h-small",
  messages=[
    {"role": "developer", "content": "You are a helpful assistant."},
    {"role": "user", "content": "Hello! Tell me about yourself"}
  ]
)
print(completion.choices[0].message)

Vous devriez recevoir une réponse du modèle se présentant lui-même.

Comprendre la demande

Analysons ce que vous venez de faire :

modèle: Vous avez spécifié granite-4-0-h-small, l'un des modèles de base disponibles. Les différents modèles présentent des capacités et des caractéristiques de performance variées.
messages: Vous avez fourni deux messages. L'un d'entre eux était un message destiné aux développeurs qui définissait l'invite du système et indiquait au modèle comment se comporter. Le message de l'utilisateur contenait votre question exacte à laquelle le modèle devait répondre.
Noeud final d'API: La requête a été transmise au point de terminaison d'inférence de votre projet, qui se charge de l'acheminer vers le modèle approprié.

Vous pouvez personnaliser le comportement du modèle en modifiant l'invite du système, en ajoutant des messages supplémentaires ou en utilisant différents modèles selon les cas d'utilisation.

Etapes suivantes

Maintenant que vous avez réussi à vous lancer dans l'utilisation de l'inférence, voici ce que vous pouvez faire ensuite :

Poursuivre avec l'inférence

Découvrez-en davantage sur l'inférence pour explorer des fonctionnalités avancées telles que les réponses en continu, l'ajustement des paramètres de modèle et la gestion de l'historique des conversations.
Consultez la documentation de l'API Chat Completion d' OpenAI pour obtenir une référence complète de l'API.
Intégrez l'inférence dans vos applications à l'aide du SDK Python ou d'autres langages de programmation.

Personnalisez les modèles avec vos données

Obsolète

Prêt à aller au-delà des modèles polyvalents? Vous pouvez personnaliser les modèles de base en y intégrant les connaissances et les compétences spécifiques à votre organisation grâce à l'alignement des modèles :

Élaborez une taxonomie regroupant vos connaissances et compétences métier.
Générez des données synthétiques à partir de votre taxonomie.
Entraînez un modèle personnalisé adapté à vos besoins spécifiques.

Cela vous permet d'affiner les modèles afin qu'ils comprennent le contexte, la terminologie et les exigences de votre entreprise, ce qui va au-delà de ce que peuvent offrir les modèles à usage général.