A propos de Red Hat AI Inference on IBM Cloud

Red Hat® AI Inference on IBM Cloud® est une solution d’intelligence artificielle (IA) générative prête à l’emploi, privée et sécurisée, optimisée par Red Hat OpenShift AI. Red Hat AI Inference offre deux fonctionnalités principales : l’inférence pour interagir avec des modèles de base et l’alignement des modèles pour les adapter à vos besoins spécifiques.

Grâce à l'inférence, vous pouvez immédiatement commencer à utiliser des modèles de base via des API prêtes à l'emploi pour créer des applications basées sur l'IA, tester le comportement des modèles et intégrer des fonctionnalités d'IA conversationnelle dans vos workflows. Que vous développiez un prototype de chatbot, créiez un assistant IA ou intégriez la compréhension du langage naturel à votre application, l'inférence vous offre un accès immédiat aux modèles de base sans la complexité liée à l'hébergement des modèles.

Pour une personnalisation plus poussée, l'alignement des modèles vous permet d'enrichir les grands modèles linguistiques avec les connaissances et les compétences spécifiques à votre organisation. Vous fournissez une taxonomie, c'est-à-dire un répertoire de données sélectionnées contenant les connaissances et les compétences les plus importantes pour votre entreprise. Cette taxonomie est utilisée pour générer des données synthétiques, qui permettent d'entraîner le modèle à travers plusieurs phases d'ajustement. Ce processus permet d'aligner votre LLM sur vos objectifs en lui fournissant non seulement des connaissances générales, mais aussi les compétences et les contextes spécifiques qui sont les plus importants pour les besoins propres à votre entreprise.

En savoir plus sur l' Red Hat AI Inference.

Que sont les grands modèles linguistiques?

Les grands modèles linguistiques, ou LLM, sont des modèles d'IA qui utilisent des techniques d'apprentissage automatique pour générer du langage humain. Ils sont d'abord entraînés sur de grandes quantités de données générales qui leur permettent de comprendre et de générer du langage naturel, puis affinés par la suite pour s'adapter à des contextes plus spécifiques. Par exemple, un modèle entraîné sur des connaissances générales peut être affiné à l'aide de données issues du secteur de la vente au détail afin de créer un chatbot dédié au service client. Vous pouvez affiner les modèles de langage (LLM) pour divers cas d'utilisation, tels que la rédaction d'e-mails, la synthèse de longs textes ou la détection d'erreurs dans le code.

Si les modèles de langage à grande échelle (LLM) peuvent rationaliser les processus de diverses manières, gardez à l'esprit qu'il existe certaines limites à leurs capacités. Les modèles de langage à grande échelle (LLM) fonctionnent à partir des données qui leur sont fournies. Vous ne pourriez pas, par exemple, demander à un modèle de langage de grande envergure (LLM) la date de votre anniversaire, car vos informations personnelles ne font pas partie des données d'entraînement. De même, un LLM utilisé seul ne serait pas la meilleure option pour prédire l'évolution future d'une action; dans ce cas, il serait plus approprié d'utiliser un modèle de prévision. De plus, les modèles de langage à grande échelle (LLM) sont, en eux-mêmes, statiques et incapables d'interagir avec leur environnement. Des tâches telles que donner l'heure ou la date nécessiteraient des flux ou des cadres plus orientés vers l'action.

Pour une explication plus détaillée des LLM et de leur fonctionnement, consultez la rubrique Que sont les LLM?

Qu'est-ce que l'inférence?

L'inférence est le processus consistant à utiliser un modèle d'IA entraîné pour générer des réponses, faire des prédictions ou traiter des données d'entrée. Red Hat AI Inference offre un accès immédiat à des modèles de base via des API OpenAI-compatible conformes aux normes du secteur. Cela élimine la complexité liée au déploiement et à la mise à l'échelle des modèles d'IA, ce qui vous permet de vous concentrer sur la création de valeur pour vos utilisateurs.

Inference résout le défi que représente l'intégration des capacités d'IA dans vos applications en offrant :

API prêtes à l'emploi: Utilisez des points de terminaison courants et conformes aux normes du secteur pour interagir avec les modèles de base sans avoir à gérer l'infrastructure.
Accès immédiat aux modèles: Commencez à développer des fonctionnalités basées sur l'IA sans attendre le déploiement ou l'entraînement des modèles.
Intégration flexible: Intégrez par programmation l'IA conversationnelle dans vos systèmes existants, traitez des volumes élevés de requêtes et personnalisez le comportement des modèles en fonction de vos cas d'utilisation spécifiques.
Tests interactifs: Testez différents modèles et invites dans l'environnement de test de la console avant de les intégrer à vos applications.

Pour plus d'informations sur l'inférence, consultez l'article L'inférence IA, simplifiée et expliquée.

Pour plus d'informations sur la manière d'effectuer une inférence, consultez la section Utilisation des suggestions de chat.

Fonctionnement de l'inférence

Inference offre un accès immédiat aux modèles de base grâce à un workflow simple :

Etape 1. Authentifier: Une fois que vous avez créé un projet Red Hat AI Inference, utilisez un jeton bearer ou une clé API IBM Cloud pour accéder en toute sécurité aux fonctionnalités d'inférence de votre projet.
Étape 2. Sélectionner un modèle: Choisissez parmi les modèles de base disponibles en fonction des exigences de votre cas d'utilisation, telles que la qualité des réponses, la rapidité ou les considérations de coût.
Étape 3. Envoyer des demandes: Utilisez les API OpenAI-compatible conformes aux normes du secteur pour envoyer des messages au modèle et recevoir des réponses générées par l'IA. Vous pouvez personnaliser le comportement du modèle à l'aide des invites système et ajuster des paramètres tels que le caractère aléatoire et les limites de réponse.
Étape 4. Intégrer les réponses: Intégrez les réponses du modèle dans les workflows de votre application, que ce soit pour des interfaces conversationnelles, la génération de contenu ou des tâches de traitement du langage naturel.

Vous pouvez tester et peaufiner vos interactions dans l'environnement de test de la console avant de les intégrer dans des applications de production. Pour des exemples détaillés, consultez la section Utilisation des suggestions de saisie dans le chat.

Qu'est-ce que l'intégration?

L'intégration de texte est une méthode permettant de représenter un texte sous la forme d'un vecteur numérique, c'est-à-dire une liste de nombres qui reflète la signification sémantique d'une phrase ou d'un passage. En convertissant le texte en ces vecteurs, le modèle peut effectuer des comparaisons et des regroupements en fonction du sens plutôt que des mots exacts, ce que les ordinateurs sont capables de faire rapidement et avec précision.

Lorsqu'un modèle d'intégration génère un vecteur pour un fragment de texte, il lui attribue des valeurs qui reflètent la signification de ce texte et positionne ce vecteur dans un espace multidimensionnel par rapport à tous les autres vecteurs. Les textes ayant des significations similaires sont placés plus près les uns des autres dans cet espace, tandis que ceux ayant des significations différentes sont placés plus loin les uns des autres. Par exemple, deux phrases portant sur le même sujet — même si elles utilisent des mots différents — produiraient des vecteurs proches les uns des autres, tandis que des phrases traitant de sujets sans rapport produiraient des vecteurs très éloignés les uns des autres.

Vous pouvez stocker les vecteurs générés dans une base de données vectorielle. Lorsque le même modèle d'intégration est utilisé pour générer des vecteurs pour l'ensemble du contenu de la base de données, le magasin de vecteurs peut exploiter les relations entre les vecteurs pour renvoyer rapidement des résultats pertinents. Contrairement à la recherche traditionnelle basée sur des mots-clés, la recherche sémantique utilisant des représentations vectorielles permet de retrouver des informations dont le sens est similaire, et pas seulement le vocabulaire. Cela permet d'obtenir de meilleurs résultats lorsque les utilisateurs formulent leurs requêtes différemment du contenu source.

Les utilisations courantes des représentations textuelles comprennent :

Recherche sémantique et extraction d'informations
Regroupement et classification des documents
La génération augmentée par la recherche (RAG), dans laquelle le contenu extrait est transmis à un modèle linguistique afin de produire des réponses ancrées dans le contexte

Fonctionnement de l'intégration

L'intégration dans Red Hat AI Inference suit un processus simple :

Etape 1. Authentifier: Utilisez un jeton porteur ou une clé API IBM Cloud pour accéder en toute sécurité aux fonctionnalités d'intégration de votre projet.
Étape 2. Sélectionner un modèle: Choisissez un modèle d'intégration en fonction de votre cas d'utilisation. Le modèle granite-embedding-278m-multilingual est disponible et prend en charge plusieurs langues.
Étape 3. Envoyer un texte de saisie: Utilisez l'API Embeddings pour envoyer une ou plusieurs entrées de texte. Le modèle renvoie une représentation vectorielle pour chaque entrée — une liste de nombres à virgule flottante qui encode le contenu sémantique du texte.
Étape 4. Utilisez les vecteurs: Stockez les vecteurs générés dans une base de données vectorielle, utilisez-les pour optimiser la recherche sémantique ou intégrez-les dans un pipeline RAG afin d'ancrer les réponses du modèle dans vos propres données.

Pour le stockage vectoriel, utilisez IBM Cloud Databases for Elasticsearch ou IBM watsonx.data.

Pour un guide détaillé, consultez la section Améliorer les suggestions de chat grâce aux représentations vectorielles et à la technologie RAG.

Pourquoi l'IA d' Red Hat sur IBM Cloud?

Red Hat L'IA sur IBM Cloud offre des fonctionnalités d'IA complètes qui répondent à la fois aux besoins d'intégration immédiats et aux exigences de personnalisation à long terme.

Intégration immédiate de l'IA avec l'inférence: Commencez dès maintenant à développer des fonctionnalités basées sur l'IA sans avoir à gérer d'infrastructure. Utilisez des API prêtes à l'emploi pour intégrer l'IA conversationnelle, tester le comportement des modèles et faire évoluer vos applications en fonction des besoins de votre entreprise.
Options de déploiement flexibles: Vous contrôlez vos données et vos modèles. Vous pouvez choisir de les utiliser dans le cloud, sur site ou partout où votre entreprise en a besoin. Exploitez vos données métier uniques pour gagner en efficacité et stimuler l'innovation en créant des solutions basées sur l'IA.
Réduire au minimum le risque d’oubli catastrophique: Pour plus de précision et moins de risques, les modèles d' Granite s intégrés servent de base à l'acquisition de nouvelles compétences et connaissances. Les informations déjà apprises ne sont pas perdues lorsque les modèles acquièrent de nouvelles informations.
Économique et évolutif: Red Hat AI sur IBM Cloud étant disponible sous forme de service, vous pouvez réduire les coûts superflus en ne payant que ce dont vous avez besoin. Optimisez vos dépenses informatiques en proposant des solutions d'IA plus simples, plus rapides et plus économiques.
API conformes aux normes du secteur: Utilisez les points de terminaison familiers d' OpenAI-compatible pour intégrer des fonctionnalités d'IA à vos workflows et applications existants sans avoir à vous familiariser avec des interfaces propriétaires.

Comment fonctionne la facturation ?

Pour en savoir plus sur la facturation, consultez le Questions fréquemment posées.