Informationen zu Red Hat AI Inference on IBM Cloud

Red Hat® AI Inference on IBM Cloud® ist eine unternehmensreife, private und sichere Lösung für generative künstliche Intelligenz (KI), die auf Red Hat OpenShift AI basiert. Red Hat AI Inference bietet zwei Kernfunktionen: Inferenz zur Interaktion mit Basismodellen und Modellanpassung zur Feinabstimmung von Modellen auf Ihre spezifischen Anforderungen.

Mit Inference können Sie über produktionsreife APIs sofort mit der Nutzung von Basismodellen beginnen, um KI-gestützte Anwendungen zu entwickeln, das Modellverhalten zu testen und Funktionen der dialogorientierten KI in Ihre Arbeitsabläufe zu integrieren. Ganz gleich, ob Sie einen Chatbot prototypisieren, einen KI-Assistenten entwickeln oder Ihre Anwendung um Funktionen zum Verstehen natürlicher Sprache erweitern – Inferenz bietet sofortigen Zugriff auf Grundmodelle, ohne dass Sie sich um das Hosting der Modelle kümmern müssen.

Für eine umfassendere Anpassung ermöglicht Ihnen die Modellanpassung, große Sprachmodelle mit dem spezifischen Wissen und den Fähigkeiten Ihres Unternehmens zu erweitern. Sie stellen eine Taxonomie bereit – ein Verzeichnis kuratierter Daten, das das Wissen und die Fähigkeiten enthält, die für Ihr Unternehmen am wichtigsten sind. Diese Taxonomie wird zur Generierung synthetischer Daten verwendet, mit denen das Modell in mehreren Phasen der Feinabstimmung trainiert wird. Dieser Prozess richtet Ihr LLM auf Ihre Ziele aus, indem er nicht nur allgemeines Wissen vermittelt, sondern auch die spezifischen Fähigkeiten und Kontexte, die für Ihre individuellen geschäftlichen Anforderungen am wichtigsten sind.

Erfahren Sie mehr über Red Hat AI Inference.

Was sind große Sprachmodelle?

Große Sprachmodelle (Large Language Models, LLMs) sind KI-Modelle, die mithilfe von Techniken des maschinellen Lernens menschliche Sprache generieren. Sie werden zunächst anhand großer Mengen allgemeiner Daten trainiert, wodurch sie natürliche Sprache verstehen und generieren können, und später dann weiter verfeinert, um sie an spezifischere Kontexte anzupassen. Beispielsweise kann ein Modell, das auf Allgemeinwissen trainiert wurde, mit Daten aus dem Einzelhandel feinabgestimmt werden, um einen Chatbot für den Kundenservice zu erstellen. Sie können LLMs für verschiedene Anwendungsfälle feinabstimmen, beispielsweise zum Verfassen von E-Mails, zum Zusammenfassen langer Textpassagen oder zum Auffinden von Fehlern im Code.

Auch wenn große Sprachmodelle (LLMs) Prozesse auf vielfältige Weise optimieren können, sollten Sie bedenken, dass ihre Fähigkeiten gewissen Grenzen unterliegen. Große Sprachmodelle (LLMs) arbeiten mit den Daten, die ihnen zur Verfügung gestellt werden. Sie könnten beispielsweise ein LLM nicht nach Ihrem Geburtstag fragen, da Ihre persönlichen Daten nicht Teil der Trainingsdaten sind. Ebenso wäre ein LLM allein nicht die beste Option, um die Zukunft einer Aktie vorherzusagen; in diesem Fall wäre der Einsatz eines Prognosemodells angemessener. Zudem sind LLMs an sich statisch und nicht in der Lage, mit ihrer Umgebung zu interagieren. Aufgaben wie die Angabe der Uhrzeit oder des Datums würden eher agentische Abläufe oder Frameworks erfordern.

Eine ausführlichere Erläuterung zu LLMs und ihrer Funktionsweise finden Sie unter Was sind LLMs?

Was ist Inferenz?

Inferenz ist der Prozess, bei dem ein trainiertes KI-Modell verwendet wird, um Antworten zu generieren, Vorhersagen zu treffen oder Eingaben zu verarbeiten. Red Hat AI Inference bietet sofortigen Zugriff auf Basismodelle über branchenübliche OpenAI-compatible-APIs. Dadurch entfällt die Komplexität bei der Bereitstellung und Skalierung von KI-Modellen, sodass Sie sich darauf konzentrieren können, Mehrwert für Ihre Nutzer zu schaffen.

Inference löst die Herausforderung der Integration von KI-Funktionen in Ihre Anwendungen durch folgende Funktionen:

Produktionsreife APIs: Verwenden Sie vertraute, branchenübliche Endpunkte, um mit Basis-Modellen zu interagieren, ohne die Infrastruktur verwalten zu müssen.
Sofortiger Zugriff auf Modelle: Beginnen Sie mit der Entwicklung KI-gestützter Funktionen, ohne auf die Bereitstellung oder das Training von Modellen warten zu müssen.
Flexible Integration: Binden Sie dialogorientierte KI programmgesteuert in bestehende Systeme ein, bewältigen Sie hohe Anfragemengen und passen Sie das Modellverhalten an Ihre spezifischen Anwendungsfälle an.
Interaktive Tests: Probieren Sie verschiedene Modelle und Eingabeaufforderungen im Console Playground aus, bevor Sie diese in Ihre Anwendungen integrieren.

Weitere Informationen zur Inferenz finden Sie unter KI-Inferenz – vereinfacht und erklärt.

Weitere Informationen zur Inferenz finden Sie unter Arbeiten mit Chat-Vervollständigungen.

So funktioniert die Inferenz

Inference bietet über einen einfachen Arbeitsablauf sofortigen Zugriff auf Grundmodelle:

Schritt 1. Authentifizieren: Nachdem Sie ein Red Hat AI Inference-Projekt erstellt haben, verwenden Sie ein Bearer-Token oder einen IBM Cloud-API-Schlüssel, um sicher auf die Inferenzfunktionen Ihres Projekts zuzugreifen.
Schritt 2. Modell auswählen: Wählen Sie aus den verfügbaren Basismodellen entsprechend den Anforderungen Ihres Anwendungsfalls aus, beispielsweise hinsichtlich Antwortqualität, Geschwindigkeit oder Kosten.
Schritt 3. Anfragen senden: Verwenden Sie branchenübliche OpenAI-compatible-APIs, um Nachrichten an das Modell zu senden und von der KI generierte Antworten zu erhalten. Sie können das Modellverhalten mithilfe von Systemaufforderungen anpassen und Parameter wie Zufälligkeit und Antwortgrenzen einstellen.
Schritt 4. Antworten integrieren: Integrieren Sie die Antworten des Modells in Ihre Anwendungsworkflows, sei es für dialogorientierte Schnittstellen, die Erstellung von Inhalten oder Aufgaben der natürlichen Sprachverarbeitung.

Sie können Ihre Interaktionen im Console Playground testen und optimieren, bevor Sie sie in Produktionsanwendungen integrieren. Ausführliche Beispiele finden Sie unter Arbeiten mit Chat-Vervollständigungen.

Was ist Einbettung?

Bei der Text-Einbettung handelt es sich um eine Methode, Text als numerischen Vektor darzustellen – eine Liste von Zahlen, die die semantische Bedeutung eines Satzes oder einer Passage erfasst. Durch die Umwandlung von Text in diese Vektoren kann das Modell Vergleiche und Gruppierungen auf der Grundlage von Bedeutungen statt exakter Wörter vornehmen – etwas, das Computer schnell und präzise erledigen können.

Wenn ein Einbettungsmodell einen Vektor für einen Textabschnitt generiert, weist es diesem Werte zu, die die Bedeutung des Textes widerspiegeln, und positioniert den Vektor in einem mehrdimensionalen Raum relativ zu allen anderen Vektoren. Texte mit ähnlicher Bedeutung werden in diesem Raum näher beieinander platziert, während Texte mit unterschiedlicher Bedeutung weiter voneinander entfernt angeordnet werden. Beispielsweise würden zwei Sätze zum gleichen Thema – selbst wenn sie unterschiedliche Wörter verwenden – Vektoren erzeugen, die nahe beieinander liegen, während Sätze mit nicht miteinander in Zusammenhang stehenden Themen Vektoren erzeugen würden, die weit voneinander entfernt sind.

Sie können generierte Vektoren in einer Vektordatenbank speichern. Wenn für alle Inhalte in der Datenbank dasselbe Einbettungsmodell zur Erzeugung von Vektoren verwendet wird, kann der Vektorspeicher die Beziehungen zwischen den Vektoren nutzen, um schnell relevante Ergebnisse zu liefern. Im Gegensatz zur herkömmlichen, auf Schlüsselwörtern basierenden Suche liefert die semantische Suche mithilfe von Embeddings Informationen, die nicht nur im Wortschatz, sondern auch in der Bedeutung ähnlich sind. Dies führt zu besseren Ergebnissen in Fällen, in denen Nutzer ihre Suchanfragen anders formulieren als im Ausgangstext.

Zu den gängigen Anwendungsbereichen für Text-Embeddings gehören:

Semantische Suche und Informationsgewinnung
Clusterbildung und Klassifizierung von Dokumenten
Retrieval-Augmented Generation (RAG), bei der abgerufene Inhalte an ein Sprachmodell weitergeleitet werden, um fundierte Antworten zu generieren

So funktioniert die Einbettung

Die Einbettung in Red Hat AI Inference erfolgt nach einem einfachen Arbeitsablauf:

Schritt 1. Authentifizieren: Verwenden Sie ein Bearer-Token oder einen API-Schlüssel für IBM Cloud, um sicher auf die Einbettungsfunktionen Ihres Projekts zuzugreifen.
Schritt 2. Modell auswählen: Wählen Sie je nach Anwendungsfall ein Einbettungsmodell aus. Das Modell granite-embedding-278m-multilingual ist verfügbar und unterstützt mehrere Sprachen.
Schritt 3. Eingabetext senden: Verwenden Sie die Embeddings-API, um eine oder mehrere Texteingaben zu übermitteln. Das Modell gibt für jede Eingabe eine Vektordarstellung zurück – eine Liste von Gleitkommazahlen, die den semantischen Inhalt des Textes kodiert.
Schritt 4. Verwenden Sie die Vektorgrafiken: Speichern Sie die generierten Vektoren in einer Vektordatenbank, nutzen Sie sie für die semantische Suche oder integrieren Sie sie in eine RAG-Pipeline, um Modellantworten auf Ihre eigenen Daten abzustützen.

Verwenden Sie für die Vektorspeicherung IBM Cloud Databases for Elasticsearch oder IBM watsonx.data.

Eine Schritt-für-Schritt-Anleitung finden Sie unter Verbesserung der Chat-Vervollständigungen mit Vektor-Einbettungen und RAG.

Warum Red Hat AI auf IBM Cloud?

Red Hat AI on IBM Cloud bietet umfassende KI-Funktionen, die sowohl unmittelbare Integrationsanforderungen als auch langfristige Anpassungsbedürfnisse erfüllen.

Sofortige KI-Integration mit Inferenz: Beginnen Sie sofort mit der Entwicklung KI-gestützter Funktionen, ohne sich um die Infrastruktur kümmern zu müssen. Nutzen Sie produktionsreife APIs, um dialogorientierte KI zu integrieren, das Modellverhalten zu testen und Ihre Anwendungen entsprechend Ihren geschäftlichen Anforderungen zu skalieren.
Flexible Bereitstellungsoptionen: Sie haben die Kontrolle über Ihre Daten und Ihre Modelle. Nutzen Sie sie in der Cloud, vor Ort oder überall dort, wo Ihr Unternehmen sie benötigt. Nutzen Sie einzigartige Geschäftsdaten, um durch die Entwicklung KI-gestützter Lösungen Effizienzsteigerungen zu erzielen und Innovationen voranzutreiben.
Das Risiko eines katastrophalen Gedächtnisverlusts minimieren: Um eine höhere Genauigkeit zu erzielen und Risiken zu minimieren, dienen integrierte Modelle des Granite als Grundlage für das Erlernen neuer Fähigkeiten und Kenntnisse. Bereits erlernte Informationen gehen nicht verloren, wenn die Modelle neue Informationen erlernen.
Kostengünstig und skalierbar: Da Red Hat AI auf IBM Cloud als Service verfügbar ist, können Sie unnötige Kosten reduzieren, indem Sie nur für das bezahlen, was Sie tatsächlich benötigen. Optimieren Sie Ihre IT-Ausgaben durch einfachere, schnellere und kostengünstigere KI-Lösungen.
Branchenübliche APIs: Nutzen Sie die bekannten Endpunkte von OpenAI-compatible, um KI-Funktionen in Ihre bestehenden Arbeitsabläufe und Anwendungen zu integrieren, ohne sich in proprietäre Schnittstellen einarbeiten zu müssen.

Wie funktioniert die Abrechnung?

Weitere Informationen zur Abrechnung finden Sie unter Häufig gestellte Fragen.