Einführung in Red Hat AI Inference on IBM Cloud

Sind Sie bereit, künstliche Intelligenz (KI) in Ihren Anwendungen einzusetzen? In diesem Tutorial erfahren Sie, wie Sie mit Foundation-Modellen Inferenzberechnungen durchführen und KI-gestützte Antworten generieren. In nur 15 Minuten können Sie bereits mit einem großen Sprachmodell chatten und dialogorientierte KI in Ihre Arbeitsabläufe integrieren.

Red Hat® AI Inference on IBM Cloud® ist eine unternehmensgerechte, private und sichere generative KI-Lösung, die auf der KI von Red Hat OpenShift basiert. Dieses Tutorial konzentriert sich darauf, Ihnen den Einstieg in die Inferenz zur Interaktion mit Foundation-Modellen zu erleichtern – der schnellste Weg, um mit KI zu arbeiten.

Ergebnisse

In diesem Tutorial führen Sie die folgenden Aufgaben durch:

Richten Sie Ihr IBM Cloud-Konto und Ihr Projekt ein.
Authentifizieren Sie sich bei der Inferenz-API.
Erstellen Sie Ihre erste Chat-Antwort mithilfe eines Grundmodells.
Erfahren Sie mehr über die nächsten Schritte zur Anpassung von Modellen mit Ihren eigenen Daten.

Vorbereitende Schritte

Stellen Sie sicher, dass Sie Folgendes haben:

Ein Pay-As-You-Go- oder Abonnement- IBM Cloud-Konto. Testkonten werden nicht unterstützt. Weitere Informationen oder Anleitungen zum Upgrade Ihres Kontos finden Sie unter Kontotypen.
Ein Projekt von Red Hat AI Inference.
Die Rolle Writer oder höher im Dienst Red Hat AI Inference. Weitere Informationen finden Sie unter Verwalten des IAM-Zugriffs.

Rufen Sie Ihre Projekt-ID und Ihren API-Endpunkt ab

Ihre Projekt-ID ist für alle API-Anfragen erforderlich.

Zu den Red Hat AI Inference-Projekten.
Öffnen Sie Ihr Projekt.
Kopieren Sie Ihre Projekt-ID und bewahren Sie sie für die nächsten Schritte auf.

API-Endpunkt

Alle API-Anfragen verwenden das folgende Basisformat URL:

https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference

Ersetzen Sie <project_id> durch Ihre Projekt-ID.

Bei der API authentifizieren

Bevor Sie mit Foundation-Modellen interagieren können, müssen Sie Ihre API-Anfragen authentifizieren. Sie können entweder ein Bearer-Token oder einen IBM Cloud-API-Schlüssel verwenden. Dieses Tutorial zeigt, wie Sie eine Service-ID zusammen mit einem API-Schlüssel für den programmatischen Zugriff verwenden. Weitere Informationen zur Verwendung eines Bearer-Tokens finden Sie unter Authentifizierung mithilfe eines Bearer-Tokens.

Erstellen einer Service-ID und eines API-Schlüssels

Eine Service-ID verwaltet den Zugriff für Anwendungen und automatisierte Workflows. Wenn Sie eine Service-ID direkt in Ihrem Projekt erstellen, wird automatisch die Zugriffsrolle Writer-Service zugewiesen, sodass Sie Chat-Vervollständigungen erstellen können.

Rufen Sie die Projektseite Red Hat AI Inference auf und wählen Sie Ihr Projekt aus.
Klicken Sie im Abschnitt „ Verwendung der API “ auf „ API-Schlüssel erstellen “.
Klicken Sie auf Weiter und wählen Sie Nur dieses Projekt, um den Zugriff auf das aktuelle Projekt zu beschränken.
Klicken Sie auf Erstellen.
Kopieren Sie den API-Schlüssel und bewahren Sie ihn sicher auf. Der Wert des API-Schlüssels kann nach dem Schließen des Dialogfelds nicht erneut angezeigt werden.

Sie können diesen API-Schlüssel nun zur Authentifizierung Ihrer Anfragen verwenden. Im nächsten Schritt verwenden Sie diesen Schlüssel im Header Authorization: Bearer Ihrer API-Aufrufe.

Verfügbare Modelle entdecken

Verschiedene Basismodelle haben unterschiedliche Stärken, daher ist es wichtig, die in Ihrem Projekt verfügbaren Modelle zu prüfen.

Führen Sie den folgenden API-Aufruf aus, um alle verfügbaren Modelle aufzulisten. Ersetzen Sie <project_id> durch Ihre Projekt-ID und <api_key> durch Ihren API-Schlüssel für den Dienst:

curl -L 'https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference/models' \
  -H 'Accept: application/json' \
  -H "Authorization: Bearer <api_key>"

from openai import OpenAI
client = OpenAI(
  api_key="<api_key>",
  base_url="https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference",
)
models = client.models.list()
print(models)

Die Antwort zeigt Ihnen alle Modelle, die Sie verwenden können, sowie Informationen zu deren Funktionen. Sie können mit verschiedenen Modellen experimentieren, um dasjenige zu finden, das am besten zu Ihrem Anwendungsfall passt.

Erstellen Sie Ihre erste Chat-Antwort

Senden Sie nun eine Nachricht an das Modell und erhalten Sie eine von der KI generierte Antwort.

Führen Sie den folgenden API-Aufruf durch und ersetzen Sie dabei <project_id> durch Ihre Projekt-ID und <api_key> durch Ihren API-Schlüssel für den Dienst:

curl https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer <api_key>" \
  -d '{
    "model": "granite-4-0-h-small",
    "messages": [
      {
        "role": "developer",
        "content": "You are a helpful assistant"
      },
      {
        "role": "user",
        "content": "Hello! Tell me about yourself"
      }
    ]
  }'

from openai import OpenAI
client = OpenAI(
  api_key="<api_key>",
  base_url="https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference",
)
completion = client.chat.completions.create(
  model="granite-4-0-h-small",
  messages=[
    {"role": "developer", "content": "You are a helpful assistant."},
    {"role": "user", "content": "Hello! Tell me about yourself"}
  ]
)
print(completion.choices[0].message)

Sie sollten eine Antwort vom Modell erhalten, in der es sich vorstellt.

Die Anfrage verstehen

Lassen Sie uns einmal analysieren, was Sie gerade getan haben:

Modell: Sie haben angegeben granite-4-0-h-small, eines der verfügbaren Basismodelle. Verschiedene Modelle weisen unterschiedliche Funktionen und Leistungsmerkmale auf.
Nachrichten: Sie haben zwei Nachrichten bereitgestellt. Eine davon war eine Entwickleranweisung, die die Systemaufforderung festlegte und dem Modell das Verhalten vorgab. Die Benutzernachricht enthielt Ihre konkrete Frage, die das Modell beantworten sollte.
API-Endpunkt: Die Anfrage wurde an den Inferenz-Endpunkt Ihres Projekts gesendet, der die Weiterleitung an das entsprechende Modell übernimmt.

Sie können das Verhalten des Modells anpassen, indem Sie die Systemaufforderung ändern, weitere Meldungen hinzufügen oder für verschiedene Anwendungsfälle unterschiedliche Modelle verwenden.

Nächste Schritte

Nachdem Sie nun erfolgreich mit der Inferenz begonnen haben, können Sie als Nächstes Folgendes tun:

Weiter mit der Schlussfolgerung

Erfahren Sie mehr über Inferenz, um erweiterte Funktionen wie Streaming-Antworten, die Anpassung von Modellparametern und die Verwaltung des Konversationsverlaufs zu entdecken.
In der Dokumentation zur OpenAI-Chat-Completion-API finden Sie eine vollständige API-Referenz.
Integrieren Sie die Inferenz mithilfe des Python-SDKs oder anderer Programmiersprachen in Ihre Anwendungen.