Modelle auflisten

Erfahren Sie, welche Basismodelle in Ihrem Projekt verfügbar sind, und machen Sie sich mit deren Funktionen vertraut, damit Sie das für Ihren spezifischen Anwendungsfall am besten geeignete Modell auswählen und hinsichtlich Faktoren wie Antwortqualität, Geschwindigkeit oder Kosten optimieren können.

Vorbereitende Schritte

Erstellen Sie ein Pay-As-You-Go- oder Abonnement- IBM Cloud-Konto. Testkonten werden nicht unterstützt. Weitere Informationen oder Anleitungen zum Upgrade Ihres Kontos finden Sie unter Kontotypen.
Erstellen Sie ein Red Hat AI Inference-Projekt.
Stellen Sie sicher, dass Sie über die Rolle Writer oder höher im Dienst Red Hat AI Inference verfügen. Weitere Informationen finden Sie unter Verwalten des IAM-Zugriffs.

Vorbereitende Schritte

Erstellen Sie ein Pay-As-You-Go- oder Abonnement- IBM Cloud-Konto. Testkonten werden nicht unterstützt. Weitere Informationen oder Anleitungen zum Upgrade Ihres Kontos finden Sie unter Kontotypen.
Erstellen Sie ein Red Hat AI Inference-Projekt.
Stellen Sie sicher, dass Sie über die Rolle Writer oder höher im Dienst Red Hat AI Inference verfügen. Weitere Informationen finden Sie unter Verwalten des IAM-Zugriffs.
Bei der API authentifizieren.
Rufen Sie Ihren API-Endpunkt ab. Alle API-Anfragen verwenden das folgende Basisformat URL:
```
https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference
```
Ersetzen Sie <project_id> durch Ihre Projekt-ID. Um diese zu finden, rufen Sie Red Hat AI Inference-Projekte auf und öffnen Sie Ihr Projekt.

Modelle mithilfe der Konsole auflisten

Die Konsole bietet eine interaktive Testumgebung, in der Sie mit verschiedenen Modellen experimentieren, Eingabeaufforderungen testen und Ihre KI-Interaktionen verfeinern können, bevor Sie diese in Ihre Anwendungen integrieren.

Der Playground unterstützt keine Einbettungen. Verwenden Sie die API, um Einbettungen zu erstellen.

Öffnen Sie in der Konsole den Dienst Red Hat AI Inference.
Klicken Sie auf Modellkatalog, um die verfügbaren Modelle zu erkunden.

Modelle mithilfe der API auflisten

Das folgende Beispiel zeigt, wie Modelle aufgelistet werden. Eine vollständige Liste der verfügbaren Parameter finden Sie unter OpenAI-List-Modelle.

curl -L 'https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference/models' \
-H 'Accept: application/json' -H "Authorization: Bearer <bearer_token>"

from openai import OpenAI
client = OpenAI(
  api_key="<bearer_token>",
  base_url="https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference",
)
models = client.models.list()
print(models)

Wenn in true der Modellantwort enthalten supports_embeddings ist, kann das Modell zur Erstellung von Embeddings verwendet werden.

Ein Modell anhand der ID über die API abrufen

Durch das Abrufen detaillierter Informationen zu einem bestimmten Modell können Sie dessen Eigenschaften, Funktionen und Einschränkungen besser verstehen, bevor Sie es in Ihrer Anwendung einsetzen.

Das folgende Beispiel zeigt, wie man ein Modell anhand seiner ID abruft. Eine vollständige Liste der verfügbaren Parameter finden Sie unter Modell abrufen.

curl -L 'https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference/models/<model>' \
-H 'Accept: application/json' -H "Authorization: Bearer <bearer_token>"

from openai import OpenAI
client = OpenAI(
  api_key="<bearer_token>",
  base_url="https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference",
)
model = client.models.retrieve("<model>")  # for example, "granite-4-0-h-small"
print(model)

Wenn in true der Modellantwort enthalten supports_embeddings ist, kann das Modell zur Erstellung von Embeddings verwendet werden.