Wie funktioniert die Abrechnung?

Für die Nutzung von Red Hat AI Inference fallen Kosten an. Wenn Sie die Modellausrichtung nutzen, fallen zusätzlich Kosten für IBM Cloud® Object Storage an, das als Speicherort dient.

Wenn Sie Ihr Modell auf einem anderen Dienst bereitstellen, fallen zusätzliche Gebühren für diesen Dienst an.

Wie werden die Kosten in Red Hat AI Inference berechnet?

Die Kosten für die Nutzung von Red Hat AI Inference basieren auf Kennzahlen, die in Tokens gemessen werden. Jedes Token entspricht einer bestimmten Rechenleistung, die für die Verarbeitungsaufgaben erforderlich ist. Die Gesamtzahl der verbrauchten Token wirkt sich direkt auf den Umfang der Datengenerierung, der Modelloptimierung oder der Inferenz aus. Diese Kennzahl dient als Grundlage für unser Abrechnungssystem und ermöglicht es den Nutzern, ihre Kosten entsprechend der genutzten Rechenressourcen zu überwachen und zu steuern.

Generierung synthetischer Daten (SDG)

Ausgabe-Token (SYN-DATA-TOKEN) werden anhand des Volumens der vom Dienst aus der gesamten Eingabe-Taxonomie erzeugten Daten berechnet. Der Text wird mithilfe der Tokenizer-Bibliothek von Hugging Face unter Verwendung der Tokenisierungsinformationen für das Mistral-Teacher-Modell tokenisiert.

Schulung zur Modellanpassung

Input-Token (MODEL-TRAIN-TOKEN) werden auf der Grundlage der Datenmenge berechnet, die dem System für das Training der Modellausrichtung zugeführt wird, sowie auf der Grundlage des Basiswissens von Granite, das zur Steigerung der Genauigkeit ohne Wissensverlust verwendet wird. Aufgrund des zugrunde liegenden Fachwissens fallen nur minimale Kosten an.

Inferenz mit einem Modell

Die Inferenzkosten werden modellbezogen separat für Eingabe- und Ausgabetoken berechnet. Eingabetoken stellen Ihre an das Modell gesendete Eingabe oder Abfrage dar, während Ausgabetoken die vom Modell generierte Antwort darstellen. Jedes Modell verfügt über eine eigene Preisstruktur, die sich nach seiner Größe und den Rechenanforderungen richtet.

Wie kann ich während des Trainings eines Modells Kosteninformationen abrufen und nachverfolgen?

1. Bevor Sie etwas in Red Hat AI Inference ausführen, können Sie den Kostenrechner nutzen, um eine Schätzung der voraussichtlichen Kosten zu erhalten.

2. Laden Sie Ihre Taxonomie hoch

3. Wenn Sie die Details für die Datengenerierung festlegen, überprüfen Sie die geschätzten Kosten, bevor Sie den Auftrag starten.

4. Nachdem die Daten generiert wurden, können Sie in den Details zu dieser Datengenerierung auch die geschätzten Ausgabetoken einsehen.

5. Bevor Sie mit der Schulung beginnen, sollten Sie die geschätzten Kosten überprüfen, sobald Sie die Details für den Schulungsauftrag festgelegt haben.

6. Sobald die Aufträge abgeschlossen sind, können Sie die tatsächlichen Kosten unter Abrechnung und Nutzung einsehen. Sie können die Kosten sowohl für Red Hat AI Inference als auch für den Dienst IBM Cloud® Object Storage einsehen, der als Speicherort genutzt wird.

Werden fehlgeschlagene Vorgänge in Rechnung gestellt?

Fehlgeschlagene Vorgänge werden nicht in Rechnung gestellt. Sowohl erfolgreich ausgeführte Vorgänge als auch vom Benutzer abgebrochene Vorgänge werden in Rechnung gestellt, wobei vom Benutzer abgebrochene Vorgänge anteilig auf der Grundlage der bereits abgeschlossenen Verarbeitung abgerechnet werden.