Daten mithilfe der Konsole generieren

1. Öffnen Sie in der Konsole den Dienst Red Hat AI Inference.

2. Klicken Sie auf Red Hat AI Inference-Projekte > Ihr Projekt > Trainingsdaten > Generieren.

3. Geben Sie einen alphanumerischen Namen für die Trainingsdaten ein und wählen Sie die zu verwendende Taxonomie aus.

4. Optional: Überprüfen Sie die angegebene Kostenschätzung, bevor Sie mit der Datengenerierung beginnen.

5. Klicken Sie auf Generieren. Der Zustand ist queued, dann running.

6. Warten Sie, bis der Status … ist completed. Nach Abschluss der Datengenerierung wird ein Verzeichnis synthetic_data mit Protokolldateien im Object Storage-Bucket erstellt. Sie können diese Protokolle zur Fehlerbehebung oder Überprüfung einsehen.

Eigene Trainingsdaten in die Konsole importieren

Sie können Ihre eigenen, zuvor generierten Daten importieren, um die Datengenerierung in Red Hat AI Inference zu ergänzen. Möglicherweise möchten Sie Ihre eigenen Daten importieren, wenn Sie eine oder mehrere der folgenden Aufgaben ausführen müssen.

• Importieren Sie bei der Datengenerierung ein oder mehrere Dokumente zu Kenntnissen und Fähigkeiten.
• Führen Sie mehrere Trainingsdurchläufe zu einem zusammen.
• Generieren Sie Daten, laden Sie diese herunter, bearbeiten Sie anschließend einen Teil Ihrer Daten und generieren Sie die Daten erneut.
• Kombinieren Sie Ihre zuvor generierten Daten mit neu importierten Daten.
• Daten importieren, Trainingsdaten generieren und diese Daten anschließend mit einem weiteren Datengenerierungslauf kombinieren.
• Kombinieren Sie den Wiedergabepuffer mit importierten Daten aus Ihrer Taxonomie. Diese Funktion ist ausschließlich über die API oder die CLI verfügbar.
• Importieren Sie Daten und generieren Sie Trainingsdaten aus Ihrer Taxonomie. Diese Funktion ist ausschließlich über die API oder die CLI verfügbar.

Um Ihre eigenen Daten zu importieren, können Sie auf frühere Datengenerierungsläufe zurückgreifen, Dateien aus Ihrem Object Storage-Bucket importieren oder Dateien von Ihrem lokalen Rechner hochladen.

Führen Sie die folgenden Schritte aus, um Ihre eigenen Trainingsdaten zu importieren.

1. Öffnen Sie in der Konsole den Dienst Red Hat AI Inference.

2. Klicken Sie auf Red Hat AI Inference-Projekte > Ihr Projekt > Trainingsdaten > Importieren.

3. Geben Sie einen alphanumerischen Namen für Ihre Daten ein.

4. Wählen Sie eine der folgenden Optionen aus.

   • Object Storage: Wählen Sie vorhandene Dateien in Ihrem Object Storage-Bucket aus.

     1. Wählen Sie die Instanz und den Bucket aus, in denen Ihre vorhandenen Daten gespeichert sind.
     2. Klicken Sie auf Weiter.
     3. Wählen Sie die Dateien aus, die Sie importieren möchten.

   • Dateien hochladen: Wählen Sie Dateien von Ihrem lokalen Rechner aus. Bitte beachten Sie, dass für das Hochladen von Dateien eine Obergrenze von 40 MB gilt.

     1. Wählen Sie eine Object Storage-Instanz und einen Bucket aus oder erstellen Sie eine neue Instanz und einen neuen Bucket, um Ihre Daten zu speichern.
     2. Erteilen Sie dem Bucket die Berechtigung Red Hat AI Inference-Writer.
     3. Optional: Speichereinstellungen. Geben Sie die folgenden zusätzlichen Details zur Speicherung Ihrer Daten an.
        • Dateipfad im Bucket.
        • Verzeichnis innerhalb des Buckets.
        • Object Storage Instanzname.
        • Ressourcengruppe.
        • Object Storage Bucket-Name.
        • Ausfallsicherheit von Buckets.
     4. Klicken Sie auf Weiter.
     5. Wählen Sie die Wissens- und Kompetenzdateien aus, die Sie von Ihrem lokalen Rechner hochladen möchten.

5. Klicken Sie auf Importieren.

Zusammenführen von Trainingsdaten in der Konsole

Sie sollten Daten in kleineren, überschaubaren Einheiten generieren, um Zeitüberschreitungen oder Systemgrenzen zu vermeiden. Anschließend können Sie diese kleineren Datensätze zu einem einzigen Datensatz für das Training zusammenführen.

Führen Sie die folgenden Schritte aus, um Daten in der Konsole zusammenzuführen.

1. Öffnen Sie in der Konsole den Dienst Red Hat AI Inference.

2. Klicken Sie auf Red Hat AI Inference-Projekte > Ihr Projekt > Trainingsdaten.

3. Wählen Sie bis zu 20 Ihrer Trainingsdateneinträge aus der Liste aus und klicken Sie auf Zusammenführen.

4. Geben Sie einen alphanumerischen Namen für Ihre Daten ein.

5. Wählen Sie die Object Storage-Instanz und den Bucket aus, in dem Sie die zusammengeführten Daten speichern möchten.

6. Klicken Sie auf Erstellen.

Daten mithilfe der CLI generieren

1. Listen Sie Ihre Taxonomien auf und vermerken Sie die Taxonomie, die Sie verwenden möchten.

   ibmcloud ilab taxonomy list
   

   Beispielausgabe.

   id                         name       taxonomy_path
   669a88c9488ee7b95ce8fe05   test-tax   taxonomy.tar.gz
   

2. Generieren Sie Daten aus Ihrer Taxonomie. Notieren Sie sich die ID der Daten, die Sie im nächsten Schritt verwenden werden. Verwenden Sie alphanumerische Zeichen im Namen.

   ibmcloud ilab data generate [--name NAME] [--taxonomy-id TAXONOMY-ID]
   

   Beispielbefehl.

   ibmcloud ilab data generate --name testdata --taxonomy-id 669a88c9488ee7b95ce8fe05
   

   Beispielausgabe.

   id            66a268c170dcb21150050e8e
   name          test-data
   state         queued
   status
   created_at    2024-07-19T15:40:29.000Z
   taxonomy_id   669a88c9488ee7b95ce8fe05
   

3. Überprüfen Sie die Details Ihrer Datengenerierung. Geben Sie die ID der Daten an. Der Zustand ist queued, dann running. Warten Sie, bis der Status … ist completed. Wenn der Status leer ist completed, wird im Object Storage-Bucket ein Verzeichnis synthetic_data mit Protokollen zur Fehlerbehebung erstellt.

   ibmcloud ilab data get --id DATA_ID
   

   Beispiel für einen data get-Befehl

   ibmcloud ilab data get --id 66a268c170dcb21150050e8e
   

   Beispielausgabe.

   id            66a268c170dcb21150050e8e
   name          test-data
   state         running
   status        Generating data for taxonomy path compositional_skills->STEM->math->area: 12% 12/100 (total qna processed 1/147)
   created_at    2024-07-19T15:40:29.000Z
   taxonomy_id   669a88c9488ee7b95ce8fe05
   

4. Optional: Wenn der Status ist completed, können Sie Kennzahlen wie Token-Schätzungen einsehen, um die voraussichtlichen Kosten zu berechnen.

   Beispielbefehl data get mit der Option --output json

   ibmcloud ilab data get --id 66a268c170dcb21150050e8e --output json
   

   Beispiel für eine JSON-Ausgabe

   {
     "created_at": "2026-08-04T15:40:29.000Z",
     "data_metrics": {
       "samples": {
         "knowledge": 30,
         "skills": 70,
         "total": 100
       },
       "tokens": {
         "data_leaf_nodes": {
           "compositional_<taxonomy_path>": 26196,
           "knowledge_<taxonomy_path>": 1228930,
           },
         "data_tokens_total": 5993486,
         "training_estimated": 411435913,
         "training_phases": {
           "phase_1_knowledge": 1389992,
           "phase_2_skills": 410045921
           }
       }
     },
     "id": "66a268c170dcb21150050e8e",
     "last_signal_at": "2026-08-04T17:20:32.000Z",
     "name": "test-data",
     "state": "completed",
     "status": "completed",
     "taxonomy_id": "669a88c9488ee7b95ce8fe05"
   }
   

Importieren eigener Trainingsdaten mithilfe der CLI

Möglicherweise möchten Sie aus einem oder mehreren der folgenden Gründe Ihre eigenen Daten importieren.

• Importieren Sie bei der Datengenerierung ein oder mehrere Dokumente zu Kenntnissen und Fähigkeiten.
• Führen Sie mehrere Trainingsdurchläufe zu einem zusammen.
• Generieren Sie Daten, laden Sie diese herunter, bearbeiten Sie anschließend einen Teil Ihrer Daten und generieren Sie die Daten erneut.
• Kombinieren Sie Ihre zuvor generierten Daten mit neu importierten Daten.
• Daten importieren, Trainingsdaten generieren und diese Daten anschließend mit einem weiteren Datengenerierungslauf kombinieren.
• Kombinieren Sie den Wiedergabepuffer mit importierten Daten aus Ihrer Taxonomie. Diese Funktion ist ausschließlich über die API oder die CLI verfügbar.
• Importieren Sie Daten und generieren Sie Trainingsdaten aus Ihrer Taxonomie. Diese Funktion ist ausschließlich über die API oder die CLI verfügbar.

Sie können Ihre eigenen Trainingsdaten importieren, um die Datengenerierung in Red Hat AI Inference zu ergänzen. Um Ihre eigenen, zuvor generierten Daten zu importieren, geben Sie eine oder mehrere der folgenden Optionen an:

• Die IDen der Datengenerierung aus früheren Durchläufen.
• Ein Object Storage-Bucket, der Dateien zu Wissen .jsonl und Fähigkeiten enthält.

Führen Sie die folgenden Schritte aus, um Ihre Daten zu importieren.

1. Listen Sie Ihre Taxonomien auf und vermerken Sie die Taxonomie, die Sie verwenden möchten.

   ibmcloud ilab taxonomy list
   

   Beispielausgabe.

   id                         name       taxonomy_path
   669a88c9488ee7b95ce8fe05   test-tax   taxonomy.tar.gz
   

2. Wenn Sie bereits Daten generiert haben, die Sie verwenden möchten, listen Sie diese auf und notieren Sie sich die UUIDs, die Sie verwenden möchten. Sie können bis zu 20 Datenquellen einbinden.

   ibmcloud ilab data list
   

3. Generieren Sie Daten aus Ihrer Taxonomie. Notieren Sie sich die ID der Daten, die Sie im nächsten Schritt verwenden werden. Verwenden Sie alphanumerische Zeichen im Namen.

   ibmcloud ilab data generate [--name NAME] [--taxonomy-id TAXONOMY-ID] [--internal-ids INTERNAL-IDs]
   

   Beispielbefehl zum Einbinden mehrerer interner IDs (Datenquellen) für die Datengenerierung.

   ibmcloud ilab data generate --name testdata --taxonomy-id 65005b67-7de4-4216-b23c-ed4342f99c88 --internal-ids 8c6b9224-a4f1-4649-907c-0f11d14cfc59,299ee20c-0b04-4d8e-ad12-a3d98feece40
   

Weitere Beispiele finden Sie im nächsten Abschnitt: Beispielbefehle zum Importieren eigener Trainingsdaten.

ibmcloud ilab data generate --name testdata --taxonomy-id 65005b67-7de4-4216-b23c-ed4342f99c88 --internal-ids 8c6b9224-a4f1-4649-907c-0f11d14cfc59,299ee20c-0b04-4d8e-ad12-a3d98feece40

ibmcloud ilab data generate \
  --name testdata \
  --taxonomy-id 669a88c9488ee7b95ce8fe05 \
  --internal-ids 8c6b9224-a4f1-4649-907c-0f11d14cfc59,299ee20c-0b04-4d8e-ad12-a3d98feece40 \
  --knowledge-paths PATH \
  --skills-paths PATH \
  --skills-knowledge-cos-bucket STRING \
  --skills-knowledge-cos-bucket-endpoint ENDPOINT

ibmcloud ilab data generate \
  --name testdata \
  --taxonomy-id 669a88c9488ee7b95ce8fe05 \
  --internal-ids 8c6b9224-a4f1-4649-907c-0f11d14cfc59 \
  --knowledge-paths PATH \
  --skills-paths PATH \
  --skills-knowledge-cos-bucket STRING \
  --skills-knowledge-cos-bucket-endpoint ENDPOINT
  --output-cos-bucket-string STRING \
  --output-cos-bucket-endpoint ENDPOINT

ibmcloud ilab data generate \
  --name testdata \
  --internal-ids 8c6b9224-a4f1-4649-907c-0f11d14cfc59,299ee20c-0b04-4d8e-ad12-a3d98feece40 \
  --output-cos-bucket-string STRING \
  --output-cos-bucket-endpoint ENDPOINT

ibmcloud ilab data generate \
  --name testdata \
  --internal-ids 8c6b9224-a4f1-4649-907c-0f11d14cfc59 \
  --knowledge-paths PATH \
  --skills-paths PATH \
  --skills-knowledge-cos-bucket STRING \
  --skills-knowledge-cos-bucket-endpoint ENDPOINT
  --output-cos-bucket-string STRING \
  --output-cos-bucket-endpoint ENDPOINT

ibmcloud ilab data generate \
  --name testdata \
  --knowledge-paths PATH \
  --skills-paths PATH \
  --skills-knowledge-cos-bucket STRING \
  --skills-knowledge-cos-bucket-endpoint ENDPOINT
  --output-cos-bucket-string STRING \
  --output-cos-bucket-endpoint ENDPOINT

Daten mithilfe der API generieren

1. Listen Sie Ihre Taxonomien auf und vermerken Sie die Taxonomie, die Sie verwenden möchten.

   Beispielbefehl.

   curl -X 'GET' \
   'https://us-east.instructlab.ibm.com/v1/taxonomies' \
   -H 'accept: application/json`
   

   Beispielausgabe.

   {
     "taxonomies": [
       {
         "id": "202a03c4-dcf1-432a-82b7-abecb2e019f7",
         "name": "example-taxonomy-name-1",
         "taxonomy_path_cos": "taxonomies/taxonomy.tar.gz",
         "created_at": "2024-10-23T02:58:50.000Z"
       }
     ]
   }
   

2. Generieren Sie Daten aus Ihrer Taxonomie. Notieren Sie sich die ID der Daten, die Sie im nächsten Schritt verwenden werden. Verwenden Sie alphanumerische Zeichen im Namen.

   Beispielbefehl.

   curl -X 'POST' \
     'https://us-east.instructlab.ibm.com/v1/data' \
     -H 'accept: application/json' \
     -H 'Content-Type: application/json' \
     -d '{
     "name": "example-data-1",
     "taxonomy_id": "202a03c4-dcf1-432a-82b7-abecb2e019f7"
   }'
   

   Beispielausgabe.

   {
     "id": "add785e6-a8c3-4f5f-ab89-c506a3f115da",
     "name": "example-data-1",
     "state": "",
     "status": "queued",
     "created_at": "2024-10-23T02:58:50.000Z",
     "last_signal_at": "2026-08-04T17:20:32.000Z",
     "taxonomy_id": "202a03c4-dcf1-432a-82b7-abecb2e019f7",
     "data_metrics": {
       "samples": {
         "additionalProp1": 1,
         "additionalProp2": 2,
         "additionalProp3": 3
       }
     }
   }
   

3. Überprüfen Sie die Details Ihrer Datengenerierung. Geben Sie die ID der Daten an. Der Zustand ist queued, dann running. Warten Sie, bis der Status … ist completed.

   Beispielbefehl.

   curl -X 'GET' \
     'https://us-east.instructlab.ibm.com/v1/data/add785e6-a8c3-4f5f-ab89-c506a3f115da' \
     -H 'accept: application/json'
   

   Beispielausgabe.

   {
     "id": "add785e6-a8c3-4f5f-ab89-c506a3f115da",
     "name": "example-data-1",
     "state": "",
     "status": "queued",
     "created_at": "2024-10-23T02:58:50.000Z",
     "last_signal_at": "2026-08-04T17:20:32.000Z",
     "taxonomy_id": "202a03c4-dcf1-432a-82b7-abecb2e019f7",
     "data_metrics": {
       "samples": {
         "additionalProp1": 1,
         "additionalProp2": 2,
         "additionalProp3": 3
       }
     }
   }
   

Wenn der Status leer ist completed, wird im Object Storage-Bucket ein Verzeichnis synthetic_data mit Protokollen zur Fehlerbehebung erstellt.