Génération de données à l'aide de la console

1. Dans la console, ouvrez le service Red Hat AI Inference.

2. Cliquez sur Inférence d'IA Red Hat Projects > votre projet > Données d'entraînement > Générer.

3. Saisissez un nom alphanumérique pour les données d'entraînement et sélectionnez la taxonomie à utiliser.

4. Facultatif : vérifiez le coût estimé qui vous est fourni avant de lancer le processus de génération des données.

5. Cliquez sur Générer. L'état est queued, puis running.

6. Attendez que l'état soit completed. Une fois la génération des données terminée, un répertoire synthetic_data contenant les fichiers journaux est créé dans le compartiment Object Storage. Vous pouvez consulter ces journaux à des fins de dépannage ou de vérification.

Importation de vos propres données d'entraînement dans la console

Vous pouvez importer vos propres données générées précédemment pour compléter la génération de données dans l' Inférence d'IA Red Hat. Vous pouvez importer vos propres données si vous devez effectuer l'une ou plusieurs des opérations suivantes.

• Importez un ou plusieurs documents relatifs aux connaissances et aux compétences lors de la génération de données.
• Regroupez plusieurs séries de données d'entraînement en une seule.
• Générez des données, téléchargez-les, puis manipulez une partie de vos données et régénérez-les.
• Combinez vos données générées précédemment avec les données nouvellement importées.
• Importez des données, générez des données d'entraînement, puis combinez ces données avec celles issues d'un autre cycle de génération de données.
• Combinez le tampon de relecture et les données importées depuis votre taxonomie. Cette fonctionnalité est disponible uniquement via l'API ou l'interface de ligne de commande (CLI).
• Importez des données et générez des données d'entraînement à partir de votre taxonomie. Cette fonctionnalité est disponible uniquement via l'API ou l'interface de ligne de commande (CLI).

Pour importer vos propres données, vous pouvez vous référer à des exécutions précédentes de génération de données, importer des fichiers depuis votre compartiment Object Storage ou télécharger des fichiers depuis votre ordinateur local.

Suivez les étapes suivantes pour importer vos propres données d'entraînement.

1. Dans la console, ouvrez le service Red Hat AI Inference.

2. Cliquez sur Inférence d'IA Red Hat Projects > votre projet > Données d'entraînement > Importer.

3. Saisissez un nom alphanumérique pour vos données.

4. Sélectionnez l'une des options suivantes.

   • Object Storage: sélectionnez des fichiers existants dans votre compartiment Object Storage.

     1. Sélectionnez l'instance et le compartiment dans lesquels vos données existantes sont stockées.
     2. Cliquez sur Suivant.
     3. Sélectionnez les fichiers que vous souhaitez importer.

   • Télécharger des fichiers: Sélectionnez des fichiers sur votre ordinateur. Veuillez noter que la taille maximale des fichiers à télécharger est limitée à 40 Mo.

     1. Sélectionnez une instance et un compartiment d' Object Storage, ou créez une nouvelle instance et un nouveau compartiment pour stocker vos données.
     2. Accorder les autorisations Inférence d'IA Red Hat Writer pour le compartiment.
     3. Facultatif: paramètres de stockage. Précisez les détails supplémentaires suivants concernant le stockage de vos données.
        • Chemin d'accès au fichier dans le compartiment.
        • Répertoire situé dans le compartiment.
        • Object Storage nom de l'instance.
        • Groupe de ressources.
        • Object Storage nom du compartiment.
        • Résilience des buckets.
     4. Cliquez sur Suivant.
     5. Sélectionnez les fichiers de connaissances et de compétences que vous souhaitez importer depuis votre ordinateur local.

5. Cliquez sur Import.

Fusionner les données de formation dans la console

Vous pouvez générer des données par petits blocs faciles à gérer, afin d'éviter les délais d'expiration ou les limites du système. Vous pouvez ensuite fusionner ces petits ensembles de données en un seul ensemble de données à des fins d'entraînement.

Suivez les étapes suivantes pour fusionner des données dans la console.

1. Dans la console, ouvrez le service Red Hat AI Inference.

2. Cliquez sur Inférence d'IA Red Hat Projects > votre projet > Données d'entraînement.

3. Sélectionnez jusqu'à 20 entrées de vos données d'entraînement dans la liste, puis cliquez sur Fusionner.

4. Saisissez un nom alphanumérique pour vos données.

5. Sélectionnez l'instance d' Object Storage et le compartiment dans lesquels vous souhaitez stocker les données fusionnées.

6. Cliquez sur Créer.

Génération de données à l'aide de l'interface de ligne de commande (CLI)

1. Répertoriez vos taxonomies et notez celle que vous souhaitez utiliser.

   ibmcloud ilab taxonomy list
   

   Exemple de sortie.

   id                         name       taxonomy_path
   669a88c9488ee7b95ce8fe05   test-tax   taxonomy.tar.gz
   

2. Générez des données à partir de votre taxonomie. Notez l'identifiant des données à utiliser à l'étape suivante. Utilisez des caractères alphanumériques dans le nom.

   ibmcloud ilab data generate [--name NAME] [--taxonomy-id TAXONOMY-ID]
   

   Exemple de commande.

   ibmcloud ilab data generate --name testdata --taxonomy-id 669a88c9488ee7b95ce8fe05
   

   Exemple de sortie.

   id            66a268c170dcb21150050e8e
   name          test-data
   state         queued
   status
   created_at    2024-07-19T15:40:29.000Z
   taxonomy_id   669a88c9488ee7b95ce8fe05
   

3. Vérifiez les détails relatifs à la génération de vos données. Indiquez l'identifiant des données. L'état est queued, puis running. Attendez que l'état soit completed. Lorsque l'état est completed, dans le compartiment Object Storage, un répertoire synthetic_data est créé contenant les journaux destinés au dépannage.

   ibmcloud ilab data get --id DATA_ID
   

   Exemple de commandedata get.

   ibmcloud ilab data get --id 66a268c170dcb21150050e8e
   

   Exemple de sortie.

   id            66a268c170dcb21150050e8e
   name          test-data
   state         running
   status        Generating data for taxonomy path compositional_skills->STEM->math->area: 12% 12/100 (total qna processed 1/147)
   created_at    2024-07-19T15:40:29.000Z
   taxonomy_id   669a88c9488ee7b95ce8fe05
   

4. Facultatif : lorsque l'état est completed, vous pouvez consulter des indicateurs, tels que les estimations de jetons, afin de calculer le coût estimé.

   Exemple de commande data get avec l'option --output json

   ibmcloud ilab data get --id 66a268c170dcb21150050e8e --output json
   

   Exemple de sortie JSON

   {
     "created_at": "2026-08-04T15:40:29.000Z",
     "data_metrics": {
       "samples": {
         "knowledge": 30,
         "skills": 70,
         "total": 100
       },
       "tokens": {
         "data_leaf_nodes": {
           "compositional_<taxonomy_path>": 26196,
           "knowledge_<taxonomy_path>": 1228930,
           },
         "data_tokens_total": 5993486,
         "training_estimated": 411435913,
         "training_phases": {
           "phase_1_knowledge": 1389992,
           "phase_2_skills": 410045921
           }
       }
     },
     "id": "66a268c170dcb21150050e8e",
     "last_signal_at": "2026-08-04T17:20:32.000Z",
     "name": "test-data",
     "state": "completed",
     "status": "completed",
     "taxonomy_id": "669a88c9488ee7b95ce8fe05"
   }
   

Importer vos propres données d'entraînement à l'aide de l'interface de ligne de commande (CLI)

Vous pouvez souhaiter importer vos propres données pour l'une ou plusieurs des raisons suivantes.

• Importez un ou plusieurs documents relatifs aux connaissances et aux compétences lors de la génération de données.
• Regroupez plusieurs séries de données d'entraînement en une seule.
• Générez des données, téléchargez-les, puis manipulez une partie de vos données et régénérez-les.
• Combinez vos données générées précédemment avec les données nouvellement importées.
• Importez des données, générez des données d'entraînement, puis combinez ces données avec celles issues d'un autre cycle de génération de données.
• Combinez le tampon de relecture et les données importées depuis votre taxonomie. Cette fonctionnalité est disponible uniquement via l'API ou l'interface de ligne de commande (CLI).
• Importez des données et générez des données d'entraînement à partir de votre taxonomie. Cette fonctionnalité est disponible uniquement via l'API ou l'interface de ligne de commande (CLI).

Vous pouvez importer vos propres données d'entraînement pour compléter la génération de données dans l' Inférence d'IA Red Hat. Pour importer vos propres données générées précédemment, indiquez un ou plusieurs des éléments suivants :

• Les identifiants de génération de données des exécutions précédentes.
• Un compartiment Object Storage contenant des fichiers relatifs aux connaissances .jsonl et aux compétences.

Suivez les étapes suivantes pour importer vos données.

1. Répertoriez vos taxonomies et notez celle que vous souhaitez utiliser.

   ibmcloud ilab taxonomy list
   

   Exemple de sortie.

   id                         name       taxonomy_path
   669a88c9488ee7b95ce8fe05   test-tax   taxonomy.tar.gz
   

2. Si vous avez déjà généré des données que vous souhaitez utiliser, répertoriez-les et notez les UUID que vous souhaitez utiliser. Vous pouvez inclure jusqu'à 20 sources de données.

   ibmcloud ilab data list
   

3. Générez des données à partir de votre taxonomie. Notez l'identifiant des données à utiliser à l'étape suivante. Utilisez des caractères alphanumériques dans le nom.

   ibmcloud ilab data generate [--name NAME] [--taxonomy-id TAXONOMY-ID] [--internal-ids INTERNAL-IDs]
   

   Exemple de commande permettant d'inclure plusieurs identifiants internes (sources de données) pour la génération de données.

   ibmcloud ilab data generate --name testdata --taxonomy-id 65005b67-7de4-4216-b23c-ed4342f99c88 --internal-ids 8c6b9224-a4f1-4649-907c-0f11d14cfc59,299ee20c-0b04-4d8e-ad12-a3d98feece40
   

Pour plus d'exemples, consultez la section suivante : Exemples de commandes pour importer vos propres données d'entraînement.

ibmcloud ilab data generate --name testdata --taxonomy-id 65005b67-7de4-4216-b23c-ed4342f99c88 --internal-ids 8c6b9224-a4f1-4649-907c-0f11d14cfc59,299ee20c-0b04-4d8e-ad12-a3d98feece40

ibmcloud ilab data generate \
  --name testdata \
  --taxonomy-id 669a88c9488ee7b95ce8fe05 \
  --internal-ids 8c6b9224-a4f1-4649-907c-0f11d14cfc59,299ee20c-0b04-4d8e-ad12-a3d98feece40 \
  --knowledge-paths PATH \
  --skills-paths PATH \
  --skills-knowledge-cos-bucket STRING \
  --skills-knowledge-cos-bucket-endpoint ENDPOINT

ibmcloud ilab data generate \
  --name testdata \
  --taxonomy-id 669a88c9488ee7b95ce8fe05 \
  --internal-ids 8c6b9224-a4f1-4649-907c-0f11d14cfc59 \
  --knowledge-paths PATH \
  --skills-paths PATH \
  --skills-knowledge-cos-bucket STRING \
  --skills-knowledge-cos-bucket-endpoint ENDPOINT
  --output-cos-bucket-string STRING \
  --output-cos-bucket-endpoint ENDPOINT

ibmcloud ilab data generate \
  --name testdata \
  --internal-ids 8c6b9224-a4f1-4649-907c-0f11d14cfc59,299ee20c-0b04-4d8e-ad12-a3d98feece40 \
  --output-cos-bucket-string STRING \
  --output-cos-bucket-endpoint ENDPOINT

ibmcloud ilab data generate \
  --name testdata \
  --internal-ids 8c6b9224-a4f1-4649-907c-0f11d14cfc59 \
  --knowledge-paths PATH \
  --skills-paths PATH \
  --skills-knowledge-cos-bucket STRING \
  --skills-knowledge-cos-bucket-endpoint ENDPOINT
  --output-cos-bucket-string STRING \
  --output-cos-bucket-endpoint ENDPOINT

ibmcloud ilab data generate \
  --name testdata \
  --knowledge-paths PATH \
  --skills-paths PATH \
  --skills-knowledge-cos-bucket STRING \
  --skills-knowledge-cos-bucket-endpoint ENDPOINT
  --output-cos-bucket-string STRING \
  --output-cos-bucket-endpoint ENDPOINT

Génération de données à l'aide de l'API

1. Répertoriez vos taxonomies et notez celle que vous souhaitez utiliser.

   Exemple de commande.

   curl -X 'GET' \
   'https://us-east.instructlab.ibm.com/v1/taxonomies' \
   -H 'accept: application/json`
   

   Exemple de sortie.

   {
     "taxonomies": [
       {
         "id": "202a03c4-dcf1-432a-82b7-abecb2e019f7",
         "name": "example-taxonomy-name-1",
         "taxonomy_path_cos": "taxonomies/taxonomy.tar.gz",
         "created_at": "2024-10-23T02:58:50.000Z"
       }
     ]
   }
   

2. Générez des données à partir de votre taxonomie. Notez l'identifiant des données à utiliser à l'étape suivante. Utilisez des caractères alphanumériques dans le nom.

   Exemple de commande.

   curl -X 'POST' \
     'https://us-east.instructlab.ibm.com/v1/data' \
     -H 'accept: application/json' \
     -H 'Content-Type: application/json' \
     -d '{
     "name": "example-data-1",
     "taxonomy_id": "202a03c4-dcf1-432a-82b7-abecb2e019f7"
   }'
   

   Exemple de sortie.

   {
     "id": "add785e6-a8c3-4f5f-ab89-c506a3f115da",
     "name": "example-data-1",
     "state": "",
     "status": "queued",
     "created_at": "2024-10-23T02:58:50.000Z",
     "last_signal_at": "2026-08-04T17:20:32.000Z",
     "taxonomy_id": "202a03c4-dcf1-432a-82b7-abecb2e019f7",
     "data_metrics": {
       "samples": {
         "additionalProp1": 1,
         "additionalProp2": 2,
         "additionalProp3": 3
       }
     }
   }
   

3. Vérifiez les détails relatifs à la génération de vos données. Indiquez l'identifiant des données. L'état est queued, puis running. Attendez que l'état soit completed.

   Exemple de commande.

   curl -X 'GET' \
     'https://us-east.instructlab.ibm.com/v1/data/add785e6-a8c3-4f5f-ab89-c506a3f115da' \
     -H 'accept: application/json'
   

   Exemple de sortie.

   {
     "id": "add785e6-a8c3-4f5f-ab89-c506a3f115da",
     "name": "example-data-1",
     "state": "",
     "status": "queued",
     "created_at": "2024-10-23T02:58:50.000Z",
     "last_signal_at": "2026-08-04T17:20:32.000Z",
     "taxonomy_id": "202a03c4-dcf1-432a-82b7-abecb2e019f7",
     "data_metrics": {
       "samples": {
         "additionalProp1": 1,
         "additionalProp2": 2,
         "additionalProp3": 3
       }
     }
   }
   

Lorsque l'état est completed, dans le compartiment Object Storage, un répertoire synthetic_data est créé contenant les journaux destinés au dépannage.