Paramètres de service par défaut pour InstructLab

Red Hat AI InstructLab on IBM Cloud inclut des paramètres prédéfinis pour optimiser l'apprentissage du modèle, la génération de données, etc. En configurant ces paramètres, Red Hat AI InstructLab on IBM Cloud vous permet de vous concentrer sur l'amélioration de votre modèle. Passez en revue les paramètres par défaut de InstructLab. Ces paramètres ne peuvent pas être modifiés.

IBM Granite est fourni sous la licence Apache 2.0. Pour plus d'informations, voir la documentation de la licence Apache

Paramètres de formation

Paramètres de formation pour Red Hat AI InstructLab
Paramètre Description Valeur
Stratégie de formation Spécifie la stratégie de formation utilisée. --strategy=lab-multiphase
Modèle de base Spécifie le modèle de base à former. --model-path=granite-3.1-8b-starter-v2.1
Juge MT-Bench Spécifie le modèle de juge MT-Bench. Ce paramètre est le chemin absolu vers le répertoire du modèle de juge local. Si nécessaire, vous pouvez télécharger le modèle en exécutant " ilab model download.
  • Modèle de juge par défaut : prometheus-8x7b-v2-0
  • Paramètre (y compris le chemin du répertoire): --phased-mt-bench-judge=/instructlab/models/prometheus-8x7b-v2-0; config : train.phased_mt_bench_judge
Époques par phase Spécifie le nombre d'époques à exécuter pour chaque phase de l'apprentissage de bout en bout.
  • Connaissances : Phase 1 : --phased-phase1-num-epochs=7; config : train.phased_phase1_num_epochs
  • Compétences : Phase 2 : --phased-phase2-num-epochs=7; config : train.phased_phase2_num_epochs
Transformateur sans coussins d'air Indique si la formation est effectuée sur un transformateur sans bourrelet. --is-padding-free=false; config : train.is_padding_free
Utiliser de la dolomie Indique s'il faut utiliser de la dolomie. --use-dolomite=false
Taux d'apprentissage Spécifie le taux d'apprentissage pour chaque phase.
  • --phased_phase_1_learning_rate=2e-5
  • --phased_phase_2_learning_rate=2e-5
Longueur maximale du lot Spécifie la longueur maximale du lot. 45k
Longueur maximale de la séquence Spécifie la longueur maximale de la séquence. 42k
Filtre tampon de relecture La mémoire tampon de relecture est filtrée pour les échantillons plus grands que 10k afin de maintenir la formation dans les temps d'alignement prévus. 10k
Tampon de relecture Spécifie la taille du tampon de relecture. 6.9 GB

Paramètres de génération de données synthétiques (SDG)

Paramètres des ODD pour Red Hat AI InstructLab
Paramètre Description Valeur
Modèle de l'enseignant Spécifie le modèle utilisé lors de la génération de données synthétiques.
  • Modèle d'enseignant par défaut : mixtral-8x7b-instruct-v0-1.
  • Paramètre (y compris le chemin d'accès au répertoire): --model=/instructlab/models/mixtral-8x7b-instruct-v0-1; config : generate.pipeline
Instructions générées par exemple de semences Spécifie le nombre d'instructions à générer pour chaque exemple de semence. Chaque exemple renvoie à des paires de questions-réponses types pour les nouvelles compétences. Les exemples sont générés avec les mêmes paires de questions-réponses et les mêmes morceaux du document de connaissance, de sorte que l'ensemble de données résultant est généralement plus important pour un ajout de connaissances pour la même valeur. --sdg-scale-factor=30
Pipeline de génération de données Spécifie le pipeline de génération de données à utiliser.
  • Pipeline : agentic.
  • Paramètre (y compris le chemin d'accès au répertoire): --pipeline=/instructlab/sdg/pipelines/agentic; config : generate.teacher.model_path
Taille de lot Spécifie la taille du lot. 32
UC Spécifie le nombre de CPU. 4

Paramètres de modèle

Paramètres du modèle pour Red Hat AI InstructLab
Paramètre Description Valeur
Fenêtre contextuelle Spécifie le nombre maximum d'octets pouvant être envoyés dans une invite. Pour trouver ce paramètre, ouvrez config.json sous trained_models/$TRAINING_JOB_ID/model/ et localisez le champ max_position_embeddings, par exemple "max_position_embeddings": 4096. La taille de la fenêtre de contenu prise en charge est de 4096 octets.
Taille du modèle Spécifie la taille du modèle 32 Go
Dossiers Safetensors Spécifie le nombre de fichiers Safetensors. 7