Impostazioni di servizio predefinite per InstructLab

Red Hat AI InstructLab on IBM Cloud include impostazioni predefinite per ottimizzare l'addestramento del modello, la generazione dei dati e altro ancora. Configurando queste impostazioni, Red Hat AI InstructLab on IBM Cloud consente di concentrarsi sul miglioramento del modello. Rivedere le impostazioni predefinite di InstructLab. Queste impostazioni non possono essere modificate.

IBM Granite è fornito con la licenza Apache 2.0. Per ulteriori informazioni, consultare la sezione Apache Documentazione della licenza

Impostazioni di formazione

Impostazioni di formazione per Red Hat AI InstructLab
Impostazione Descrizione Valore
Strategia di formazione Specifica la strategia di addestramento utilizzata. --strategy=lab-multiphase
Modello di base Specifica il modello di base da addestrare. --model-path=granite-3.1-8b-starter-v2.1
Giudice MT-Bench Specifica il modello di giudice MT-Bench. Questo parametro è il percorso assoluto della directory del modello di giudice locale. Se necessario, è possibile scaricare il modello eseguendo 'ilab model download.
  • Modello di giudice predefinito: prometheus-8x7b-v2-0
  • Parametro (include il percorso della directory): --phased-mt-bench-judge=/instructlab/models/prometheus-8x7b-v2-0; config: train.phased_mt_bench_judge
Epoche per fase Specifica il numero di epoche da eseguire per ogni fase dell'addestramento end-to-end.
  • Conoscenza: Fase 1: --phased-phase1-num-epochs=7; config: train.phased_phase1_num_epochs
  • Abilità: Fase 2: --phased-phase2-num-epochs=7; config: train.phased_phase2_num_epochs
Trasformatore senza imbottitura Specifica se l'addestramento viene eseguito su un trasformatore senza padding. --is-padding-free=false; config: train.is_padding_free
Utilizzare la dolomite Specifica se utilizzare la dolomite. --use-dolomite=false
Tasso di apprendimento Specifica il tasso di apprendimento per ogni fase.
  • --phased_phase_1_learning_rate=2e-5
  • --phased_phase_2_learning_rate=2e-5
Lunghezza massima del lotto Specifica la lunghezza massima del batch. 45k
Lunghezza massima della sequenza Specifica la lunghezza massima della sequenza. 42k
Filtro buffer di riproduzione Il buffer di replay viene filtrato per i campioni più grandi di 10k per mantenere la formazione entro i tempi di allineamento previsti. 10k
Buffer di riproduzione Specifica la dimensione del buffer di replay. 6.9 GB

Impostazioni per la generazione di dati sintetici (SDG)

Impostazioni SDG per Red Hat AI InstructLab
Impostazione Descrizione Valore
Modello di insegnante Specifica il modello utilizzato durante la generazione dei dati sintetici.
  • Modello di insegnante predefinito: mixtral-8x7b-instruct-v0-1.
  • Parametri (include il percorso della directory): --model=/instructlab/models/mixtral-8x7b-instruct-v0-1; config: generate.pipeline
Istruzioni generate per esempio dal seme Specifica il numero di istruzioni da generare per ogni esempio di seme. Ogni esempio corrisponde a coppie di domande e risposte di esempio per le nuove competenze. Gli esempi vengono generati sia con le stesse coppie di domande e risposte che con pezzi del documento di conoscenza, in modo che l'insieme di dati risultante sia tipicamente più grande per un'aggiunta di conoscenza per lo stesso valore. --sdg-scale-factor=30
Pipeline di generazione dei dati Specifica la pipeline di generazione dei dati da utilizzare.
  • Pipeline: agentic.
  • Parametro (include il percorso della directory): --pipeline=/instructlab/sdg/pipelines/agentic; config: generate.teacher.model_path
Dimensione del lotto Specifica la dimensione del batch. 32
CPU Specifica il numero di CPU. 4

Impostazioni del modello

Impostazioni del modello per Red Hat AI InstructLab
Impostazione Descrizione Valore
Finestra di contesto Specifica il numero massimo di byte che possono essere inviati in un prompt. Per trovare questa impostazione, aprire config.json sotto trained_models/$TRAINING_JOB_ID/model/ e individuare il campo max_position_embeddings, ad esempio "max_position_embeddings": 4096. La dimensione della finestra di contenuto supportata è di 4096 byte.
Dimensione modello Specifica la dimensione del modello 32 GB
File Safetensors Specifica il numero di file Safetensor. 7