Standarddiensteinstellungen für InstructLab

Red Hat AI InstructLab on IBM Cloud enthält vordefinierte Einstellungen zur Optimierung des Modelltrainings, der Datengenerierung und mehr. Wenn Sie diese Einstellungen konfigurieren, können Sie sich auf Red Hat AI InstructLab on IBM Cloud auf die Verbesserung Ihres Modells konzentrieren. Überprüfen Sie die Standardeinstellungen für InstructLab. Diese Einstellungen können nicht geändert werden.

IBM Granite wird unter der Apache Lizenz 2.0 zur Verfügung gestellt. Weitere Informationen finden Sie in der Dokumentation Apache Lizenz

Einstellungen für die Ausbildung

Trainingseinstellungen für Red Hat AI InstructLab
Einstellung Beschreibung Wert
Ausbildungsstrategie Gibt an, welche Trainingsstrategie verwendet wird. --strategy=lab-multiphase
Basismodell Gibt das zu trainierende Basismodell an. --model-path=granite-3.1-8b-starter-v2.1
MT-Bench-Richter Gibt das MT-Bench Richtermodell an. Dieser Parameter ist der absolute Pfad zum lokalen Richtermodellverzeichnis. Falls erforderlich, können Sie das Modell herunterladen, indem Sie " ilab model download ausführen.
  • Standard-Richtermodell: prometheus-8x7b-v2-0
  • Parameter (einschließlich Verzeichnispfad): --phased-mt-bench-judge=/instructlab/models/prometheus-8x7b-v2-0; config: train.phased_mt_bench_judge
Epochen pro Phase Gibt die Anzahl der Epochen an, die für jede Phase des End-to-End-Trainings ausgeführt werden sollen.
  • Wissen: Phase 1: --phased-phase1-num-epochs=7; config: train.phased_phase1_num_epochs
  • Fertigkeiten: Phase 2: --phased-phase2-num-epochs=7; config: train.phased_phase2_num_epochs
Polsterfreier Transformator Gibt an, ob das Training an einem auffüllungsfreien Transformator durchgeführt wird. --is-padding-free=false; Konfig: train.is_padding_free
Dolomit verwenden Gibt an, ob Dolomit verwendet werden soll. --use-dolomite=false
Lernrate Gibt die Lernrate für jede Phase an.
  • --phased_phase_1_learning_rate=2e-5
  • --phased_phase_2_learning_rate=2e-5
Maximale Chargenlänge Gibt die maximale Chargenlänge an. 45k
Maximale Sequenzlänge Gibt die maximale Sequenzlänge an. 42k
Wiederholungspuffer-Filter Der Wiedergabepuffer wird für Stichproben gefiltert, die größer als 10k sind, um das Training innerhalb der erwarteten Ausrichtungszeiten zu halten. 10k
Puffer für die Wiedergabe Gibt die Größe des Wiedergabepuffers an. 6.9 GB

Einstellungen für die Erzeugung synthetischer Daten (SDG)

SDG-Einstellungen für Red Hat AI InstructLab
Einstellung Beschreibung Wert
Lehrermodell Gibt das Modell an, das bei der Erzeugung synthetischer Daten verwendet wird.
  • Standard-Lehrermodell: mixtral-8x7b-instruct-v0-1.
  • Parameter (einschließlich Verzeichnispfad): --model=/instructlab/models/mixtral-8x7b-instruct-v0-1; config: generate.pipeline
Per Seed erzeugte Anweisungen Beispiel Gibt die Anzahl der Anweisungen an, die für jedes Seed-Beispiel erzeugt werden sollen. Jedem Beispiel sind Beispiele für Frage-Antwort-Paare für neue Fähigkeiten zugeordnet. Beispiele werden sowohl mit den gleichen Frage- und Antwortpaaren als auch mit Teilen des Wissensdokuments generiert, so dass der resultierende Datensatz für eine Wissensergänzung bei gleichem Wert typischerweise größer ist. --sdg-scale-factor=30
Pipeline zur Datenerzeugung Gibt die zu verwendende Datengenerierungspipeline an.
  • Pipeline: agentic.
  • Parameter (einschließlich Verzeichnispfad): --pipeline=/instructlab/sdg/pipelines/agentic; config: generate.teacher.model_path
Stapelgröße Gibt die Chargengröße an. 32
CPUs Gibt die Anzahl der CPUs an. 4

Modelleinstellungen

Modelleinstellungen für Red Hat AI InstructLab
Einstellung Beschreibung Wert
Kontextfenster Gibt die maximale Anzahl von Bytes an, die in einer Eingabeaufforderung gesendet werden können. Um diese Einstellung zu finden, öffnen Sie config.json unter trained_models/$TRAINING_JOB_ID/model/ und suchen Sie das Feld max_position_embeddings, z. B. "max_position_embeddings": 4096. Die unterstützte Größe des Inhaltsfensters beträgt 4096 Byte.
Modellgröße Gibt die Größe des Modells an 32 GB
Dateien von Safetensors Gibt die Anzahl der Safetensors-Dateien an. 7