Ajustes de servicio por defecto para InstructLab

Red Hat AI InstructLab on IBM Cloud incluye ajustes predefinidos para optimizar el entrenamiento del modelo, la generación de datos y mucho más. Al configurar estos parámetros, Red Hat AI InstructLab on IBM Cloud le permite centrarse en mejorar su modelo. Revise la configuración predeterminada de InstructLab. Estos ajustes no se pueden modificar.

IBM Granite se proporciona bajo la licencia Apache 2.0. Para más información, consulte la documentación de la licencia Apache

Ajustes de formación

Ajustes de formación para Red Hat AI InstructLab
Valor Descripción Valor
Estrategia de formación Especifica la estrategia de entrenamiento que se utiliza. --strategy=lab-multiphase
Modelo base Especifica el modelo base a entrenar. --model-path=granite-3.1-8b-starter-v2.1
Juez MT-Bench Especifica el modelo de juez MT-Bench. Este parámetro es la ruta absoluta al directorio local del modelo de juez. Si es necesario, puede descargar el modelo ejecutando ' ilab model download.
  • Modelo de juez por defecto: prometheus-8x7b-v2-0
  • Parámetro (incluye ruta de directorio): --phased-mt-bench-judge=/instructlab/models/prometheus-8x7b-v2-0; config: train.phased_mt_bench_judge
Épocas por fase Especifica el número de épocas que se ejecutarán para cada fase del entrenamiento de extremo a extremo.
  • Conocimientos: Fase 1: --phased-phase1-num-epochs=7; config: train.phased_phase1_num_epochs
  • Habilidades: Fase 2: --phased-phase2-num-epochs=7; config: train.phased_phase2_num_epochs
Transformador sin relleno Especifica si la formación se realiza en un transformador sin relleno. --is-padding-free=false config: train.is_padding_free
Utilizar dolomita Especifica si se utiliza dolomita. --use-dolomite=false
Índice de aprendizaje Especifica el ritmo de aprendizaje para cada fase.
  • --phased_phase_1_learning_rate=2e-5
  • --phased_phase_2_learning_rate=2e-5
Longitud máxima del lote Especifica la longitud máxima del lote. 45k
Longitud máxima de secuencia Especifica la longitud máxima de la secuencia. 42k
Filtro tampón de repetición El búfer de repetición se filtra para muestras mayores que 10k para mantener el entrenamiento dentro de los tiempos de alineación esperados. 10k
Búfer de repetición Especifica el tamaño del búfer de reproducción. 6.9 GB

Configuración de la generación de datos sintéticos (SDG)

Ajustes de los ODS para Red Hat AI InstructLab
Valor Descripción Valor
Modelo de profesor Especifica el modelo utilizado durante la generación de datos sintéticos.
  • Modelo de profesor por defecto: mixtral-8x7b-instruct-v0-1.
  • Parámetro (incluye ruta de directorio): --model=/instructlab/models/mixtral-8x7b-instruct-v0-1; config: generate.pipeline
Instrucciones generadas por ejemplo de semillas Especifica el número de instrucciones a generar para cada ejemplo semilla. Cada ejemplo corresponde a pares de preguntas y respuestas de ejemplo para las nuevas competencias. Los ejemplos se generan tanto con los mismos pares de preguntas y respuestas como con trozos del documento de conocimientos, de modo que el conjunto de datos resultante suele ser mayor para una adición de conocimientos para el mismo valor. --sdg-scale-factor=30
Canal de generación de datos Especifica el canal de generación de datos que se va a utilizar.
  • Tubería: agentic.
  • Parámetro (incluye ruta de directorio): --pipeline=/instructlab/sdg/pipelines/agentic; config: generate.teacher.model_path
Tamaño de lote Especifica el tamaño del lote. 32
CPU Especifica el número de CPUs. 4

Valores del modelo

Ajustes del modelo para Red Hat AI InstructLab
Valor Descripción Valor
Ventana de contexto Especifica el número máximo de bytes que se pueden enviar en un aviso. Para encontrar esta configuración, abra config.json en trained_models/$TRAINING_JOB_ID/model/ y localice el campo max_position_embeddings, por ejemplo, "max_position_embeddings": 4096. El tamaño de ventana de contenido admitido es de 4096 bytes.
tamaño del modelo Especifica el tamaño del modelo 32 GB
Ficheros Safetensors Especifica el número de archivos Safetensors. 7