Configurações de serviço padrão para InstructLab

Red Hat AI InstructLab on IBM Cloud inclui configurações predefinidas para otimizar o treinamento do modelo, a geração de dados e muito mais. Ao definir essas configurações, o site Red Hat AI InstructLab on IBM Cloud permite que você se concentre no aprimoramento do seu modelo. Revise as configurações padrão para InstructLab. Essas configurações não podem ser modificadas.

IBM Granite é fornecido sob a licença Apache 2.0. Para obter mais informações, consulte a documentação da licença Apache

Configurações de treinamento

Configurações de treinamento para Red Hat AI InstructLab
Configuração Descrição Valor
Estratégia de treinamento Especifica a estratégia de treinamento que é usada. --strategy=lab-multiphase
Modelo Básico Especifica o modelo básico a ser treinado. --model-path=granite-3.1-8b-starter-v2.1
Juiz de bancada MT Especifica o modelo de juiz do MT-Bench. Esse parâmetro é o caminho absoluto para o diretório do modelo de juiz local. Se necessário, você pode fazer o download do modelo executando ' ilab model download.
  • Modelo de juiz padrão: prometheus-8x7b-v2-0
  • Parâmetro (inclui o caminho do diretório): --phased-mt-bench-judge=/instructlab/models/prometheus-8x7b-v2-0; config: train.phased_mt_bench_judge
Épocas por fase Especifica o número de épocas a serem executadas para cada fase do treinamento de ponta a ponta.
  • Conhecimento: Fase 1: --phased-phase1-num-epochs=7; config: train.phased_phase1_num_epochs
  • Skills (Habilidades): Fase 2: --phased-phase2-num-epochs=7; config: train.phased_phase2_num_epochs
Transformador sem preenchimento Especifica se o treinamento é realizado em um transformador sem preenchimento. --is-padding-free=false; config: train.is_padding_free
Usar dolomita Especifica se deve ser usada dolomita. --use-dolomite=false
Taxa de aprendizado Especifica a taxa de aprendizado para cada fase.
  • --phased_phase_1_learning_rate=2e-5
  • --phased_phase_2_learning_rate=2e-5
Comprimento máximo do lote Especifica o comprimento máximo do lote. 45k
Comprimento máximo da sequência Especifica o comprimento máximo da sequência. 42k
Filtro de buffer de repetição O buffer de reprodução é filtrado para amostras maiores que 10k para manter o treinamento dentro dos tempos de alinhamento esperados. 10k
Buffer de repetição Especifica o tamanho do buffer de repetição. 6.9 GB

Configurações de geração de dados sintéticos (SDG)

Configurações de SDG para Red Hat AI InstructLab
Configuração Descrição Valor
Modelo de professor Especifica o modelo usado durante a geração de dados sintéticos.
  • Modelo de professor padrão: mixtral-8x7b-instruct-v0-1.
  • Parâmetro (inclui o caminho do diretório): --model=/instructlab/models/mixtral-8x7b-instruct-v0-1; config: generate.pipeline
Instruções geradas por exemplo de semente Especifica o número de instruções a serem geradas para cada exemplo de semente. Cada exemplo mapeia os exemplos de pares de perguntas e respostas para novas habilidades. Os exemplos são gerados com os mesmos pares de perguntas e respostas e partes do documento de conhecimento, de modo que o conjunto de dados resultante é normalmente maior para uma adição de conhecimento com o mesmo valor. --sdg-scale-factor=30
Pipeline de geração de dados Especifica o pipeline de geração de dados a ser usado.
  • Pipeline: agentic.
  • Parâmetro (inclui o caminho do diretório): --pipeline=/instructlab/sdg/pipelines/agentic; config: generate.teacher.model_path
Tamanho do lote Especifica o tamanho do lote. 32
CPUs Especifica o número de CPUs. 4

Configurações de modelo

Configurações do modelo para Red Hat AI InstructLab
Configuração Descrição Valor
Janela de contexto Especifica o número máximo de bytes que podem ser enviados em um prompt. Para localizar essa configuração, abra config.json em trained_models/$TRAINING_JOB_ID/model/ e localize o campo max_position_embeddings, por exemplo, "max_position_embeddings": 4096. O tamanho da janela de conteúdo suportado é de 4096 bytes.
Tamanho do Modelo Especifica o tamanho do modelo 32 GB
Arquivos do Safetensors Especifica o número de arquivos Safetensors. 7