다음에 대한 기본 서비스 설정 InstructLab

Red Hat AI InstructLab on IBM Cloud 에는 모델 학습, 데이터 생성 등을 최적화하는 사전 정의된 설정이 포함되어 있습니다. 이러한 설정을 구성하면 Red Hat AI InstructLab on IBM Cloud 모델을 개선하는 데 집중할 수 있습니다. InstructLab 의 기본 설정을 검토합니다. 이러한 설정은 수정할 수 없습니다.

IBM Granite 는 Apache 라이선스 2.0 에 따라 제공됩니다. 자세한 내용은 Apache 라이선스 문서를 참조하세요

교육 설정

다음에 대한 교육 설정 Red Hat AI InstructLab
설정 설명 값
교육 전략 사용되는 교육 전략을 지정합니다. --strategy=lab-multiphase
기본 모델 학습할 기본 모델을 지정합니다. --model-path=granite-3.1-8b-starter-v2.1
MT-벤치 심판 MT-Bench 판정 모델을 지정합니다. 이 매개변수는 로컬 판사 모델 디렉토리의 절대 경로입니다. 필요한 경우 ' ilab model download 을 실행하여 모델을 다운로드할 수 있습니다.
  • 기본 판사 모델: prometheus-8x7b-v2-0
  • 매개변수(디렉터리 경로 포함): --phased-mt-bench-judge=/instructlab/models/prometheus-8x7b-v2-0; config: train.phased_mt_bench_judge
단계별 에포크 엔드투엔드 트레이닝의 각 단계에서 실행할 에포크 수를 지정합니다.
  • 지식: 1단계: --phased-phase1-num-epochs=7; config: train.phased_phase1_num_epochs
  • Skills: 2단계: --phased-phase2-num-epochs=7; config: train.phased_phase2_num_epochs
패딩 없는 트랜스포머 패딩이 없는 트랜스포머에서 트레이닝을 수행할지 여부를 지정합니다. --is-padding-free=false config: train.is_padding_free
백운석 사용 백운석 사용 여부를 지정합니다. --use-dolomite=false
학습률 각 단계의 학습 속도를 지정합니다.
  • --phased_phase_1_learning_rate=2e-5
  • --phased_phase_2_learning_rate=2e-5
최대 배치 길이 최대 배치 길이를 지정합니다. 45k
최대 시퀀스 길이 최대 시퀀스 길이를 지정합니다. 42k
재생 버퍼 필터 리플레이 버퍼는 예상 정렬 시간 내에 훈련을 유지하기 위해 10k 보다 큰 샘플에 대해 필터링됩니다. 10k
재생 버퍼 리플레이 버퍼의 크기를 지정합니다. 6.9 GB

합성 데이터 생성(SDG) 설정

다음에 대한 SDG 설정 Red Hat AI InstructLab
설정 설명 값
교사 모델 합성 데이터 생성 시 사용되는 모델을 지정합니다.
  • 기본 교사 모델: mixtral-8x7b-instruct-v0-1.
  • 매개변수(디렉토리 경로 포함): --model=/instructlab/models/mixtral-8x7b-instruct-v0-1; config: generate.pipeline
시드 예제별로 생성된 지침 각 시드 예제에 대해 생성할 인스트럭션의 수를 지정합니다. 각 예제는 새로운 스킬에 대한 샘플 Q&A 쌍에 매핑됩니다. 예제는 동일한 Q&A 쌍과 지식 문서의 청크로 생성되므로 동일한 값에 대한 지식 추가의 경우 일반적으로 결과 데이터 세트가 더 큽니다. --sdg-scale-factor=30
데이터 생성 파이프라인 사용할 데이터 생성 파이프라인을 지정합니다.
  • 파이프라인: agentic.
  • 매개변수(디렉터리 경로 포함): --pipeline=/instructlab/sdg/pipelines/agentic; config: generate.teacher.model_path
일괄처리 크기 배치 크기를 지정합니다. 32
CPU CPU 수를 지정합니다. 4

모델 설정

다음에 대한 모델 설정 Red Hat AI InstructLab
설정 설명 값
컨텍스트 창 프롬프트에서 보낼 수 있는 최대 바이트 수를 지정합니다. 이 설정을 찾으려면 trained_models/$TRAINING_JOB_ID/model/ 아래의 config.json 을 열고 max_position_embeddings 필드를 찾으십시오(예: "max_position_embeddings": 4096 ). 지원되는 콘텐츠 창 크기는 4096바이트입니다.
모델 크기 모델의 크기를 지정합니다 32GB
세이프센서 파일 세이프센서 파일 수를 지정합니다. 7