| 培訓策略 |
指定所使用的訓練策略。 |
--strategy=lab-multiphase |
| 基本模型 |
指定要訓練的基本模型。 |
--model-path=granite-3.1-8b-starter-v2.1 |
| MT-法官 |
指定MT-Bench判斷模型。 此參數為本地判斷模型目錄的絕對路徑。 如有必要，您可以透過執行 ilab model download 下載模型。 |
- 預設判斷模型：
prometheus-8x7b-v2-0
- 參數 (包含目錄路徑)：
--phased-mt-bench-judge=/instructlab/models/prometheus-8x7b-v2-0; config： train.phased_mt_bench_judge
|
| 每個階段的紀元 |
指定端到端訓練每個階段運行的紀元數。 |
- 知識：Phase 1:
--phased-phase1-num-epochs=7; config： train.phased_phase1_num_epochs
- Skills：Phase 2:
--phased-phase2-num-epochs=7; config： train.phased_phase2_num_epochs
|
| 無填料變壓器 |
指定是否在無填充變壓器上執行訓練。 |
--is-padding-free=false ;配置：train.is_padding_free |
| 使用白雲石 |
指定是否使用白雲石。 |
--use-dolomite=false |
| 學習率 |
指定每個階段的學習速率。 |
--phased_phase_1_learning_rate=2e-5--phased_phase_2_learning_rate=2e-5
|
| 最大批次長度 |
指定最大批次長度。 |
45k |
| 最大序列長度 |
指定最大序列長度。 |
42k |
| 重播緩衝過濾器 |
重播緩衝區會過濾大於 10k 的樣本，以保持訓練在預期的排列時間內。 |
10k |
| 重播緩衝區 |
指定重播緩衝區的大小。 |
6.9 GB |