のデフォルトサービス設定 InstructLab

Red Hat AI InstructLab on IBM Cloud には、モデルのトレーニングやデータ生成などを最適化するための事前設定が含まれています。 これらの設定を行うことで、 Red Hat AI InstructLab on IBM Cloud、モデルの改善に集中することができます。 InstructLab のデフォルト設定を見直す。 これらの設定は変更できない。

IBM Granite は Apache ライセンス 2.0 の下で提供されています。 詳しくは、 Apache ライセンスのドキュメントをご覧ください

トレーニング設定

トレーニングの設定 Red Hat AI InstructLab
設定 説明 値
トレーニング戦略 使用するトレーニング戦略を指定する。 --strategy=lab-multiphase
基本モデル 学習するベースモデルを指定する。 --model-path=granite-3.1-8b-starter-v2.1
MTベンチ裁判官 MT-Benchのジャッジモデルを指定する。 このパラメータは、ローカルのジャッジモデルディレクトリへの絶対パスである。 必要であれば、'ilab model download を実行してモデルをダウンロードすることができる。
  • デフォルトのジャッジモデル： prometheus-8x7b-v2-0
  • パラメータ (ディレクトリパスを含む): --phased-mt-bench-judge=/instructlab/models/prometheus-8x7b-v2-0; config： train.phased_mt_bench_judge
フェーズごとのエポック エンドツーエンド・トレーニングの各フェーズで実行するエポック数を指定する。
  • 知識：フェーズ1: --phased-phase1-num-epochs=7; コンフィグ： train.phased_phase1_num_epochs
  • スキル：フェーズ2: --phased-phase2-num-epochs=7; config： train.phased_phase2_num_epochs
パディング・フリー・トランス パディングのないトランスフォーマーでトレーニングを行うかどうかを指定する。 --is-padding-free=false; config： train.is_padding_free
ドロマイトを使用 ドロマイトを使用するかどうかを指定する。 --use-dolomite=false
学習率 各フェーズの学習率を指定する。
  • --phased_phase_1_learning_rate=2e-5
  • --phased_phase_2_learning_rate=2e-5
最大バッチ長 最大バッチ長を指定する。 45k
最大シーケンス長 最大シーケンス長を指定する。 42k
リプレイ・バッファ・フィルター リプレイバッファは、 10k より大きいサンプルに対してフィルタリングされ、トレーニングが予想されるアラインメント時間内に収まるようにする。 10k
再生バッファ 再生バッファーのサイズを指定する。 6.9 GB

合成データ生成（SDG）の設定

SDGsの設定 Red Hat AI InstructLab
設定 説明 値
教師モデル 合成データ生成時に使用するモデルを指定します。
  • デフォルトの教師モデル: mixtral-8x7b-instruct-v0-1.
  • パラメータ (ディレクトリパスを含む): --model=/instructlab/models/mixtral-8x7b-instruct-v0-1; config： generate.pipeline
シード例ごとに生成される命令 各シード例に対して生成する命令数を指定する。 各例は、新しいスキルのためのサンプルQ&Aペアにマッピングされています。 例題は、同じQ&Aのペアと知識文書のチャンクの両方で生成されるため、結果として得られるデータセットは、同じ値の知識追加に対して通常より大きくなる。 --sdg-scale-factor=30
データ生成パイプライン 使用するデータ生成パイプラインを指定する。
  • パイプライン: agentic.
  • パラメータ（ディレクトリパスを含む）: --pipeline=/instructlab/sdg/pipelines/agentic; config： generate.teacher.model_path
バッチ・サイズ バッチサイズを指定する。 32
CPU CPUの数を指定する。 4

モデル設定

のモデル設定 Red Hat AI InstructLab
設定 説明 値
コンテクストウィンドウ プロンプトで送信できる最大バイト数を指定する。 この設定を見つけるには、 trained_models/$TRAINING_JOB_ID/model/ の下にある config.json を開き、 max_position_embeddings フィールド、例えば "max_position_embeddings": 4096 を探します。 サポートされているコンテンツウィンドウのサイズは4096バイトです。
モデル・サイズ モデルのサイズを指定する 32 GB
セーフセンサーファイル Safetensors ファイルの数を指定します。 7