用於訓練模型的 Red Hat AI 推論

使用生成的資料來訓練您的模型,然後對模型進行測試以驗證結果。 進一步了解何謂培訓

無法將設定資訊或檔案傳遞給模型以進行微調。

Red Hat AI Inference 模型對齊、合成資料生成及分類法管理功能已標記為過時,並將於 2026 年 9 月 25 日移除。 若要繼續進行模型自訂與對齊工作流程,請遷移至 Red Hat® OpenShift® AI On OpenShift。 進一步了解 Red Hat® OpenShift® 的人工智慧

必要條件

  1. 準備您的分類體系
  2. 將分類法「tar.gz」新增至您的「Object Storage」儲存桶中。 您可以使用命令列介面 ( CLI ) 或使用者介面 ( UI )。
  3. 根據您的分類法產生資料

使用控制台對齊模型

  1. 從「Red Hat AI Inference 專案 頁面」中,點選您的專案 >「對齊模型」>「對齊」。

  2. 請為模型輸入一個包含字母和數字的名稱,並選擇要使用的訓練資料。

  3. (可選):在開始對齊程序之前,請先檢視所提供的預估費用。

  4. 按下「對齊」。 狀態為 queued,接著是 running。 請等待狀態變為 completed。 此過程可能需要幾分鐘或幾小時。 對齊完成後,在「Object Storage」儲存桶中,會建立一個名為「trained_models」的目錄,其中包含用於疑難排解的日誌。

使用命令列介面 (CLI) 訓練模型

  1. 取得要使用的資料的 ID。

    ibmcloud ilab data list
    
  2. 執行此指令,以使用生成的資料開始訓練模型。 請記下該 ID。

    ibmcloud ilab model train --name testmodel --data-id DATA_ID
    
  3. 請檢查您的資料產生詳情。 請包含該模型的 ID。 狀態為 queued,接著是 running。 請等待狀態變為 completed。 此過程可能需要幾分鐘或幾小時。 當狀態為「completed」時,會在「Object Storage」資料夾中建立一個名為「trained_models」的目錄,其中包含用於疑難排解的日誌。

    ibmcloud ilab model get --id MODEL_ID
    
  4. 可選:當狀態為「completed」時,您可以檢視相關指標,例如 使用代幣估算值來計算預估成本

    以下為使用 --output json 選項的 model get 指令範例。

    ibmcloud ilab model get --id daef9836-631f-4686-ad18-e0e6a0910f5d --output json
    

    JSON 輸出範例

    {
      "base_model": "granite-3.1-8b-starter-v2.1",
      "created_at": "2026-08-04T16:06:05.000Z",
      "data_id": "8b1433c0-e375-4b00-b36d-2ad00697014e",
      "id": "daef9836-631f-4686-ad18-e0e6a0910f5d",
      "last_signal_at": "2026-08-04T17:20:32.000Z",
      "model_metrics": {
        "mmlu": {
          "overall_average": 0.51,
          "scores": {
            "mmlu_abstract_algebra": 0.3,
            "mmlu_anatomy": 0.43,
            "mmlu_astronomy": 0.49
          }
        },
        "mt_bench": {
          "error_rate": 0.01,
          "overall_average": 6.86,
          "scores": {
            "turn_one": 7.25,
            "turn_two": 6.47
          }
        },
        "mt_bench_branch": {
          "error_rate": 0.01,
          "improvements": {
            "compositional_skills/STEM/math/time_series/qna.yaml": 8.67,
            "compositional_skills/extraction/invoice/csv/qna.yaml": 8.4
          },
          "no_change": {
            "compositional_skills/roleplay/explain_like_i_am/primary_schooler/qna.yaml": 0,
            "compositional_skills/writing/freeform/technical/proposal/qna.yaml": 0
          },
          "regressions": {
            "compositional_skills/extraction/inference/qualitative/sentiment/qna.yaml": -9,
            "compositional_skills/extraction/information/named_entities/places/qna.yaml": -9
          }
        },
        "tokens": {
          "training_phases": {}
        }
      },
      "name": "test",
      "state": "completed",
      "status": "completed",
      "taxonomy_id": "e62ccea5-97e6-4568-86bf-2f359987b115"
    }
    

使用 API 訓練模型

  1. 取得要使用的資料的 ID。

    範例指令。

    curl -X 'GET' \
      'https://us-east.instructlab.ibm.com/v1/data' \
      -H 'accept: application/json'
    

    輸出範例。

    {
      "data": [
        {
          "id": "add785e6-a8c3-4f5f-ab89-c506a3f115da",
          "name": "example-data-1",
          "state": "",
          "status": "queued",
          "created_at": "2024-10-23T02:58:50.000Z",
          "taxonomy_id": "202a03c4-dcf1-432a-82b7-abecb2e019f7",
          "last_signal_at": "2026-08-04T17:20:32.000Z"
        }
      ]
    }
    
  2. 執行此指令,以使用生成的資料開始訓練模型。 請記下該 ID。

    範例指令。

    curl -X 'POST' \
      'https://us-east.instructlab.ibm.com/v1/models' \
      -H 'accept: application/json' \
      -H 'Content-Type: application/json' \
      -d '{
      "name": "example-model-1",
      "data_id": "add785e6-a8c3-4f5f-ab89-c506a3f115da"
    }'
    

    輸出範例。

    {
      "id": "baa8cfb5-e306-4e15-869d-735b74b1919d",
      "name": "example-model-1",
      "state": "",
      "status": "queued",
      "created_at": "2024-10-23T02:58:50.000Z",
      "last_signal_at": "2026-08-04T17:20:32.000Z",
      "data_id": "add785e6-a8c3-4f5f-ab89-c506a3f115da",
      "base_model": "granite-7b",
      "taxonomy_id": "202a03c4-dcf1-432a-82b7-abecb2e019f7",
      "model_metrics": {
        "mmlu": {
          "overall_average": 0.3,
          "scores": {
            "additionalProp1": 1,
            "additionalProp2": 2,
            "additionalProp3": 3
          }
        },
        "mmlu_branch": {
          "error_rate": 0.4,
          "improvements": {
            "additionalProp1": 1,
            "additionalProp2": 2,
            "additionalProp3": 3
          },
          "regressions": {
            "additionalProp1": 1,
            "additionalProp2": 2,
            "additionalProp3": 3
          },
          "no_change": {
            "additionalProp1": 1,
            "additionalProp2": 2,
            "additionalProp3": 3
          }
        },
        "mt_bench": {
          "overall_average": 0.8,
          "error_rate": 0.6,
          "scores": {
            "additionalProp1": 1,
            "additionalProp2": 2,
            "additionalProp3": 3
          }
        },
        "mt_bench_branch": {
          "error_rate": 0.4,
          "improvements": {
            "additionalProp1": 1,
            "additionalProp2": 2,
            "additionalProp3": 3
          },
          "regressions": {
            "additionalProp1": 1,
            "additionalProp2": 2,
            "additionalProp3": 3
          },
          "no_change": {
            "additionalProp1": 1,
            "additionalProp2": 2,
            "additionalProp3": 3
          }
        }
      }
    }
    
  3. 請檢查您的資料產生詳情。 請包含該模型的 ID。 狀態為 queued,接著是 running。 請等待狀態變為 completed。 此過程可能需要幾分鐘或幾小時。

    範例指令。

    curl -X 'GET' \
      'https://us-east.instructlab.ibm.com/v1/models/baa8cfb5-e306-4e15-869d-735b74b1919d' \
      -H 'accept: application/json'
    

    輸出範例。

    {
      "id": "baa8cfb5-e306-4e15-869d-735b74b1919d",
      "name": "example-model-1",
      "state": "",
      "status": "queued",
      "created_at": "2024-10-23T02:58:50.000Z",
      "last_signal_at": "2026-08-04T17:20:32.000Z",
      "data_id": "add785e6-a8c3-4f5f-ab89-c506a3f115da",
      "base_model": "granite-7b",
      "taxonomy_id": "202a03c4-dcf1-432a-82b7-abecb2e019f7",
      "model_metrics": {
        "mmlu": {
          "overall_average": 0.3,
          "scores": {
            "additionalProp1": 1,
            "additionalProp2": 2,
            "additionalProp3": 3
          }
        },
        "mmlu_branch": {
          "error_rate": 0.4,
          "improvements": {
            "additionalProp1": 1,
            "additionalProp2": 2,
            "additionalProp3": 3
          },
          "regressions": {
            "additionalProp1": 1,
            "additionalProp2": 2,
            "additionalProp3": 3
          },
          "no_change": {
            "additionalProp1": 1,
            "additionalProp3": 3,
            "additionalProp2": 2
          }
        },
        "mt_bench": {
          "overall_average": 0.8,
          "error_rate": 0.6,
          "scores": {
            "additionalProp1": 1,
            "additionalProp2": 2,
            "additionalProp3": 3
          }
        },
        "mt_bench_branch": {
          "error_rate": 0.4,
          "improvements": {
            "additionalProp1": 1,
            "additionalProp2": 2,
            "additionalProp3": 3
          },
          "regressions": {
            "additionalProp1": 1,
            "additionalProp2": 2,
            "additionalProp3": 3
          },
          "no_change": {
            "additionalProp1": 1,
            "additionalProp2": 2,
            "additionalProp3": 3
          }
        }
      }
    }
    

當狀態為「completed」時,會在「Object Storage」資料夾中建立一個名為「trained_models」的目錄,其中包含用於疑難排解的日誌。

訓練結束後,我的「Object Storage」桶裡有什麼?

在訓練完模型後,您的 Object Storage 儲存桶中會包含一個名為 trained models 的目錄,其中包含以下檔案。

Artifacts
這些檔案包含第一階段和第二階段的檢查點資料,以及每個 epoch 的模型。
Eval
這些檔案包含 mmlummlu_branchmt_bench 以及 mt_bench_branch 基準測試的評估指標。
Logs
這些檔案包含 Red Hat AI Inference 的執行日誌及系統詳細資訊。
Model
這些檔案包含以 safetensors 格式輸出的最終模型。 此目錄中的內容將由模型使用。

下一步為何?

可選:您可以部署該模型