為...部署模型 Red Hat AI 推論

選擇模型的部署方式。

Red Hat AI Inference 模型對齊、合成資料生成及分類法管理功能已標記為過時，並將於 2026 年 9 月 25 日移除。若要繼續進行模型自訂與對齊工作流程，請遷移至 Red Hat® OpenShift® AI On OpenShift。進一步了解 Red Hat® OpenShift® 的人工智慧。

將模型部署至 RHEL-AI 上 IBM Cloud

在 IBM Cloud 上安裝 RHEL-AI。
使用 IBM Cloud CLI 取得 Bearer 憑證。
```
ibmcloud iam oauth-tokens
```

請更新此 Bash 腳本中的變數，然後執行它。

#!/usr/bin/env bash
# Replace variable with the bearer token
BEARER_TOKEN="XXX"
# Replace variable with the Object Storage bucket name
CUSTOMER_BUCKET="XXX"
# Replace variable with the Object Storage endpoint
COS_ENDPOINT=https://s3.direct.us-east.cloud-object-storage.appdomain.cloud
# Replace variable with the model ID
MODEL_PREFIX="trained_models/XXX/model/"
# Replace variable with the model directory path
MODEL_DIR=/root/model/modeltest
curl -v -G "$COS_ENDPOINT/$CUSTOMER_BUCKET" --data-urlencode "list-type=2" --data-urlencode "prefix=$MODEL_PREFIX" -H "Authorization: Bearer $BEARER_TOKEN" >/tmp/rawxml.txt
cat /tmp/rawxml.txt | awk '{split($0,a,"<Key>"); for (i=1; i<=length(a); i++)  print a[i]}' >/tmp/keysonnewline.txt
mkdir -p "$MODEL_DIR"
while read -r line; do
    if [[ "$line" != "trained_models"* ]]; then
        continue
    fi
    KEY_TO_DOWNLOAD=$(echo "$line" | awk -F '<' '{print $1}')
    FILE_NAME=$(basename "$KEY_TO_DOWNLOAD")
    curl -X "GET" "$COS_ENDPOINT/$CUSTOMER_BUCKET/$KEY_TO_DOWNLOAD" -H "Authorization: Bearer $BEARER_TOKEN" >"${MODEL_DIR}/$FILE_NAME"
done </tmp/keysonnewline.txt

接著使用 ilab 指令來提供服務並進行聊天。

ilab model serve --model-path $MODEL_DIR -- --tensor-parallel-size 1 --host 0.0.0.0 --port 8080

ilab model chat --endpoint-url http://localhost:8080/v1 -m $MODEL_DIR

將模型部署至 Watsonx IBM Cloud

立即註冊 IBM watsonx as a Service。
請登入並建立一個 API 金鑰。
如果您還沒有專案，請建立一個專案。
在「IBM Cloud」中，新增一個連線至「Object Storage」資料來源。
匯入模型。
部署模型。
測試部署。

將模型部署至 Red Hat OpenShift AI

若您尚未執行此操作，請在您的叢集上執行 [安裝「Red Hat OpenShift」AI 擴充套件](/docs/openshift?topic=openshift-ai-addon-install&interface=ui) 指令。安裝此附加元件可能需要長達 15 分鐘。
安裝完附加元件後，請前往「OpenShift」AI 儀表板。
點選「資料科學專案」，然後點選「建立專案」。
請依照提示為您的專案命名並輸入說明，然後點擊「建立」。
請找到「Serve 模型」區段，並選擇「單一模型服務平台」選項。
按一下部署模型。
請填寫所需的設定屬性。若要指定您使用 Red Hat AI 推論進行訓練的模型，請找到「來源模型位置」區段，並選擇「S3 相容的物件儲存 -v1」連線類型。
在「連線詳細資訊」下，請指定用於儲存您已訓練模型資料的 COS 儲存桶之存取金鑰、密鑰、端點及儲存桶名稱。請指定您模型的路徑，或您儲存桶中包含該模型的資料夾路徑。
填寫完剩餘的設定屬性後，請按一下「部署」。
若要驗證並檢視模型部署的運作狀態，請按一下「模型」>「模型部署」，然後選取您用來建立該模型的資料科學專案。