为……部署模型 Red Hat AI 推理

选择模型的部署方式。

Red Hat AI Inference 模型对齐、合成数据生成和分类法管理功能已弃用，并将于 2026 年 9 月 25 日被移除。若要继续进行模型定制和对齐工作流，请迁移至 Red Hat® OpenShift® AI On OpenShift。了解有关 Red Hat® OpenShift® AI的更多信息。

将模型部署到 RHEL-AI 上 IBM Cloud

在 IBM Cloud 上安装RHEL-AI。
使用 IBM Cloud 命令行界面（CLI）获取一个承载令牌。
```
ibmcloud iam oauth-tokens
```

更新此 Bash 脚本中的变量，然后运行它。

#!/usr/bin/env bash
# Replace variable with the bearer token
BEARER_TOKEN="XXX"
# Replace variable with the Object Storage bucket name
CUSTOMER_BUCKET="XXX"
# Replace variable with the Object Storage endpoint
COS_ENDPOINT=https://s3.direct.us-east.cloud-object-storage.appdomain.cloud
# Replace variable with the model ID
MODEL_PREFIX="trained_models/XXX/model/"
# Replace variable with the model directory path
MODEL_DIR=/root/model/modeltest
curl -v -G "$COS_ENDPOINT/$CUSTOMER_BUCKET" --data-urlencode "list-type=2" --data-urlencode "prefix=$MODEL_PREFIX" -H "Authorization: Bearer $BEARER_TOKEN" >/tmp/rawxml.txt
cat /tmp/rawxml.txt | awk '{split($0,a,"<Key>"); for (i=1; i<=length(a); i++)  print a[i]}' >/tmp/keysonnewline.txt
mkdir -p "$MODEL_DIR"
while read -r line; do
    if [[ "$line" != "trained_models"* ]]; then
        continue
    fi
    KEY_TO_DOWNLOAD=$(echo "$line" | awk -F '<' '{print $1}')
    FILE_NAME=$(basename "$KEY_TO_DOWNLOAD")
    curl -X "GET" "$COS_ENDPOINT/$CUSTOMER_BUCKET/$KEY_TO_DOWNLOAD" -H "Authorization: Bearer $BEARER_TOKEN" >"${MODEL_DIR}/$FILE_NAME"
done </tmp/keysonnewline.txt

然后使用 ilab 命令来提供服务和聊天。

ilab model serve --model-path $MODEL_DIR -- --tensor-parallel-size 1 --host 0.0.0.0 --port 8080

ilab model chat --endpoint-url http://localhost:8080/v1 -m $MODEL_DIR

将模型部署到 Watsonx 上 IBM Cloud

注册 IBM watsonx as a Service。
登录并创建一个 API 密钥。
如果您还没有项目，请创建一个项目。
添加连接连接到 IBM Cloud 中的 Object Storage 数据源。
导入模型。
部署模型。
测试部署情况。

将模型部署到 Red Hat OpenShift AI

如果您尚未执行此操作，请在您的集群上运行安装 Red Hat OpenShift AI 插件。该插件的安装过程可能需要长达15分钟。
安装完该插件后，请转至 OpenShift 的AI仪表盘。
单击“数据科学项目”，然后单击“创建项目”。
按照提示为您的项目命名并添加描述，然后点击 “创建”。
找到 “Serve 模型”部分，然后选择 “单模型服务平台”选项。
单击部署模型。
填写所需的配置属性。若要指定使用 Red Hat AI 推理训练的模型，请找到 “源模型位置”部分，并选择 “S3 兼容对象存储 -v1”连接类型。
在 “连接详细信息”下，请指定用于存储已训练模型数据的 COS 存储桶的访问密钥、密钥、端点和存储桶名称。请指定您模型的路径，或指定存储桶中包含该模型的文件夹路径。
填写完剩余的配置属性后，请单击 “部署”。
要验证并查看模型部署的状态，请单击 “模型” >“模型部署”，然后选择您创建该模型的数据科学项目。