部署用于 InstructLab

选择部署模型的方式。

将模型部署到 RHEL-AI on IBM Cloud

在 IBM Cloud 上安装 RHEL-AI。
使用 IBM Cloud CLI 获取承载令牌。
```
ibmcloud iam oauth-tokens
```

更新 bash 脚本中的变量并运行它。

#!/usr/bin/env bash
# Replace variable with the bearer token
BEARER_TOKEN="XXX"
# Replace variable with the Object Storage bucket name
CUSTOMER_BUCKET="XXX"
# Replace variable with the Object Storage endpoint
COS_ENDPOINT=https://s3.direct.us-east.cloud-object-storage.appdomain.cloud
# Replace variable with the model ID
MODEL_PREFIX="trained_models/XXX/model/"
# Replace variable with the model directory path
MODEL_DIR=/root/model/modeltest
curl -v -G "$COS_ENDPOINT/$CUSTOMER_BUCKET" --data-urlencode "list-type=2" --data-urlencode "prefix=$MODEL_PREFIX" -H "Authorization: Bearer $BEARER_TOKEN" >/tmp/rawxml.txt
cat /tmp/rawxml.txt | awk '{split($0,a,"<Key>"); for (i=1; i<=length(a); i++)  print a[i]}' >/tmp/keysonnewline.txt
mkdir -p "$MODEL_DIR"
while read -r line; do
    if [[ "$line" != "trained_models"* ]]; then
        continue
    fi
    KEY_TO_DOWNLOAD=$(echo "$line" | awk -F '<' '{print $1}')
    FILE_NAME=$(basename "$KEY_TO_DOWNLOAD")
    curl -X "GET" "$COS_ENDPOINT/$CUSTOMER_BUCKET/$KEY_TO_DOWNLOAD" -H "Authorization: Bearer $BEARER_TOKEN" >"${MODEL_DIR}/$FILE_NAME"
done </tmp/keysonnewline.txt

然后使用 ilab 命令提供服务和聊天。

ilab model serve --model-path $MODEL_DIR -- --tensor-parallel-size 1 --host 0.0.0.0 --port 8080

ilab model chat --endpoint-url http://localhost:8080/v1 -m $MODEL_DIR

将模型部署到 Watsonx 上 IBM Cloud

注册 IBM watsonx as a Service.
登录并创建一个 API 密钥。
如果还没有，请创建一个项目。
在 Object Storage 中添加与 IBM Cloud 数据源的连接。
导入模型
部署模型。
测试部署。

将模型部署到 Red Hat OpenShift AI

如果还没有，安装 Red Hat OpenShift AI 附加组件。插件安装可能需要 15 分钟。
安装插件后，请导航至 OpenShift AI 面板。
单击数据科学项目，然后单击创建项目。
按照提示给项目命名和描述，然后点击创建。
找到“上菜模式”部分，选择“单一模式上菜平台”选项。
单击部署模型。
填写所需的配置属性。要指定使用 InstructLab 训练的模型，请找到源模型位置部分并选择 S3 兼容对象存储 -v1 连接类型。
在 “连接详细信息”下，指定访问密钥、密钥、端点和存储训练模型数据的 COS 存储桶名称。指定模型路径或包含模型的文件夹路径。
填写其余配置属性后，单击“部署”。
要验证和查看模型部署的健康状况，请单击模型 > 模式部署 并选择在其中创建模型的数据科学项目。