モデルのデプロイ Red Hat AI Inference

モデルのデプロイ方法を選択してください。

Red Hat AI Inference モデルアラインメント、合成データの生成、および分類管理機能は非推奨となっており、2026年9月25日に削除される予定です。モデルのカスタマイズおよびアライメントのワークフローを継続するには、 OpenShift の「 Red Hat® OpenShift® AI On」へ移行してください。 Red Hat® OpenShift® のAIについて詳しくはこちら。

モデルを RHEL-AI にデプロイする IBM Cloud

IBM Cloud にRHEL-AIをインストールします。
IBM Cloud CLI を使用して、ベアラー・トークンを取得します。
```
ibmcloud iam oauth-tokens
```

このBashスクリプト内の変数を更新して、実行してください。

#!/usr/bin/env bash
# Replace variable with the bearer token
BEARER_TOKEN="XXX"
# Replace variable with the Object Storage bucket name
CUSTOMER_BUCKET="XXX"
# Replace variable with the Object Storage endpoint
COS_ENDPOINT=https://s3.direct.us-east.cloud-object-storage.appdomain.cloud
# Replace variable with the model ID
MODEL_PREFIX="trained_models/XXX/model/"
# Replace variable with the model directory path
MODEL_DIR=/root/model/modeltest
curl -v -G "$COS_ENDPOINT/$CUSTOMER_BUCKET" --data-urlencode "list-type=2" --data-urlencode "prefix=$MODEL_PREFIX" -H "Authorization: Bearer $BEARER_TOKEN" >/tmp/rawxml.txt
cat /tmp/rawxml.txt | awk '{split($0,a,"<Key>"); for (i=1; i<=length(a); i++)  print a[i]}' >/tmp/keysonnewline.txt
mkdir -p "$MODEL_DIR"
while read -r line; do
    if [[ "$line" != "trained_models"* ]]; then
        continue
    fi
    KEY_TO_DOWNLOAD=$(echo "$line" | awk -F '<' '{print $1}')
    FILE_NAME=$(basename "$KEY_TO_DOWNLOAD")
    curl -X "GET" "$COS_ENDPOINT/$CUSTOMER_BUCKET/$KEY_TO_DOWNLOAD" -H "Authorization: Bearer $BEARER_TOKEN" >"${MODEL_DIR}/$FILE_NAME"
done </tmp/keysonnewline.txt

その後、 ilab コマンドを使用して、配信やチャットを行ってください。

ilab model serve --model-path $MODEL_DIR -- --tensor-parallel-size 1 --host 0.0.0.0 --port 8080

ilab model chat --endpoint-url http://localhost:8080/v1 -m $MODEL_DIR

Watsonx へのモデルのデプロイ IBM Cloud

登録はこちら IBM watsonx as a Service。
ログインして、APIキーを作成してください。
まだプロジェクトをお持ちでない場合は、プロジェクトを作成してください。
IBM Cloud で、「 Object Storage 」データソースへの接続を追加します。
モデルをインポートします。
モデルをデプロイします。
デプロイメントをテストしてください。

Red Hat OpenShift AIへのモデルのデプロイ

まだインストールしていない場合は、クラスターに「 Red Hat OpenShift 」AIアドオンをインストールしてください。アドオンのインストールには、最大15分ほどかかる場合があります。
アドオンのインストールが完了したら、 OpenShift のAIダッシュボードに移動してください。
「 データサイエンスプロジェクト 」をクリックし、次に「 プロジェクトを作成 」をクリックします。
画面の指示に従って、プロジェクトの名前と説明を入力し、「作成」をクリックしてください。
「 Serve モデル 」セクションを見つけ、「 単一モデルの提供プラットフォーム 」オプションを選択してください。
**「モデルのデプロイ (Deploy model)」**をクリックします。
必要な設定プロパティを入力してください。 Red Hat AI Inference でトレーニングしたモデルを指定するには、「 ソースモデルの場所 」セクションを見つけ、「 S3 互換のオブジェクトストレージ -v1 」接続タイプを選択してください。
[ 接続の詳細 ] で、学習済みモデルデータが保存されている COS バケットのアクセスキー、シークレットキー、エンドポイント、およびバケット名を指定してください。バケット内のモデル、またはモデルが格納されているフォルダのパスを指定してください。
残りの設定プロパティを入力したら、「 デプロイ 」をクリックしてください。
モデルデプロイメントの状態を確認・閲覧するには、 [モデル] > [モデルデプロイメント] をクリックし、そのモデルを作成したデータサイエンスプロジェクトを選択してください。