モデルの展開 InstructLab

モデルの展開方法を選択します。

モデルをRHEL-AIにデプロイする。 IBM Cloud

  1. IBM Cloud に RHEL-AI をインストールする。

  2. IBM Cloud CLIを使用して、ベアラートークンを取得する。

    ibmcloud iam oauth-tokens

  3. このbashスクリプトの変数を更新して実行する。

    #!/usr/bin/env bash
# Replace variable with the bearer token
BEARER_TOKEN="XXX"
# Replace variable with the Object Storage bucket name
CUSTOMER_BUCKET="XXX"
# Replace variable with the Object Storage endpoint
COS_ENDPOINT=https://s3.direct.us-east.cloud-object-storage.appdomain.cloud
# Replace variable with the model ID
MODEL_PREFIX="trained_models/XXX/model/"
# Replace variable with the model directory path
MODEL_DIR=/root/model/modeltest
curl -v -G "$COS_ENDPOINT/$CUSTOMER_BUCKET" --data-urlencode "list-type=2" --data-urlencode "prefix=$MODEL_PREFIX" -H "Authorization: Bearer $BEARER_TOKEN" >/tmp/rawxml.txt
cat /tmp/rawxml.txt | awk '{split($0,a,"<Key>"); for (i=1; i<=length(a); i++)  print a[i]}' >/tmp/keysonnewline.txt
mkdir -p "$MODEL_DIR"
while read -r line; do
    if [[ "$line" != "trained_models"* ]]; then
        continue
    fi
    KEY_TO_DOWNLOAD=$(echo "$line" | awk -F '<' '{print $1}')
    FILE_NAME=$(basename "$KEY_TO_DOWNLOAD")
    curl -X "GET" "$COS_ENDPOINT/$CUSTOMER_BUCKET/$KEY_TO_DOWNLOAD" -H "Authorization: Bearer $BEARER_TOKEN" >"${MODEL_DIR}/$FILE_NAME"
done </tmp/keysonnewline.txt

  4. その後、 ilab のコマンドを使ってサーブやチャットを行う。

    ilab model serve --model-path $MODEL_DIR -- --tensor-parallel-size 1 --host 0.0.0.0 --port 8080

    ilab model chat --endpoint-url http://localhost:8080/v1 -m $MODEL_DIR

Watsonx にモデルを配置する。 IBM Cloud

  1. 会員登録 IBM watsonx as a Service.

  2. ログインしてAPIキーを作成 します。

  3. まだ持っていない場合は、 プロジェクトを作成して ください。

  4. IBM Cloud に Object Storage データソースへの 接続を追加する。

  5. モデルをインポートする。

  6. モデルを配置する。

  7. 配備をテストする。

Red Hat OpenShift AIへのモデルの展開

  1. まだの場合は、 Red Hat OpenShift AIアドオンをインストールする。 アドオンのインストールには最大15分かかる場合があります。
  2. アドオンがインストールされたら、 OpenShift AIダッシュボードに移動します。
  3. Data Science Projectsをクリックし、 Create a Projectをクリックする。
  4. プロンプトに従ってプロジェクト名と説明を入力し、「 作成 」をクリックします。
  5. Serve models セクションを探し、 Single-model serving platform オプションを選択します。
  6. **「モデルのデプロイ (Deploy model)」**をクリックします。
  7. 必要な設定プロパティを入力します。 InstructLab でトレーニングしたモデルを指定するには、 Source model location セクションを見つけ、 S3 compatible object storage -v1 connection type を選択します。
  8. 接続の詳細で、アクセスキー、シークレットキー、エンドポイント、および学習済みモデルデータが保存されているCOSバケットのバケット名を指定します。 バケツ内のモデルまたはモデルを含むフォルダへのパスを指定します。
  9. 残りの構成プロパティが入力されたら、 Deployをクリックします。
  10. モデル配備の健全性を確認および表示するには、[ モデル ] > [ モデル配備] をクリックし、モデルを作成したデータ サイエンス プロジェクトを選択します。