다음 대상에 모델 배포 InstructLab

모델 배포 방법을 선택합니다.

RHEL-AI에 모델 배포하기 IBM Cloud

  1. IBM Cloud 에 RHEL-AI를 설치합니다.

  2. IBM Cloud CLI를 사용하여 무기명 토큰을 받습니다.

    ibmcloud iam oauth-tokens

  3. 이 bash 스크립트에서 변수를 업데이트하고 실행합니다.

    #!/usr/bin/env bash
# Replace variable with the bearer token
BEARER_TOKEN="XXX"
# Replace variable with the Object Storage bucket name
CUSTOMER_BUCKET="XXX"
# Replace variable with the Object Storage endpoint
COS_ENDPOINT=https://s3.direct.us-east.cloud-object-storage.appdomain.cloud
# Replace variable with the model ID
MODEL_PREFIX="trained_models/XXX/model/"
# Replace variable with the model directory path
MODEL_DIR=/root/model/modeltest
curl -v -G "$COS_ENDPOINT/$CUSTOMER_BUCKET" --data-urlencode "list-type=2" --data-urlencode "prefix=$MODEL_PREFIX" -H "Authorization: Bearer $BEARER_TOKEN" >/tmp/rawxml.txt
cat /tmp/rawxml.txt | awk '{split($0,a,"<Key>"); for (i=1; i<=length(a); i++)  print a[i]}' >/tmp/keysonnewline.txt
mkdir -p "$MODEL_DIR"
while read -r line; do
    if [[ "$line" != "trained_models"* ]]; then
        continue
    fi
    KEY_TO_DOWNLOAD=$(echo "$line" | awk -F '<' '{print $1}')
    FILE_NAME=$(basename "$KEY_TO_DOWNLOAD")
    curl -X "GET" "$COS_ENDPOINT/$CUSTOMER_BUCKET/$KEY_TO_DOWNLOAD" -H "Authorization: Bearer $BEARER_TOKEN" >"${MODEL_DIR}/$FILE_NAME"
done </tmp/keysonnewline.txt

  4. 그런 다음 ilab 명령을 사용하여 서비스를 제공하고 채팅합니다.

    ilab model serve --model-path $MODEL_DIR -- --tensor-parallel-size 1 --host 0.0.0.0 --port 8080

    ilab model chat --endpoint-url http://localhost:8080/v1 -m $MODEL_DIR

Watsonx 에 모델 배포 IBM Cloud

  1. 에 가입 IBM watsonx as a Service.

  2. 로그인하여 API 키를 생성합니다.

  3. 아직 프로젝트가 없다면 프로젝트를 만드세요.

  4. IBM Cloud 에서 Object Storage 데이터 원본에 대한 연결을 추가합니다.

  5. 모델을 가져옵니다.

  6. 모델을 배포합니다.

  7. 배포를 테스트합니다.

Red Hat OpenShift AI에 모델 배포

  1. 아직 설치하지 않았다면 클러스터에서 Red Hat OpenShift AI 애드온 설치. 애드온을 설치하는 데 최대 15분 정도 걸릴 수 있습니다.
  2. 애드온이 설치되면 OpenShift AI 대시보드로 이동합니다.
  3. 데이터 과학 프로젝트를 클릭한 다음 프로젝트 만들기를 클릭합니다.
  4. 메시지에 따라 프로젝트의 이름과 설명을 입력한 다음 만들기를 클릭합니다.
  5. 서빙 모델 섹션을 찾아 단일 모델 서빙 플랫폼 옵션을 선택합니다.
  6. 모델 배치를 클릭하십시오.
  7. 필요한 구성 속성을 입력합니다. InstructLab 로 학습한 모델을 지정하려면 소스 모델 위치 섹션을 찾아 S3 호환되는 객체 스토리지 -v1 연결 유형을 선택합니다.
  8. 연결 세부 정보에서 학습된 모델 데이터가 저장된 COS 버킷의 액세스 키, 비밀 키, 엔드포인트 및 버킷 이름을 지정합니다. 버킷 내에서 모델 또는 모델이 포함된 폴더의 경로를 지정합니다.
  9. 나머지 구성 속성을 모두 작성했으면 배포를 클릭합니다.
  10. 모델 배포의 상태를 확인하고 확인하려면 모델 > 모델 배포를 클릭하고 모델을 만든 데이터 과학 프로젝트를 선택합니다.