모델 배포 Red Hat AI 추론

모델을 배포할 방법을 선택하세요.

Red Hat AI Inference 모델 정렬, 합성 데이터 생성 및 분류 체계 관리 기능은 더 이상 지원되지 않으며, 2026년 9월 25일에 제거될 예정입니다. 모델 사용자 지정 및 정렬 워크플로를 계속 진행하려면 OpenShift 에서 Red Hat® OpenShift® AI On으로 마이그레이션하십시오. Red Hat® OpenShift® AI에 대해 자세히 알아보세요.

모델을 RHEL-AI에 배포하기 IBM Cloud

  1. IBM Cloud 에 RHEL-AI를 설치합니다.

  2. IBM Cloud CLI를 사용하여 베어러 토큰을 가져옵니다.

    ibmcloud iam oauth-tokens

  3. 이 bash 스크립트의 변수 값을 업데이트한 후 실행하세요.

    #!/usr/bin/env bash
# Replace variable with the bearer token
BEARER_TOKEN="XXX"
# Replace variable with the Object Storage bucket name
CUSTOMER_BUCKET="XXX"
# Replace variable with the Object Storage endpoint
COS_ENDPOINT=https://s3.direct.us-east.cloud-object-storage.appdomain.cloud
# Replace variable with the model ID
MODEL_PREFIX="trained_models/XXX/model/"
# Replace variable with the model directory path
MODEL_DIR=/root/model/modeltest
curl -v -G "$COS_ENDPOINT/$CUSTOMER_BUCKET" --data-urlencode "list-type=2" --data-urlencode "prefix=$MODEL_PREFIX" -H "Authorization: Bearer $BEARER_TOKEN" >/tmp/rawxml.txt
cat /tmp/rawxml.txt | awk '{split($0,a,"<Key>"); for (i=1; i<=length(a); i++)  print a[i]}' >/tmp/keysonnewline.txt
mkdir -p "$MODEL_DIR"
while read -r line; do
    if [[ "$line" != "trained_models"* ]]; then
        continue
    fi
    KEY_TO_DOWNLOAD=$(echo "$line" | awk -F '<' '{print $1}')
    FILE_NAME=$(basename "$KEY_TO_DOWNLOAD")
    curl -X "GET" "$COS_ENDPOINT/$CUSTOMER_BUCKET/$KEY_TO_DOWNLOAD" -H "Authorization: Bearer $BEARER_TOKEN" >"${MODEL_DIR}/$FILE_NAME"
done </tmp/keysonnewline.txt

  4. 그런 다음 ilab 명령어를 사용하여 서비스를 제공하고 채팅을 하세요.

    ilab model serve --model-path $MODEL_DIR -- --tensor-parallel-size 1 --host 0.0.0.0 --port 8080

    ilab model chat --endpoint-url http://localhost:8080/v1 -m $MODEL_DIR

Watsonx 에 모델 배포하기 IBM Cloud

  1. 가입하기 IBM watsonx as a Service.

  2. 로그인한 후 API 키를 생성하세요.

  3. 아직 프로젝트가 없다면, 프로젝트를 생성하세요.

  4. IBM Cloud 에서 ‘ Object Storage ’ 데이터 소스에 대한 연결을 추가합니다.

  5. 모델을 불러옵니다.

  6. 모델을 배포합니다.

  7. 배포를 테스트해 보세요.

Red Hat OpenShift AI에 모델 배포하기

  1. 아직 설치하지 않으셨다면, 클러스터에 ‘ Red Hat OpenShift ’ AI 애드온을 설치하십시오. 애드온 설치에는 최대 15분이 소요될 수 있습니다.
  2. 애드온을 설치한 후, OpenShift AI 대시보드로 이동하세요.
  3. ‘데이터 과학 프로젝트’를 클릭한 다음, ‘프로젝트 만들기’를 클릭합니다.
  4. 화면의 안내에 따라 프로젝트 이름과 설명을 입력한 다음, ‘만들기’를 클릭하세요.
  5. “Serve 모델” 섹션을 찾아 “단일 모델 제공 플랫폼” 옵션을 선택하세요.
  6. 모델 배치를 클릭하십시오.
  7. 필요한 구성 속성을 입력하십시오. Red Hat AI 추론 로 훈련한 모델을 지정하려면 ‘소스 모델 위치’ 섹션을 찾아 ‘ S3 호환 객체 스토리지’ -v1 연결 유형을 선택하십시오.
  8. '연결 세부 정보 '에서, 학습된 모델 데이터가 저장된 COS 버킷의 액세스 키, 시크릿 키, 엔드포인트 및 버킷 이름을 지정하십시오. 버킷 내의 모델 파일이나 모델이 포함된 폴더의 경로를 지정하십시오.
  9. 나머지 구성 속성을 모두 입력한 후 ‘배포’를 클릭하십시오.
  10. 모델 배포 상태를 확인하고 점검하려면 [모델] > [모델 배포 ]를 클릭한 다음, 해당 모델을 생성한 데이터 사이언스 프로젝트를 선택하세요.