모델 나열

프로젝트에서 사용할 수 있는 파운데이션 모델이 무엇인지 파악하고 각 모델의 기능을 이해함으로써, 특정 사용 사례에 가장 적합한 모델을 선택하고 응답 품질, 속도, 비용 등의 요소를 최적화할 수 있습니다.

시작하기 전에

  • IBM Cloud 계정을 종량제 또는 구독형으로 생성하세요. 체험 계정은 지원되지 않습니다. 자세한 내용을 확인하거나 계정을 업그레이드하려면 ‘계정 유형’을 참조하세요.

  • Red Hat AI Inference 프로젝트를 생성합니다.

  • Red Hat AI Inference 서비스에서 ‘Writer’ 역할 이상을 보유하고 있는지 확인하십시오. 자세한 내용은 ‘IAM 액세스 관리’를 참조하십시오.

시작하기 전에

  • IBM Cloud 계정을 종량제 또는 구독형으로 생성하세요. 체험 계정은 지원되지 않습니다. 자세한 내용을 확인하거나 계정을 업그레이드하려면 ‘계정 유형’을 참조하세요.

  • Red Hat AI Inference 프로젝트를 생성합니다.

  • Red Hat AI Inference 서비스에서 ‘Writer’ 역할 이상을 보유하고 있는지 확인하십시오. 자세한 내용은 ‘IAM 액세스 관리’를 참조하십시오.

  • API에 인증하십시오.

  • API 엔드포인트를 확인하세요. 모든 API 요청은 다음과 같은 기본 형식 URL 을 따릅니다:

    https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference

    <project_id> 을 여러분의 프로젝트 ID로 바꾸세요. 이를 찾으려면 Red Hat AI Inference projects로 이동하여 해당 프로젝트를 열어보세요.

콘솔을 사용하여 모델 나열하기

이 콘솔은 다양한 모델을 실험하고, 프롬프트를 테스트하며, 애플리케이션에 통합하기 전에 AI 상호작용을 다듬을 수 있는 대화형 테스트 환경을 제공합니다.

이 플레이그라운드는 임베딩을 지원하지 않습니다. API를 사용하여 임베딩을 생성하세요.

  1. 콘솔에서 ‘ Red Hat AI Inference ’ 서비스를 엽니다.
  2. ‘모델 카탈로그’를 클릭하여 제공되는 모델을 살펴보세요.

API를 사용하여 모델 나열하기

다음 예제는 모델을 나열하는 방법을 보여줍니다. 사용 가능한 매개변수의 전체 목록을 보려면 OpenAI List Models를 참조하십시오.

curl -L 'https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference/models' \
-H 'Accept: application/json' -H "Authorization: Bearer <bearer_token>"

from openai import OpenAI
client = OpenAI(
  api_key="<bearer_token>",
  base_url="https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference",
)
models = client.models.list()
print(models)

모델 응답에서 supports_embeddings 가 true 인 경우, 해당 모델을 사용하여 임베딩을 생성할 수 있습니다.

API를 사용하여 ID로 모델 가져오기

특정 모델에 대한 상세 정보를 확인하면, 해당 모델을 애플리케이션에 적용하기 전에 그 특성, 기능 및 한계를 파악하는 데 도움이 됩니다.

다음 예제는 ID를 사용하여 모델을 가져오는 방법을 보여줍니다. 사용 가능한 매개변수의 전체 목록을 보려면 ‘모델 가져오기’를 참조하십시오.

curl -L 'https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference/models/<model>' \
-H 'Accept: application/json' -H "Authorization: Bearer <bearer_token>"

from openai import OpenAI
client = OpenAI(
  api_key="<bearer_token>",
  base_url="https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference",
)
model = client.models.retrieve("<model>")  # for example, "granite-4-0-h-small"
print(model)

모델 응답에서 supports_embeddings 가 true 인 경우, 해당 모델을 사용하여 임베딩을 생성할 수 있습니다.