수행할 작업

이 튜토리얼에서는 다음과 같은 작업을 수행하게 됩니다:

• IBM Cloud 계정과 프로젝트를 설정하세요.
• 추론 API에 인증합니다.
• 파운데이션 모델을 사용하여 첫 번째 채팅 완성문을 생성해 보세요.
• 자신의 데이터를 사용하여 모델을 맞춤 설정하는 다음 단계에 대해 알아보세요.

시작하기 전에

다음 사항이 준비되어 있는지 확인하십시오:

• 종량제 또는 구독형 IBM Cloud 계정. 체험 계정은 지원되지 않습니다. 자세한 내용을 확인하거나 계정을 업그레이드하려면 ‘계정 유형’을 참조하세요.

• Red Hat AI Inference 의 프로젝트입니다.

• Red Hat AI Inference 서비스에서 ‘Writer’ 역할 이상. 자세한 내용은 ‘IAM 액세스 관리’를 참조하십시오.

프로젝트 ID와 API 엔드포인트를 확인하세요

모든 API 요청 시 프로젝트 ID가 필요합니다.

1. Red Hat AI Inference 프로젝트 로 이동하세요.

2. 프로젝트를 열어주세요.

3. 프로젝트 ID를 복사하여 다음 단계를 위해 잘 보관해 두세요.

https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference

API에 인증하기

파운데이션 모델과 상호작용하기 전에 API 요청에 대한 인증을 완료해야 합니다. 베어러 토큰이나 IBM Cloud API 키 중 하나를 사용할 수 있습니다. 이 튜토리얼에서는 프로그래밍 방식으로 액세스하기 위해 서비스 ID와 API 키를 함께 사용하는 방법을 설명합니다. 베어러 토큰 사용에 대한 자세한 내용은 ‘베어러 토큰을 사용한 인증’을 참조하십시오.

사용 가능한 모델 살펴보기

파운데이션 모델마다 장점이 다르기 때문에, 프로젝트에서 사용할 수 있는 모델들을 꼼꼼히 검토하는 것이 중요합니다.

사용 가능한 모든 모델을 나열하려면 다음 API 호출을 수행하십시오. <project_id> 을 프로젝트 ID로, <api_key> 을 서비스 ID API 키로 각각 대체하십시오:

curl -L 'https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference/models' \
  -H 'Accept: application/json' \
  -H "Authorization: Bearer <api_key>"

from openai import OpenAI
client = OpenAI(
  api_key="<api_key>",
  base_url="https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference",
)
models = client.models.list()
print(models)

이 응답에는 사용할 수 있는 모든 모델과 각 모델의 기능에 대한 정보가 함께 표시됩니다. 다양한 모델을 직접 사용해 보면서 자신의 사용 사례에 가장 적합한 모델을 찾아볼 수 있습니다.

첫 번째 채팅 완성 문구를 생성해 보세요

자, 이제 모델에게 메시지를 보내면 AI가 생성한 답변을 받아볼 수 있습니다.

<project_id> 을 프로젝트 ID로, <api_key> 을 서비스 ID API 키로 대체하여 다음 API 호출을 수행하십시오:

curl https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer <api_key>" \
  -d '{
    "model": "granite-4-0-h-small",
    "messages": [
      {
        "role": "developer",
        "content": "You are a helpful assistant"
      },
      {
        "role": "user",
        "content": "Hello! Tell me about yourself"
      }
    ]
  }'

from openai import OpenAI
client = OpenAI(
  api_key="<api_key>",
  base_url="https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference",
)
completion = client.chat.completions.create(
  model="granite-4-0-h-small",
  messages=[
    {"role": "developer", "content": "You are a helpful assistant."},
    {"role": "user", "content": "Hello! Tell me about yourself"}
  ]
)
print(completion.choices[0].message)

모델이 자신을 소개하는 응답을 받게 될 것입니다.

다음 단계

이제 추론 기능을 성공적으로 사용하기 시작했으니, 다음 단계로 다음과 같은 작업을 수행할 수 있습니다: