API 엔드포인트

모든 API 요청은 다음과 같은 기본 형식 URL 을 따릅니다:

https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference

<project_id> 을 여러분의 프로젝트 ID로 대체하세요. 이를 찾으려면 Red Hat AI Inference projects로 이동하여 해당 프로젝트를 열어보세요.

API에 대한 인증

API 호출을 수행하기 전에 요청에 대한 인증을 완료해야 합니다. 베어러 토큰이나 IBM Cloud API 키 중 하나를 사용하여 인증할 수 있습니다.

curl -X POST "https://iam.cloud.ibm.com/identity/token" --header "Content-Type: application/x-www-form-urlencoded" --header "Accept: application/json" --data-urlencode "grant_type=urn:ibm:params:oauth:grant-type:apikey" --data-urlencode "apikey=$<IBM_CLOUD_API_KEY>"

{"access_token":"xxxxx","refresh_token":"not_supported","token_type":"Bearer","expires_in":3600,"expiration":1770058324,"scope":"ibm openid"}

채팅 자동 완성 생성

채팅 자동 완성 기능은 추론의 핵심입니다. 이를 통해 기초 모델에 메시지를 전송하고 AI가 생성한 응답을 받을 수 있습니다. 이것이 바로 대화형 경험을 구축하고, 질문에 대한 답변을 얻으며, 콘텐츠를 생성하거나, 자연어 입력을 처리하는 방법입니다. 모델의 동작을 정의하는 시스템 프롬프트를 제공하고, 맥락을 고려한 상호작용을 위해 메시지 이력을 관리함으로써 대화 흐름을 제어할 수 있습니다.

다음 예제는 채팅 자동 완성 기능을 생성하는 방법을 보여줍니다. 사용 가능한 매개변수의 전체 목록을 보려면 OpenAI 채팅 자동 완성 문서를 참조하십시오.

curl https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference/chat/completions -H "Content-Type: application/json" -H "Authorization: Bearer <bearer_token>" -d '{
 "model": "granite-4-0-h-small",
 "messages": [
   {
     "role": "developer",
     "content": "You are a helpful assistant"
   },
   {
     "role": "user",
     "content": "Hello! Tell me about yourself"
   }
 ]
}'

from openai import OpenAI
client = OpenAI(
  api_key="<bearer_token>",
  base_url="https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference",
)
completion = client.chat.completions.create(
  model="granite-4-0-h-small",
  messages=[
    {"role": "developer", "content": "You are a helpful assistant."},
    {"role": "user", "content": "Hello! Tell me about yourself"}
  ]
)
print(completion.choices[0].message)

ID를 통해 채팅 내용 자동 완성하기

ID를 통해 특정 채팅 완료 내역을 조회하는 기능은 감사, 디버깅 또는 과거 상호작용 분석에 유용합니다.

다음 예제는 ID를 사용하여 채팅 자동 완성 결과를 가져오는 방법을 보여줍니다. 사용 가능한 매개변수의 전체 목록을 보려면 ‘채팅 자동 완성 가져오기’를 참조하세요.

curl -L 'https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference/chat/completions/<completion_id>' \
-H 'Accept: application/json' -H "Authorization: Bearer <bearer_token>"

from openai import OpenAI
client = OpenAI(
  api_key="<bearer_token>",
  base_url="https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference",
)
completion = client.chat.completions.retrieve(completion_id="<completion_id>")
print(completion)

채팅 자동 완성 목록

채팅 자동 완성 내역을 나열하면 모든 추론 활동에 대한 개요를 확인할 수 있으므로, 사용 패턴을 모니터링하고 비용을 추적하며, 애플리케이션이 파운데이션 모델과 어떻게 상호작용하는지 분석할 수 있습니다. 이는 사용자 행동을 이해하고, 널리 사용되는 활용 사례를 파악하며, AI 통합 전략을 최적화하는 데 특히 유용합니다.

다음 예제는 채팅 자동 완성 항목을 나열하는 방법을 보여줍니다. 사용 가능한 매개변수의 전체 목록을 보려면 ‘채팅 자동 완성 목록’을 참조하십시오.

curl -L 'https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference/chat/completions' \
-H 'Accept: application/json' -H "Authorization: Bearer <bearer_token>"

from openai import OpenAI
client = OpenAI(
  api_key="<bearer_token>",
  base_url="https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference",
)
completions = client.chat.completions.list()
print(completions)

채팅 자동 완성 삭제하기

채팅 자동 완성 항목을 삭제하면 테스트 데이터를 정리하고 개인정보 보호 요건을 준수하는 데 도움이 됩니다.

다음 예제는 채팅 자동 완성 항목을 삭제하는 방법을 보여줍니다. 사용 가능한 매개변수의 전체 목록을 보려면 ‘채팅 자동 완성 삭제’를 참조하세요.

curl -X DELETE https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference/chat/completions/<completion_id> \
-H "Content-Type: application/json" -H "Authorization: Bearer <bearer_token>"

모델 나열

프로젝트에서 사용할 수 있는 파운데이션 모델이 무엇인지 파악하고 각 모델의 기능을 이해함으로써, 특정 사용 사례에 가장 적합한 모델을 선택하고 응답 품질, 속도, 비용 등의 요소를 최적화할 수 있습니다.

다음 예제는 모델을 나열하는 방법을 보여줍니다. 사용 가능한 매개변수의 전체 목록을 보려면 OpenAI List Models를 참조하십시오.

curl -L 'https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference/models' \
-H 'Accept: application/json' -H "Authorization: Bearer <bearer_token>"

from openai import OpenAI
client = OpenAI(
  api_key="<bearer_token>",
  base_url="https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference",
)
models = client.models.list()
print(models)

ID로 모델 가져오기

특정 모델에 대한 상세 정보를 확인하면, 애플리케이션에서 해당 모델을 사용하기 전에 그 특성, 기능 및 한계를 파악하는 데 도움이 됩니다.

다음 예제는 ID를 사용하여 모델을 가져오는 방법을 보여줍니다. 사용 가능한 매개변수의 전체 목록을 보려면 ‘모델 가져오기’를 참조하십시오.

curl -L 'https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference/models/<model>' \
-H 'Accept: application/json' -H "Authorization: Bearer <bearer_token>"

from openai import OpenAI
client = OpenAI(
  api_key="<bearer_token>",
  base_url="https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference",
)
model = client.models.retrieve("<model>")  # for example, "granite-4-0-h-small"
print(model)