列出模型

了解您的專案中可用的基礎模型有哪些，並掌握其功能，以便您能針對特定使用情境選用最適合的模型，並針對回應品質、速度或成本等因素進行最佳化。

開始之前

  • 建立一個「隨用隨付」或「訂閱制」的 IBM Cloud 帳戶。 不支援試用帳戶。 如需更多資訊或欲升級您的帳戶，請參閱「帳戶類型」。

  • 建立 一個「Red Hat AI Inference」專案。

  • 請確認您在「Red Hat AI Inference」服務上擁有「Writer」角色或更高級別的權限。 如需更多資訊，請參閱《 管理 IAM 存取權限 》。

開始之前

  • 建立一個「隨用隨付」或「訂閱制」的 IBM Cloud 帳戶。 不支援試用帳戶。 如需更多資訊或欲升級您的帳戶，請參閱「帳戶類型」。

  • 建立 一個「Red Hat AI Inference」專案。

  • 請確認您在「Red Hat AI Inference」服務上擁有「Writer」角色或更高級別的權限。 如需更多資訊，請參閱《 管理 IAM 存取權限 》。

  • 對 API 進行驗證。

  • 取得您的 API 端點。 所有 API 請求均採用以下基本格式：URL：

    https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference

    請將 <project_id> 替換為您的專案 ID。 要找到它，請前往 Red Hat AI Inference projects 並開啟您的專案。

使用控制台列出模型

此控制台提供了一個互動式實驗環境，讓您可以在將其整合至應用程式之前，在此嘗試不同的模型、測試提示詞，並優化您的 AI 互動體驗。

此遊樂場不支援嵌入功能。 使用 API 來 建立嵌入向量。

  1. 在控制台中，開啟「Red Hat AI Inference」服務。
  2. 點擊「型號目錄」以瀏覽可選型號。

使用 API 列出模型

以下範例示範如何列出模型。 如需查看所有可用參數的完整清單，請參閱 OpenAI List Models。

curl -L 'https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference/models' \
-H 'Accept: application/json' -H "Authorization: Bearer <bearer_token>"

from openai import OpenAI
client = OpenAI(
  api_key="<bearer_token>",
  base_url="https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference",
)
models = client.models.list()
print(models)

若模型回應中 supports_embeddings 的值為 true，則可使用該模型來建立嵌入向量。

使用 API 根據 ID 取得模型

檢索特定模型的詳細資訊，有助於您在將其應用於您的應用程式之前，先了解該模型的特性、功能及限制。

以下範例示範如何根據 ID 取得模型。 如需查看所有可用參數的完整清單，請參閱「擷取模型」。

curl -L 'https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference/models/<model>' \
-H 'Accept: application/json' -H "Authorization: Bearer <bearer_token>"

from openai import OpenAI
client = OpenAI(
  api_key="<bearer_token>",
  base_url="https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference",
)
model = client.models.retrieve("<model>")  # for example, "granite-4-0-h-small"
print(model)

若模型回應中 supports_embeddings 的值為 true，則可使用該模型來建立嵌入向量。