Elenco dei modelli

Scopri quali modelli di foundation sono disponibili nel tuo progetto e comprendi le loro funzionalità, in modo da poter utilizzare il modello più adatto al tuo caso d'uso specifico e ottimizzarlo in base a fattori quali la qualità della risposta, la velocità o il costo.

Prima di iniziare

  • Crea un account " IBM Cloud " con pagamento a consumo o in abbonamento. Non sono supportati gli account di prova. Per ulteriori informazioni o per passare a un account di livello superiore, consulta la sezione " Tipi di account ".

  • Crea un progetto " Red Hat AI Inference ".

  • Assicurati di disporre del ruolo "Writer" o di un ruolo superiore nel servizio " Red Hat AI Inference ". Per ulteriori informazioni, vedi Gestione dell'accesso IAM.

Prima di iniziare

  • Crea un account " IBM Cloud " con pagamento a consumo o in abbonamento. Non sono supportati gli account di prova. Per ulteriori informazioni o per passare a un account di livello superiore, consulta la sezione " Tipi di account ".

  • Crea un progetto " Red Hat AI Inference ".

  • Assicurati di disporre del ruolo "Writer" o di un ruolo superiore nel servizio " Red Hat AI Inference ". Per ulteriori informazioni, vedi Gestione dell'accesso IAM.

  • Effettuare l'autenticazione all'API.

  • Ottieni il tuo endpoint API. Tutte le richieste API utilizzano il seguente formato di base URL:

    https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference

    Sostituisci <project_id> con l'ID del tuo progetto. Per trovarlo, vai su Red Hat AI Inference projects e apri il tuo progetto.

Elencare i modelli utilizzando la console

La console offre un ambiente di prova interattivo in cui è possibile sperimentare diversi modelli, testare i prompt e perfezionare le interazioni con l'IA prima di integrarle nelle proprie applicazioni.

Il playground non supporta l'incorporamento. Utilizza l'API per creare embedding.

  1. Nella console, aprire il servizio " Red Hat AI Inference ".
  2. Clicca su " Catalogo modelli " per scoprire i modelli disponibili.

Elencare i modelli utilizzando l'API

L'esempio seguente mostra come elencare i modelli. Per un elenco completo dei parametri disponibili, consultare la sezione “Elenco dei modelli” all’indirizzo OpenAI.

curl -L 'https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference/models' \
-H 'Accept: application/json' -H "Authorization: Bearer <bearer_token>"

from openai import OpenAI
client = OpenAI(
  api_key="<bearer_token>",
  base_url="https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference",
)
models = client.models.list()
print(models)

Se, nella risposta del modello, supports_embeddings è true, il modello può essere utilizzato per creare embedding.

Ottenere un modello tramite ID utilizzando l'API

Ottenere informazioni dettagliate su un modello specifico ti aiuta a comprenderne le caratteristiche, le funzionalità e i limiti prima di utilizzarlo nella tua applicazione.

L'esempio seguente mostra come recuperare un modello in base all'ID. Per un elenco completo dei parametri disponibili, consultare la sezione " Recupero del modello ".

curl -L 'https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference/models/<model>' \
-H 'Accept: application/json' -H "Authorization: Bearer <bearer_token>"

from openai import OpenAI
client = OpenAI(
  api_key="<bearer_token>",
  base_url="https://us-east.rhai.ibm.com/v1/projects/<project_id>/inference",
)
model = client.models.retrieve("<model>")  # for example, "granite-4-0-h-small"
print(model)

Se, nella risposta del modello, supports_embeddings è true, il modello può essere utilizzato per creare embedding.