Come funziona la fatturazione?

L'utilizzo del sito Inferenza AI di Red Hat comporta dei costi. Se si utilizza l'allineamento dei modelli, si sostengono anche dei costi per IBM Cloud® Object Storage, che viene utilizzato come sede di stoccaggio.

Se distribuisci il tuo modello su un altro servizio, dovrai sostenere costi aggiuntivi a carico di tale servizio.

Come viene calcolato il costo su Inferenza AI di Red Hat?

Il costo derivante dall'utilizzo di " Inferenza AI di Red Hat " si basa su metriche misurate in token. Ogni token corrisponde a una quantità specifica di potenza di calcolo necessaria per le operazioni di elaborazione. Il numero totale di token consumati influisce direttamente sull'entità della generazione dei dati, della messa a punto del modello o dell'inferenza. Questo indicatore costituisce la base del nostro sistema di fatturazione, consentendo agli utenti di monitorare e controllare i propri costi in base alle risorse di calcolo utilizzate.

Generazione di dati sintetici (SDG)

I token di output (SYN-DATA-TOKEN) vengono calcolati in base al volume dei dati generati dal servizio a partire dall'intera tassonomia di input. Il testo viene tokenizzato utilizzando la libreria di tokenizzazione disponibile all'indirizzo Hugging Face con le informazioni di tokenizzazione relative al modello "teacher" di Mistral.

Addestramento per l'allineamento dei modelli

I token di input (MODEL-TRAIN-TOKEN) vengono calcolati in base alla quantità di dati immessi nel sistema per l'addestramento dell'allineamento del modello, nonché alle conoscenze di base dell' Granite, utilizzate per aumentare la precisione senza perdita di conoscenza. Data la natura delle conoscenze di base utilizzate, il costo è minimo.

Inferenza con un modello

I costi di inferenza vengono calcolati separatamente per i token di input e di output, modello per modello. I token di input rappresentano il prompt o la query inviati al modello, mentre i token di output rappresentano la risposta generata dal modello. Ogni modello ha una propria struttura tariffaria, basata sulle dimensioni e sui requisiti computazionali.

Come posso individuare e monitorare le informazioni sui costi durante l'addestramento di un modello?

1. Prima di avviare qualsiasi operazione su Inferenza AI di Red Hat, puoi utilizzare lo strumento di stima dei costi per ottenere una stima dei costi previsti.

2. Carica la tua tassonomia

3. Quando si impostano i dettagli per la generazione dei dati, verificare il costo stimato prima di avviare il processo.

4. Una volta generati i dati, è possibile visualizzare anche il numero stimato di token di output nei dettagli relativi a quella generazione di dati.

5. Quando si impostano i dettagli del lavoro di formazione, verificare il costo stimato prima di avviare il lavoro.

6. Una volta completati i lavori, è possibile verificare i costi effettivi nella sezione " Fatturazione e utilizzo ". È possibile visualizzare i costi sia per Inferenza AI di Red Hat che per il IBM Cloud® Object Storage servizio, utilizzato come sede di archiviazione.

Le operazioni non andate a buon fine vengono fatturate?

Le operazioni non andate a buon fine non vengono fatturate. Vengono fatturate sia le operazioni andate a buon fine sia quelle annullate dall'utente; tuttavia, nel caso di queste ultime, l'importo viene calcolato proporzionalmente in base alla parte di elaborazione già completata.