Como o faturamento funciona?

Você arcará com os custos decorrentes do uso do site Inferência de IA da Red Hat. Se você utilizar o alinhamento de modelos, também incorrerá em custos com IBM Cloud® Object Storage, que é utilizado como local de armazenamento.

Se você implantar seu modelo em outro serviço, terá que arcar com custos adicionais cobrados por esse serviço.

Como o custo é calculado no site Inferência de IA da Red Hat?

O custo decorrente do uso do Inferência de IA da Red Hat é baseado em métricas medidas em tokens. Cada token corresponde a uma quantidade específica de poder computacional necessária para as tarefas de processamento. O número total de tokens consumidos influencia diretamente a escala da geração de dados, do ajuste fino do modelo ou da inferência. Essa métrica serve de base para o nosso sistema de cobrança, permitindo que os usuários monitorem e controlem seus custos de acordo com os recursos computacionais utilizados.

Geração de dados sintéticos (SDG)

Os tokens de saída (SYN-DATA-TOKEN) são calculados com base no volume de dados gerados pelo serviço a partir de toda a taxonomia de entrada. O texto é tokenizado utilizando a biblioteca de tokenização disponível em Hugging Face, com as informações de tokenização do modelo de treinamento Mistral.

Treinamento de alinhamento de modelos

Os tokens de entrada (MODEL-TRAIN-TOKEN) são calculados com base na quantidade de dados inseridos no sistema para o treinamento de alinhamento do modelo, bem como no conhecimento de base do Granite, que é utilizado para aumentar a precisão sem perda de conhecimento. Devido ao conhecimento básico utilizado, o custo é mínimo.

Inferência com um modelo

Os custos de inferência são calculados separadamente para os tokens de entrada e de saída, por modelo. Os tokens de entrada representam o seu prompt ou a sua consulta enviada ao modelo, enquanto os tokens de saída representam a resposta gerada pelo modelo. Cada modelo possui sua própria estrutura de preços, com base em seu tamanho e requisitos computacionais.

Como posso encontrar e acompanhar as informações de custo enquanto treino um modelo?

1. Antes de começar a executar qualquer coisa no Inferência de IA da Red Hat, você pode usar o estimador de custos para ter uma ideia de quanto isso pode custar.

2. Carregue sua taxonomia

3. Ao definir os detalhes para a geração de dados, verifique o custo estimado antes de iniciar o trabalho.

4. Após a geração dos dados, você também pode visualizar a estimativa de tokens de saída nos detalhes dessa geração de dados.

5. Ao definir os detalhes da tarefa de treinamento, verifique o custo estimado antes de iniciar a tarefa.

6. Quando os trabalhos estiverem concluídos, você poderá verificar os custos reais na seção “Faturamento e uso ”. É possível visualizar os custos tanto do serviço “ Inferência de IA da Red Hat ” quanto do IBM Cloud® Object Storage serviço, que é utilizado como local de armazenamento.

As operações com falha são cobradas?

As operações com falha não são cobradas. As operações bem-sucedidas e as canceladas pelo usuário são cobradas, embora as operações canceladas pelo usuário sejam rateadas com base no processamento já concluído.