关于账单的常问问题 Red Hat AI Inference
关于 Red Hat AI Inference 计费的常见问题可能包括有关费用或存储定价的问题。 如需查看 IBM Cloud® 的所有常见问题解答,请访问我们的 常问问题库。
计费机制是怎样的?
使用 Red Hat AI 推理 会产生费用。 如果您使用模型对齐功能,还将产生 IBM Cloud® Object Storage,该功能将作为存储位置使用。
如果您将模型部署到另一项服务上,则需向该服务支付额外费用。
在 Red Hat AI 推理 中,成本是如何计算的?
Red Hat AI 推理 的使用费用是根据以代币为单位的指标计算的。 每个代币对应处理任务所需的特定数量的算力。 消耗的代币总数直接影响数据生成、模型微调或推理的规模。 该指标是我们计费系统的依据,使用户能够根据所使用的计算资源来监控和控制成本。
- 合成数据生成(SDG)
- 输出代币(
SYN-DATA-TOKEN)是根据服务从整个输入分类法中生成的数据量计算得出的。 该文本使用 Hugging Face 的分词器库,并结合 Mistral教师模型的分词信息进行分词。 - 模型对齐训练
- 输入令牌(
MODEL-TRAIN-TOKEN)是根据输入到系统中用于模型对齐训练的数据量,以及用于在不损失知识的前提下提高准确率的 Granite 基础知识计算得出的。 由于采用了基础知识,因此成本较低。 - 基于模型的推理
- 推理成本是针对每个模型,分别对输入和输出令牌进行计算的。 输入令牌代表您发送给模型的提示或查询,而输出令牌则代表模型生成的响应。 每种模型都有基于其规模和计算需求的独立定价结构。
在训练模型时,如何查找和跟踪成本信息?
操作失败是否仍需付费?
操作失败的情况不予收费。 成功执行的操作和用户取消的操作均需付费,但用户取消的操作将根据已完成的处理部分按比例计费。