关于账单的常问问题 Red Hat AI Inference

关于 Red Hat AI Inference 计费的常见问题可能包括有关费用或存储定价的问题。 如需查看 IBM Cloud® 的所有常见问题解答,请访问我们的 常问问题库

计费机制是怎样的?

使用 Red Hat AI 推理 会产生费用。 如果您使用模型对齐功能,还将产生 IBM Cloud® Object Storage,该功能将作为存储位置使用。

如果您将模型部署到另一项服务上,则需向该服务支付额外费用。

在 Red Hat AI 推理 中,成本是如何计算的?

Red Hat AI 推理 的使用费用是根据以代币为单位的指标计算的。 每个代币对应处理任务所需的特定数量的算力。 消耗的代币总数直接影响数据生成、模型微调或推理的规模。 该指标是我们计费系统的依据,使用户能够根据所使用的计算资源来监控和控制成本。

合成数据生成(SDG)
输出代币(SYN-DATA-TOKEN )是根据服务从整个输入分类法中生成的数据量计算得出的。 该文本使用 Hugging Face 的分词器库,并结合 Mistral教师模型的分词信息进行分词。
模型对齐训练
输入令牌(MODEL-TRAIN-TOKEN )是根据输入到系统中用于模型对齐训练的数据量,以及用于在不损失知识的前提下提高准确率的 Granite 基础知识计算得出的。 由于采用了基础知识,因此成本较低。
基于模型的推理
推理成本是针对每个模型,分别对输入和输出令牌进行计算的。 输入令牌代表您发送给模型的提示或查询,而输出令牌则代表模型生成的响应。 每种模型都有基于其规模和计算需求的独立定价结构。

在训练模型时,如何查找和跟踪成本信息?

  1. 在 Red Hat AI 推理 中开始运行任何项目之前,您可以使用 成本估算器 来估算可能的成本。

  2. 上传您的分类法

  3. 在设置 数据生 成的详细信息时,请在开始任务之前查看预估成本。

  4. 数据生成后,您还可以在该数据生成的详细信息中查看预估的输出令牌数量。

  5. 在设置 训练 任务的详细信息时,请在开始任务之前核对预估成本。

  6. 任务完成后,您可以在 “计费和使用情况”中查看实际成本。 您可以查看“Red Hat AI 推理”和 IBM Cloud® Object Storage 该服务(用作存储位置)的费用。

操作失败是否仍需付费?

操作失败的情况不予收费。 成功执行的操作和用户取消的操作均需付费,但用户取消的操作将根据已完成的处理部分按比例计费。