增加Milvus服务

Milvus 是一个向量数据库,用于存储、索引和管理由深度神经网络和其他机器学习(ML)模型开发的海量嵌入向量。 它是为了支持嵌入相似性搜索和 AI 应用程序而开发的。 Milvus 使非结构化数据搜索在各种环境中更易于访问和保持一致。

Milvus 2.4.x 推荐使用 pymilvus2.4.0 版本。 卸载旧版本并安装最新版本 pymilvus

完成以下步骤,将 Milvus 添加为 IBM® watsonx.data 中的一项服务。

  1. 登录到 watsonx.data 控制台。

  2. 从导航菜单中,选择 基础架构管理器

  3. 要定义并连接服务,请单击“添加组件”,选择 Milvus,然后单击“下一步”。

  4. 在“添加组件 - Milvus”窗口中,提供以下详细信息。

    增加Milvus服务
    字段 描述
    显示名称 输入要显示在屏幕上的 Milvus 服务名称。
    大小 选择合适的尺寸。
    精简版:建议使用 10K 向量、64 个索引参数、1024 段大小和 384 维。 LiteTiny Milvus 组件仅适用于 watsonx.data Lite 计划。
    入门级:建议使用 100万向量、64 个索引参数、1024 段大小和 384 维。
    :建议用于 1000 万向量、64 个索引参数、1024 段大小和 384 维。
    :建议用于 5000 万向量、64 个索引参数、1024 段大小和 384 维。
    大型:建议使用 1 亿向量、64 个索引参数、1024 段大小和 384 维。

    自定义:推荐用于多达 30亿个向量、64个索引参数和1024个段。 实际支持的向量和维度数量取决于索引类型和最大支持的 vCPU 配置。

    • IVF_SQ8 - 最多30亿个向量。
    • IVF_FLAT - 最多 1.3 亿个向量。
    • HNSW - 最多10亿个向量。
    添加储物桶 Small, MediumLarge 尺寸关联外部存储。 对于 Starter 大小,您还可以选择 IBM 管理的存储。 要关联外部存储,必须配置好存储。
    路径 对于外部存储器,请指定要存储矢量化数据文件的路径。

    不建议在单个 MinIO 数据桶中运行共享相同 rootPath 的多个 Milvus 实例,因为这会导致它们的数据和元数据重叠,从而引发冲突,数据损坏或丢失的风险很高。 为确保数据完整性和隔离性,必须在启动每个 Milvus 实例之前,在其配置文件中为其配置唯一的 minio.rootPath 值,即使它们使用的是同一个存储桶。

    从 watsonx.data 版本 2.2.2 开始,Milvus 对入门级 T 恤尺寸禁用缩放。 也不允许从更大的配置缩回到 Starter。 您可以在预定义的 T 恤尺寸(小、中、大)或自定义尺寸之间扩展 Milvus 服务。 当从更大容量缩减时,Milvus 可能会影响性能。 如果缩小后内存不再适合存储集合,则可能会影响服务。 如果服务受到影响,唯一的解决办法是放弃收藏或缩小规模。 即使服务没有崩溃,之前加载但现在已经超出可用内存的集合也可能出现问题。

    缩放操作通常会造成 5 到 10 分钟的服务延迟,在这些转换过程中,正在进行的操作可能会中断。

    有关添加外部存储的更多信息,请参阅 添加存储-目录对

    如果集合的架构发生变化(集合中的字段数量增加或集合的大小增加 varchar 如果向量字段超过 256 个字符,或者将多个向量字段添加到集合中,记录数可能会减少。

    Milvus 服务可以连接到没有目录的存储设备。 即使禁用了存储,也可以在 Milvus 上执行操作。

    您必须为 Milvus 使用的存储设备提供端点,对于特定区域的存储设备(如 S3,端点必须带有区域,并且不带尾部的斜线。 例如:https://s3.<REGION>.amazonaws.com

    Milvus 引擎的主数据桶凭证更新需要手动暂停和恢复引擎才能生效。

  5. 单击创建

相关应用程序接口

如需了解相关API的信息,请参阅