Milvus 서비스 추가

Milvus 심층 신경망 및 기타 머신 러닝(ML) 모델로 개발된 대규모 임베딩 벡터를 저장, 색인 및 관리하는 벡터 데이터베이스입니다. 이는 유사성 검색 및 AI 애플리케이션을 임베드하는 기능을 강화하기 위해 개발되었습니다. Milvus 다양한 환경에서 비정형 데이터 검색의 접근성을 높이고 일관성을 유지합니다.

Milvus 2.4.x pymilvus 버전 2.4.0 권장합니다. 이전 버전을 제거하고 최신 버전을 설치하세요.pymilvus.

Milvus IBM® watsonx.data 서비스로 추가하려면 다음 단계를 완료하세요.

  1. watsonx.data 콘솔에 로그인하십시오.

  2. 탐색 메뉴에서 인프라 관리자를 선택합니다.

  3. 서비스를 정의하고 연결하려면 구성 요소 추가를 클릭하고 Milvus 선택한 후 다음을 클릭합니다.

  4. 컴포넌트 추가 - Milvus 창에서 다음 세부 정보를 입력합니다.

    Milvus 서비스 추가
    필드 설명
    표시 이름 화면에 표시할 Milvus 서비스 이름을 입력합니다.
    크기 적합한 크기를 선택합니다.
    Lite: 10K 벡터, 64개의 인덱스 매개변수, 1024개의 세그먼트 크기, 384개의 차원에 권장됩니다. 참고: Lite 또는 Tiny Milvus 구성 요소는 watsonx.data Lite 요금제에서만 사용할 수 있습니다.
    스타터: 1백만 개의 벡터, 64개의 인덱스 파라미터, 1024개의 세그먼트 크기, 384개의 차원에 권장됩니다.
    소형: 1000만 벡터, 64 인덱스 매개변수, 1024 세그먼트 크기, 384 차원에 권장됩니다.
    Medium: 5천만 개의 벡터, 64개의 인덱스 매개변수, 1024개의 세그먼트 크기 및 384개의 차원에 권장됩니다.
    대형: 1억 개의 벡터, 64개의 인덱스 파라미터, 1024개의 세그먼트 크기, 384개의 차원에 권장됩니다.
    사용자 지정: 최대 30억 벡터, 64개의 인덱스 매개 변수, 1024개의 세그먼트에 권장됩니다. 실제로 지원되는 벡터와 차원의 수는 인덱스 유형과 지원되는 최대 벡터 수( vCPU ) 구성에 따라 다릅니다. 벡터 수(
    )- IVF_SQ8- 최대 30억 벡터. 벡터 수(
    )- IVF_FLAT - 최대 1.3 억 벡터. 벡터 수(
    )- HNSW - 최대 10억 벡터.
    스토리지 버킷 추가 소형, 중형 또는 대형 크기의 외장 스토리지를 연결합니다. Starter 크기의 경우, IBM 관리형 스토리지를 선택할 수도 있습니다. 외부 스토리지를 연결하려면 해당 스토리지를 구성해야 합니다.
    경로 외부 저장소의 경우 벡터화된 데이터 파일을 저장할 경로를 지정합니다.

    하나의 MinIO 버킷 내에서 동일한 rootPath 을 공유하는 여러 개의 Milvus 인스턴스를 실행하는 것은 데이터와 메타데이터가 겹쳐 충돌이 발생하고 데이터 손상 또는 손실의 위험이 높으므로 권장되지 않습니다. 데이터 무결성과 격리를 보장하려면 동일한 버킷을 사용하더라도 시작하기 전에 각 Milvus 인스턴스를 구성 파일에 고유한 minio.rootPath 값으로 구성해야 합니다.

    watsonx.data 버전 2.2.2, Milvus 부터는 스타터 티셔츠 사이즈에 대해 크기 조정이 비활성화됩니다. 더 큰 구성에서 스타터로 축소하는 것도 허용되지 않습니다. Milvus 서비스를 미리 정의된 티셔츠 사이즈(스몰, 미디엄, 라지) 또는 사용자 지정 사이즈로 확장할 수 있습니다. Milvus 을 축소하면 더 큰 용량에서 축소할 때 성능에 영향을 줄 수 있습니다. 컬렉션이 축소된 후에도 메모리에 더 이상 들어가지 않으면 서비스에 영향을 미칠 수 있습니다. 서비스에 영향을 미치는 경우, 유일한 해결책은 수집을 중단하거나 규모를 축소하는 것입니다. 서비스가 다운되지 않더라도, 이전에 로드되었지만 현재 사용 가능한 메모리를 초과하는 컬렉션은 문제가 발생할 수 있습니다.

    확장 작업에는 일반적으로 5~10분 정도의 서비스 지연이 발생하며, 이러한 전환 중에는 진행 중인 작업이 중단될 수 있습니다.

    외부 저장소 추가에 대한 자세한 내용은 저장소-카탈로그 쌍 추가하기를 참조하세요.

    컬렉션의 스키마가 변경되는 경우(컬렉션의 필드 수가 증가하거나 varchar 필드가 256자를 초과하거나 여러 벡터 필드가 컬렉션에 추가된 경우) 레코드 수가 줄어들 수 있습니다.

    Milvus 서비스는 카탈로그 없이도 스토리지에 연결할 수 있습니다. 스토리지를 비활성화한 후에도 Milvus 작업을 수행할 수 있습니다.

    Milvus 사용하는 스토리지의 엔드포인트는 S3 같은 지역 전용 스토리지의 경우 지역과 함께 후행 슬래시 없이 제공해야 합니다. 예: https://s3.<REGION>.amazonaws.com.

    Milvus 엔진의 홈 버킷에 대한 버킷 자격 증명 업데이트를 적용하려면 엔진을 수동으로 일시 중지했다가 다시 시작해야 합니다.

  5. 작성을 클릭하십시오.

관련 API

관련 API에 대한 정보는 다음을 참조하십시오