다음과의 통합 Data Product Hub

IBM Data Product Hub (DPH)는 데이터 생산자와 데이터 소비자 간의 데이터 제품 공유를 간소화하도록 설계된 셀프 서비스 솔루션입니다. 이 경량 플랫폼은 SQL 쿼리, 테이블과 같은 데이터 자산을 특정 비즈니스 사용 사례에 맞는 데이터 제품으로 패키지화합니다.

DPH와 watsonx.data 의 통합으로 데이터 엔지니어는 두 서비스 간에 원활한 데이터 액세스가 가능해졌습니다.

데이터 자산 및 데이터 제품

데이터 자산은 SQL 쿼리, SQL 테이블, ML 모델 또는 BI 대시보드가 될 수 있습니다.

데이터 제품은 특정 비즈니스 사용 사례를 위해 함께 패키징된 자산 모음입니다.

데이터 생산자와 데이터 소비자

데이터 생산자는 데이터 자산을 데이터 상품으로 패키징하고, 데이터 계약을 정의하고, 소비자가 상품에 액세스할 수 있도록 하는 역할을 담당합니다.

데이터 소비자는 이러한 데이터 상품을 구독하는 사용자입니다. 데이터 소비자는 기술 사용자가 될 수도 있고 비즈니스 사용자가 될 수도 있습니다.

통합의 특징

  • 데이터 소스 액세스: DPH는 Presto 커넥터를 통해 watsonx.data 에 연결하여 메타데이터 정보를 사용하여 데이터 자산을 생성하고, 이를 데이터 제품으로 패키지화합니다. 이 통합으로 watsonx.data 에서 데이터 소스에 대한 접근성이 확대됩니다. 데이터는 실제 데이터 이동을 수반하지 않으므로 안전한 방식으로 패키징됩니다.

    watsonx.data 에서 데이터에 액세스하려면 다음을 수행합니다:

    1. IBM watsonx.data 에서 데이터에 액세스하기 위한 연결 자산을 만듭니다. 연결을 만들려면 Presto 연결을 참조하세요.

    2. 데이터 제품을 만들어 자산을 패키징합니다. 자세한 내용은 소스에서 직접 데이터 제품 만들기를 참조하세요.

    3. 소비자가 사용할 데이터 제품을 게시합니다. 자세한 내용은 데이터 제품 게시하기를 참조하세요.

  • 매개변수화된 쿼리: watsonx.data 에서 SQL 쿼리의 메타데이터 정보를 패키징하여 결과를 CSV 또는 Parquet 등의 형식으로 전달할 수 있습니다.

    데이터 생산자는 사용자 지정 가능한 쿼리로 데이터 제품을 만들 수 있습니다. 이러한 데이터 제품을 만드는 방법에 대한 자세한 내용은 사용자 지정 가능한 쿼리에서 데이터 제품 만들기를 참조하세요.

데이터 전송 방법

  • Flight serviceFlight service 에서는 watsonx.data 의 다양한 데이터 소스에 대한 읽기 액세스를 제공합니다. 이 전달 방법은 기술 데이터 소비자만 사용합니다. 예를 들어, 데이터 과학자. 기술 소비자는 Jupyter Notebook을 사용하여 watsonx.data 에서 데이터 소스에 액세스하는 스크립트를 작성할 수 있습니다. 항공편 서비스에 대한 자세한 내용은 항공편 서비스를 참조하세요.

  • 데이터 추출: 비즈니스 소비자는 데이터 정제 서비스를 사용하여 CSV 데이터 추출 파일을 생성하고 다운로드합니다. 데이터 추출 전달 방법에 대한 자세한 내용은 데이터 추출 전달 방법을 참조하세요.

  • watsonx.data 에서 테이블로 전달: watsonx.data 에서 테이블로 전달 전달 방법을 사용하면 소비자가 watsonx.data 에서 테이블 형태로 데이터 제품에 액세스할 수 있습니다. 이 방법을 사용하면 적절한 권한이 있는 사용자가 새 테이블을 만들거나 기존 테이블에 추가할 수 있습니다. watsonx.data 에서 테이블로 전달하는 것에 대한 자세한 내용은 Data Product Hub 설명서에서 watsonx.data 에서 테이블로 전달하는 전달 방법을 참조하세요.

    watsonx.data 전달 방법에서 deliver를 테이블로 사용하려면 watsonx.data에서 다음 액세스 권한 이 있어야 합니다 watsonx.data:

    1. 사용자는 대상 카탈로그에 연결된 Spark 엔진에 액세스할 수 있어야 합니다.
    2. 사용자는 Presto 엔진에 대한 액세스 권한이 있어야 합니다(연결할 때만 필요).
    3. 사용자는 전체 카탈로그에 대한 역할 또는 카탈로그 사용 권한을 일부 부여하는 액세스 정책과 함께 대상 Iceberg 카탈로그에 액세스할 수 있어야 합니다.
    4. 사용자에게 대상 카탈로그에 사용되는 스토리지에 대한 쓰기 권한이 있어야 합니다.
    5. 사용자에게 Cloud Object Storage 에 대한 액세스 권한이 있어야 합니다: watsonx.data 인스턴스에 컴포넌트로 추가합니다. 참조 IBM Cloud Object Storage. 데이터 추출은 watsonx.data 로 수집되기 전에 여기에 도착합니다.

    watsonx.data 에서 액세스 관리하기, 데이터 정책 관리하기를 참조하세요.

  • watsonx.data 에서의 접근: watsonx.data 에서의 접근 전달 방법을 통해 소비자는 watsonx.data 에서 자신의 데이터 제품에 접근할 수 있습니다. watsonx.data 에서 액세스하는 방법에 대한 자세한 내용은 Data Product Hub 문서를 참조하세요.