예측 기계 학습 모델 빌드, 배치, 테스트 및 모니터

이 튜토리얼에서는 비용이 발생할 수 있습니다. Cost Estimator를 사용하여 예상 사용량을 기반으로 비용 추정값을 생성하십시오.

이 튜토리얼에서는 예측 기계 학습 모델을 빌드하고, 생성된 모델을 애플리케이션에서 사용할 수 있도록 API로 배치하고, 모델을 테스트하는 프로세스를 안내하며, 이러한 모든 작업은 IBM Cloud에서의 통합되어 일체화된 경험 속에서 진행됩니다. 그 후에는 IBM Watson OpenScale을 사용하여 배치된 모델을 모니터합니다.

이 튜토리얼에서는 붓꽃 데이터 세트를 사용하여 꽃의 품종을 분류하는 기계 학습 모델을 작성합니다.

기계 학습 용어에서 분류는 지도 학습(올바르게 식별된 관찰에 대한 훈련 세트가 사용 가능한 학습)으로 간주됩니다.

Watson Studio는 데이터와의 협업으로 비즈니스 문제를 해결할 수 있는 환경 및 도구를 제공합니다. 데이터를 분석 및 시각화하거나, 데이터를 정리 및 수정하거나, 스트리밍 데이터를 수집하거나, 기계 학습 모델을 작성 및 훈련하는 데 필요한 도구를 선택할 수 있습니다.

목표

  • 데이터를 프로젝트로 가져옵니다.
  • 기계 학습 모델을 빌드합니다.
  • 모델을 배치하고 API를 사용해 봅니다.
  • 기계 학습 모델을 테스트합니다.
  • 배치된 모델을 모니터합니다.
  • 모델을 재훈련시킵니다.

아키텍처 다이어그램 * 튜토리얼의
다이어그램

  1. 관리자가 로컬 시스템으로부터 CSV 파일을 업로드합니다.
  2. 업로드된 CSV 파일은 IBM Cloud Object Storage 서비스에 데이터 세트로 저장됩니다.
  3. 이 데이터 세트를 사용하여 기계 학습 모델이 빌드됩니다. 배치된 모델이 API(스코어링 엔드포인트)로서 노출됩니다.
  4. 사용자가 테스트 데이터를 사용하여 결과를 예측하기 위해 API 호출을 수행합니다.
  5. 품질, 정확도 및 기타 주요 특성을 모니터하기 위해, 배치된 기계 학습 모델이 테스트 데이터를 사용하여 모니터됩니다.

데이터를 프로젝트로 가져오기

프로젝트는 특정 목표를 달성하기 위해 리소스를 구성하는 수단입니다. 프로젝트 리소스에는 데이터, 협업자, 그리고 Jupyter 노트북 및 기계 학습 모델과 같은 분석 도구가 포함될 수 있습니다.

사용자는 데이터를 추가할 프로젝트를 작성하고 데이터 정제기에서 데이터 자산을 열어 데이터를 정리하고 구체화할 수 있습니다.

프로젝트 작성

  1. 카탈로그에서 Watson Studio을(를) 작성하십시오.
    1. 지역을 선택하십시오.
    2. Lite 가격 플랜을 선택하십시오.
    3. 서비스 이름을 watson-studio-tutorial로 변경하십시오.
    4. 리소스 그룹을 선택하고 작성을 클릭하십시오.
  2. 시작 위치 트위스티를 클릭하고 IBM watsonx 를 선택하십시오.
  3. 프로젝트 섹션에서 +새 프로젝트 작성 을 클릭하여 프로젝트 를 작성하십시오.
  4. iris_project 를 프로젝트 이름으로 제공하십시오.
  5. 스토리지 정의에서 Object Storage 서비스의 새 인스턴스를 추가 하십시오.
  6. 작성을 클릭하십시오. 새 프로젝트가 열리고 리소스 추가를 시작할 수 있습니다.

데이터 가져오기

앞서 언급한 바와 같이 여기서는 붓꽃 데이터 세트를 사용합니다. 이 붓꽃 데이터 세트는 1936년에 발표된 R.A. Fisher의 저명한 논문 _The Use of Multiple Measurements in Taxonomic Problems_에서 사용되었으며, UCI Machine Learning Repository에서도 찾을 수 있습니다. 이 작은 데이터 세트는 기계 학습 알고리즘 및 시각화를 테스트하는 데 종종 사용됩니다. 목표는 꽃받침과 꽃잎의 길이 및 너비 측정치로부터 붓꽃을 세 가지 품종(Setosa, Versicolor 또는 Virginica)으로 분류하는 것입니다. 이 붓꽃 데이터 세트는 각각 50개의 인스턴스가 있는 3개의 클래스를 포함하며, 각 클래스는 붓꽃의 유형에 해당합니다.

홍채 예제
홍채 예제

수관은 혈관과식물 (꽃을 피우는 식물) 의 꽃의 일부이다. 보통 녹색, 격막은 일반적으로 꽃을 보호하는 역할을 하며, 꽃이 피면 꽃잎을 지지하는 역할을 합니다. 꽃잎은 꽃의 번식 부분을 둘러싸고 있는 개조된 잎이다. 이들은 종종 밝은 색으로 되어 있거나 특이하게 모양이 형성되어 있어 수분 매개자를 유인합니다. https://en.wikipedia.org/wiki/Iris_flower_data_set

각 종의 40개 인스턴스로 구성된 iris_initial.csv를 다운로드하십시오. 다운로드한 파일의 이름이 iris_initial.csv인지 확인하십시오.

  1. 아직 선택하지 않은 경우 자산 탭을 선택하십시오.
  2. 이 프로젝트의 데이터에서 여기에 데이터 파일 놓기 또는 업로드할 파일 찾아보기를 클릭하십시오.
  3. 다운로드한 iris_initial.csv 을 업로드하십시오.
  4. 추가되면 프로젝트의 모든 자산 섹션 아래에 iris_initial.csv 표시됩니다.

Machine Learning 서비스 연관

  1. 맨 위 탐색 메뉴에서 iris-project 의 관리 를 클릭한 후 왼쪽에 있는 서비스 및 통합 섹션을 선택하십시오.
  2. 서비스 연관을 클릭하십시오.
  3. 기존 Watson Machine Learning 서비스 인스턴스가 있는 경우 다음 단계로 건너뛰세요. 그렇지 않으면 다음 단계를 계속하여 새 인스턴스를 작성하십시오.
    1. 새 서비스 를 클릭한 후 Watson Machine Learning 타일을 클릭하십시오.
    2. Watson Studio 서비스와 동일한 지역을 선택하고 Lite 플랜을 선택하십시오.
    3. machine-learning-tutorial을 서비스 이름으로 입력하고 리소스 그룹을 선택하십시오.
    4. 작성을 클릭하여 Machine Learning 서비스를 프로비저닝하십시오.
  4. Machine Learning 서비스 옆의 확인란을 선택하고 연동을 클릭합니다.

기계 학습 모델 빌드

  1. 맨 위 탐색 메뉴에서 자산을 클릭하십시오.
  2. 새 자산+ 을 클릭하고 auto 를 검색하십시오.
    1. 자동으로 시스템 모델 빌드 타일을 클릭하십시오.
    2. 이름을 iris_auto로 설정합니다.
    3. Watson Machine Learning 서비스 인스턴스에서 이전에 연관된 서비스를 확인하십시오.
  3. 작성을 클릭하십시오.

일단 모델이 작성되면,

  1. 프로젝트에서 데이터 선택을 클릭하여 학습 데이터를 추가합니다.

    1. 카테고리 아래에서 데이터 자산 을 선택하고 iris_initial.csv 를 확인하십시오.
    2. 자산 선택을 클릭하십시오.
  2. 메시지가 표시되면 시계열 분석을 만들려면 아니요라고 대답합니다.

  3. **예측할 항목은 무엇입니까?**를 종으로 선택하십시오.

  4. 실험 설정을 클릭하십시오.

  5. 데이터 소스를 선택하십시오.

  6. 훈련 및 검증 방법에서 슬라이더를 이동하여 홀드아웃 데이터 분할 을 14% 로 설정하십시오.

  7. 왼쪽 메뉴에서 예측을 클릭하십시오.

    1. 예측 유형을 멀티클래스 분류로 설정하십시오.
    2. 최적화된 메트릭을 정확도로 설정하십시오.
    3. 설정 저장을 클릭하십시오.
  8. 실험 실행을 클릭하십시오.

  9. AutoAI 실험이 사용자의 모델에 적절한 알고리즘을 선택하는 데는 최대 5분이 소요될 수 있습니다.

    각 모델 파이프라인은 다양한 메트릭에 대해 점수가 매겨진 후 순위 지정됩니다. 기본 순위 지정 메트릭은 2진 분류 모델의 경우 ROC 곡선 아래의 영역, 멀티클래스 분류 모델의 경우에는 정확도이고, 회귀 모델의 경우에는 평균 제곱근 오차(RMSE)입니다. 가장 높은 순위의 파이프라인들이 리더보드에 표시되며, 사용자는 여기에서 이들에 대한 정보를 볼 수 있습니다. 리더보드는 선택한 파이프라인을 검토한 후 저장하는 옵션도 제공합니다.

실험이 실행을 완료하면

  1. 파이프라인 리더보드로 아래로 스크롤하십시오.
  2. 메트릭 및 성능에 대한 세부사항을 보려면 특정 파이프라인을 클릭하십시오. 완료되면 X 를 클릭하여 닫으십시오.
  3. 랭크 1 이 있는 모델 옆에 있는 다른 이름으로 저장 을 클릭하십시오.
    1. 모델을 선택합니다.
    2. 기본 이름을 유지하십시오.
    3. 작성을 클릭하십시오.
  4. 수신된 알림에서 프로젝트에서 보기를 클릭하십시오.

모델 배치 및 테스트

이 절에서는 저장한 모델을 배치하고 배치한 모델을 테스트합니다.

  1. 이동 경로 탐색을 사용하여 iris_project 를 클릭하십시오.
  2. 자산 탭에서 왼쪽에 있는 모델 을 여십시오.
  3. 모델 테이블에서 모델을 찾고 햄버거 메뉴를 클릭한 후 공간으로 승격을 선택하십시오. 배치 공간은 모델을 배치하고 배치를 관리하는 데 사용합니다.
    1. 이름을 iris_deployment_space로 설정하십시오.
    2. 해당 드롭 다운에서 이전 단계에 사용된 Object Storage 스토리지 서비스를 선택하십시오.
    3. 해당 드롭 다운에서 machine-learning-tutorial 서비스를 선택하십시오.
    4. 작성을 클릭하십시오.
  4. 승격을 클릭하십시오.
  5. 수신된 알림에서 배치 영역으로 이동하십시오.

배치 > iris_deployment_space 에서 다음을 수행하십시오.

  1. 방금 작성한 모델의 이름을 클릭하십시오.
  2. 새 배포 버튼을 클릭합니다.
  3. 배치 유형으로 온라인을 선택하고 iris_deployment를 이름으로 제공한 후 작성을 클릭하십시오.
  4. 배치 탭에서 상태가 배치됨으로 변경되면 테이블에서 이름 을 클릭하십시오. 모델에 대해 배치된 웹 서비스의 특성이 표시됩니다.

배치된 모델 테스트

  1. 배포의 테스트 탭에서 입력 데이터 입력 옆의 JSON 입력 아이콘을 클릭하고 JSON 입력으로 제공합니다.
       {
       "input_data": [{
         "fields": ["sepal_length", "sepal_width", "petal_length", "petal_width"],
         "values": [
           [5.1,3.5,1.4,0.2], [3.2,1.2,5.2,1.7]
         ]
       }]
     }
    
  2. 예측 을 클릭하면 테이블 및 JSON보기에 예측 결과 가 표시되어야 합니다.
  3. 입력 데이터를 변경하고 모델 테스트를 계속할 수 있습니다.

API 사용해 보기

UI를 사용하는 것 외에, 배치된 모델을 애플리케이션에서 액세스하는 API로 노출시킴으로써 API 스코어링 엔드포인트를 사용하여 예측을 수행할 수도 있습니다.

  1. 배포의 API 참조 탭에서 직접 링크 아래의 엔드포인트와 다양한 프로그래밍 언어로 된 코드 스니펫을 볼 수 있습니다.

  2. 나중에 참조할 수 있도록 공개 엔드포인트를 메모장에 복사합니다.

  3. 브라우저에서 IBM Cloud Shell을 실행하고 후속 요청에서 사용할 스코어링 엔드포인트를 내보내십시오. 이 창/탭을 닫지 마십시오.

    export SCORING_ENDPOINT='<SCORING_ENDPOINT_FROM_ABOVE_STEP>'
    

    IBM Cloud Shell은 브라우저를 통해 액세스할 수 있는 클라우드 기반 쉘 작업공간입니다. 이는 전체 IBM Cloud CLI, 그리고 앱, 리소스 및 인프라를 관리하는 데 사용할 수 있는 여러 플러그인 및 도구로 사전 구성되어 있습니다.

  4. To use the Watson Machine Learning REST API, you need to obtain an IBM Cloud Identity and Access Management (IAM) token. 아래 명령을 실행하면 위의 응답에서 Bearer 함께 전체 IAM 토큰을 복사하여 후속 API 요청에 사용할 IAM_TOKEN 내보냅니다

    export IAM_TOKEN=$(ibmcloud iam oauth-tokens --output JSON | jq -r .iam_token)
    echo $IAM_TOKEN
    
  5. 아래 cURL 코드를 클라우드 쉘에서 실행하여 예측 결과를 보십시오.

    curl -X POST \
    --header 'Content-Type: application/json' \
    --header 'Accept: application/json' \
    --header "Authorization: $IAM_TOKEN" \
    -d '{"input_data": [{"fields": ["sepal_length", "sepal_width", "petal_length","petal_width"],"values": [[5.1,3.5,1.4,0.2], [3.2,1.2,5.2,1.7]]}]}' \
    $SCORING_ENDPOINT
    

    살펴보면 코드가 위에서 작성한 배치의 cURL 탭에 있는 코드임을 볼 수 있습니다. 따라서 [$ARRAY_OF_INPUT_FIELDS] 플레이스홀더를 **["sepal_length", "sepal_width", "petal_length","petal_width"]**로, [$ARRAY_OF_VALUES_TO_BE_SCORED] 플레이스홀더를 **[5.1,3.5,1.4,0.2]**로, [$ANOTHER_ARRAY_OF_VALUES_TO_BE_SCORED] 플레이스홀더를 **[3.2,1.2,5.2,1.7]**로 각각 대체합니다.

IBM Watson OpenScale을 사용하여 배치된 모델 모니터링

IBM® Watson OpenScale은(는) AI 모델의 결과를 추적하고 측정하며, 모델이 빌드되었거나 실행 중인 모든 위치에서 공정하고, 설명 가능하며 규제를 준수하는 상태를 유지하는 데 도움을 줍니다. AI 모델이 프로덕션 환경에서 사용되고 있는 경우 Watson OpenScale은(는) 정확도의 드리프트를 감지하고 정정하는 데도 도움을 줍니다.

이해를 쉽게 하기 위해, 이 튜토리얼에서는 Watson OpenScale 서비스를 통해 AI 모델의 품질(정확도)을 향상시키는 데에만 집중합니다.

IBM Watson OpenScale 서비스 프로비저닝

이 절에서는 배치된 기계 학습 모델의 상태, 성능, 정확도 및 품질 메트릭을 모니터할 Watson OpenScale 서비스를 작성합니다.

  1. IBM Watson OpenScale 서비스 작성 (watsonx.governance)
    1. Machine Learning 서비스를 작성한 동일한 지역에서 선호하는 지역을 선택하십시오.
    2. Lite 플랜을 선택하십시오.
    3. 서비스 이름을 watson-openscale-tutorial로 설정하십시오.
    4. 리소스 그룹을 선택하십시오.
    5. 작성을 클릭하십시오.
  2. 서비스가 프로비저닝되면 왼쪽 창에서 관리를 클릭하고 Watson OpenScale 시작을 클릭합니다.
  3. 수동 설정을 클릭하여 수동으로 모니터를 설정하십시오.

시스템 설정

이 절에서는 모델의 모니터링 준비의 일부로서 IBM Watson OpenScale로 추적 중인 각 배치에 대해 모니터를 설정한 후 사용으로 설정합니다.

  1. 데이터베이스를 클릭하십시오. 모델 트랜잭션 및 모델 평가 결과를 저장하기 위한 것입니다. (이미 선택되어 있을 수 있습니다.)
    1. 데이터베이스 타일에서 편집 아이콘을 클릭합니다
    2. 데이터베이스 유형으로 무료 라이트 요금제 데이터베이스를 선택합니다
    3. 저장 을 클릭하십시오.
  2. 기계 학습 제공자를 클릭하십시오.
    1. 기계 학습 제공자 추가를 클릭하고 연결 타일에서 편집 아이콘을 클릭하십시오.
    2. **Watson Machine Learning(V2)**을 서비스 제공자 유형으로 선택하십시오.
    3. 배치 영역 드롭 다운에서 위에서 작성한 배치 영역 iris_deployment_space를 선택하십시오.
    4. 환경 유형을 사전 프로덕션으로 그대로 두십시오.
    5. 저장 을 클릭하십시오.
  3. 맨 왼쪽 창에 있습니다:
    1. Insights 대시보드(첫 번째 아이콘) 의 아이콘을 클릭하여 배치를 추가하십시오.
    2. 대시보드에 추가 를 클릭하여 모델 위치 선택 페이지에서 마법사를 시작하십시오.
      1. 배치 공간 탭에서 iris_deployment_space 단일 선택 단추를 클릭하십시오.
      2. 다음을 클릭하십시오.
    3. 배치된 모델 선택 페이지에서 다음을 수행하십시오.
      1. iris_deployment 를 클릭하십시오.
      2. 다음을 클릭하십시오.
    4. 모델 정보 제공 페이지에서 다음을 수행하십시오.
      1. 데이터 유형: 숫자/카테고리
      2. 알고리즘 유형: 멀티클래스 분류
      3. 요약 보기를 클릭합니다
    5. 완료를 클릭하십시오.

이제 iris_deployment 사전 프로덕션 대시보드가 표시됩니다.

클릭 작업 > 모니터 구성

  1. 훈련 데이터 타일에서 연필 아이콘을 클릭하여 마법사를 시작하십시오.
    1. 구성 선택 메소드 페이지에서
      1. 수동 설정 사용을 클릭합니다
      2. 다음을 클릭하십시오.
    2. 훈련 데이터 지정 메소드 페이지에서
      1. 훈련 데이터 옵션의 경우 데이터베이스 또는 클라우드 스토리지 를 선택하십시오.
      2. 위치에 대해 Cloud Object Storage 를 선택하십시오.
      3. 리소스 인스턴스 ID 및 API 키는 Cloud Shell 아래 명령을 실행합니다. 이 학습서에서 사용 중인 Object Storage 인스턴스의 이름과 일치하도록 --instance-name 뒤의 값을 변경해야 합니다.
        ibmcloud resource service-key $(ibmcloud resource service-keys --instance-name "cloud-object-storage-tutorial" | awk '/WDP-Project-Management/ {print $1}')
        
      4. 신임 정보 resource_instance_id를 복사하여 붙여넣으십시오. crn 으로 시작하고 두 개의 콜론 :: 으로 끝납니다.
      5. 후행 공백 없이 신임 정보 API키를 복사하여 붙여넣으십시오.
      6. 연결을 클릭합니다.
      7. irisproject-donotdelete- 시작하는 버킷을 선택합니다.
      8. 데이터 세트 드롭 다운에서 iris_initial.csv 를 선택하십시오.
      9. 다음을 클릭하십시오.
    3. 기능 열 및 레이블 열 선택 방법 페이지에서
      1. 기본값이 정확해야 합니다. 레이블/대상으로 지정하고 나머지는 기능으로 지정합니다.
      2. 다음을 클릭하십시오.
    4. 모델 출력 선택 메소드 페이지에서
      1. 기본값은 정확해야 합니다. 예측에 대한 예측 및 확률에 대한 예측입니다.
      2. 요약 보기를 클릭합니다
    5. 완료를 클릭하십시오.
  2. 모델 출력 세부사항 타일에서 연필 아이콘을 클릭하여 마법사를 시작하십시오.
    1. 모델 출력 세부사항 지정 메소드 페이지에서
      1. 기본값이 정확해야 합니다.
      2. 저장을 클릭하십시오.
  3. 왼쪽 창에서 평가 아래의 품질을 클릭하고 품질 임계값 타일에서 편집 아이콘을 클릭합니다
    1. 품질 임계값 페이지에서 다음 값을 설정하십시오.
      1. 정확성 0.98
      2. 다음을 클릭하십시오.
    2. 샘플 크기 페이지에서
      1. 최소 샘플 크기를 10 으로 설정하십시오.
      2. 저장을 클릭하십시오.

왼쪽 분할창에서 모델 요약으로 이동을 클릭하십시오.

품질 모니터(이전 이름은 정확도 모니터)가 모델이 수행하는 결과 예측의 품질을 표시합니다.

이 튜토리얼에서는 작은 데이터 세트를 사용하므로 공정성이나 드리프트를 구성하는 것은 영향이 없습니다.

배치된 모델 평가

이 절에서는 각 종의 10개 인스턴스를 포함하는 iris_retrain.csv 파일을 업로드하여 모델을 평가합니다. 다운로드 iris_retrain.csv.

  1. 조치를 클릭한 후 지금 평가를 클릭하십시오.
  2. 가져오기 옵션으로 CSV 파일에서 를 선택하고 찾아보기를 클릭한 후 iris_retrain.csv 파일을 업로드하십시오.
  3. 업로드 및 평가를 클릭하여 클릭하십시오.
  4. 평가가 완료되면 다양한 메트릭이 있는 대시보드가 표시됩니다.

품질 메트릭을 이해하려면 품질 메트릭 개요를 참조하십시오.

자원 제거

  1. IBM Cloud® 리소스 목록으로 이동하십시오.
  2. 이름 아래의 검색 상자에 튜토리얼을 입력하십시오.
  3. 이 튜토리얼을 위해 작성한 서비스를 삭제하십시오.

리소스에 따라 즉시 삭제되지 않고 보유될 수 있습니다(기본 7일 동안). 리소스를 영구적으로 삭제하여 재확보하거나 보유 기간 내에 리소스를 복원할 수 있습니다. 리소스 재확보 사용 방법은 이 문서를 참조하십시오.

관련 컨텐츠