이 문서는 IBM Watson® Knowledge Studio on IBM Cloud®에 대한 문서입니다. Knowledge Studio on IBM Marketplace의 이전 버전에 대한 문서를 보려면 이 링크를 클릭하십시오.

기계 학습 모델 개선

모델에서 문제가 있는 영역을 판별한 후에는 성능 개선을 위한 단계를 수행하십시오.

모델 버전 작성

기계 학습 모델을 작성한 후에는 이후 버전에서 리소스를 복원하는 경우에 대비하여 현재 리소스의 백업 버전을 보존하기 위한 스냅샷을 작성할 수 있습니다.

이 태스크에 대한 정보

F1 점수는 모델의 품질을 나타냅니다. 모델 성능 결과가 좋은 경우에는 리소스를 변경하기 전에 컴포넌트 버전을 저장하고자 할 수 있습니다. 변경하여 품질이 더 나빠진 경우에는 저장한 버전으로 되돌릴 수 있습니다.

한 작업공간에 대해 최대 10개의 버전을 보유할 수 있습니다. 이 한계에 도달한 경우에는 새 버전을 작성하기 전에 이전 버전 또는 더 이상 필요하지 않은 버전을 삭제하십시오.

새 버전을 작성하면 다음 리소스가 캡처됩니다.

  • 유형 시스템
  • 말뭉치
  • 기준 실제값
  • 기계 학습 모델
  • 기계 학습 모델 평가 결과

다음 리소스는 제외됩니다.

  • 어노테이션 작성 태스크(원래 일시적이며 기준 실제값 판별에만 사용되므로)
  • 사전(크기가 클 수 있으며 다양한 유형의 사전은 서로 다른 방식으로 관리되므로)

프로시저

기계 학습 모델 버전을 작성하고 복원하려면 다음 작업을 수행하십시오.

  1. Knowledge Studio 관리자 또는 프로젝트 관리자로 로그인하여 작업공간을 선택하십시오.

  2. 기계 학습 모델 > 성능을 선택하십시오. 버전 1.0으로 레이블 지정된, 현재 버전에 대한 성능 통계가 표시됩니다.

  3. 현재 문서 세트 및 주석자 세트의 스냅샷을 만듭니다. 이 작업을 수행하면 모델의 새 버전이 만들어지고 모델을 만드는 데 사용된 아티팩트의 사본이 유지됩니다. Machine Learning 모델 > 버전을 클릭한 다음 버전 만들기를 클릭합니다. 버전 1.0의 리소스가 백업되며 1.1로 레이블 지정된 새 버전이 현재 버전이 됩니다. 작성하는 각각의 새 버전에 대해 부 버전 번호가 증가합니다(예: 1.0에서 1.1, 1.1에서 1.2).

  4. 필요에 따라 작업공간 리소스를 수정하고, 모델을 다시 훈련시키고 다시 평가하십시오.

  5. 성능 결과에 만족하며 이후에 더 변경하기 전에 새 버전을 저장하려는 경우에는 다른 버전을 작성하십시오. 필요에 따라 계속해서 리소스를 수정하며 모델을 다시 훈련시키고, 보존할 각 버전에 대해 새 버전을 작성하십시오.

  6. 성능 결과가 더 나쁜 경우에는 다음과 같은 작업을 수행하여 테스트를 더 진행하기 전에 이전 버전으로 되돌릴 수 있습니다.

    • 자산 > 사전 페이지를 열고 복원된 모델에서 다시 사용할 사전을 다운로드하십시오.
    • 기계 학습 모델 > 버전을 클릭하고 복원할 버전에 대해 승격을 클릭하십시오. 승격하는 버전이 현재 버전이 되며 버전 번호가 2.0으로 변경됩니다. 버전을 승격하면 주 버전 번호가 증가하고 부 버전 번호가 0이 됩니다(예: 1.1에서 2.0).
    • 사전 페이지를 열고 다운로드한 사전을 업로드하십시오.
    • 새 버전의 테스트를 위해 기준 실제값을 변경해야 하는 경우에는 기계 학습 모델 > 어노테이션 페이지를 여십시오. 어노테이션 작성 태스크 탭을 클릭하고 새 어노테이션 작성 태스크를 작성하십시오.

사람이 작성한 어노테이션의 유실 없이 유형 시스템 수정

모델을 훈련시키는 중에 성능 통계에 따라 수정을 가해야 하는 경우가 있습니다. 그러나 일반적으로 대규모 어노테이션 작성 태스크를 시작하기 전에는 유형 시스템을 가능한 한 최종 상태로 만드는 것이 좋습니다. 사람 어노테이터가 작업을 시작한 후에 유형 시스템을 변경하면 이들이 어노테이션을 작성한 문서를 다시 검토해야 합니다. 이들은 유형 시스템 변경사항의 적용 가능성을 평가해야 합니다.

이 태스크에 대한 정보

이 프로세스는 현재 유형 시스템, 기준 실제값 편집기 키보드 단축키 및 색상 설정을 태스크 내의 모든 문서에 전파합니다.

프로시저

사람 어노테이터가 수행한 작업을 유실하지 않고 유형 시스템을 수정하려면 다음 작업을 수행하십시오.

  1. 유형 시스템을 변경하십시오. 예를 들면, 엔티티 유형 또는 관계 유형을 추가하거나 제거할 수 있습니다.

  2. 기존 사람에 의한 어노테이션 작성 태스크에 변경사항을 전파할지 결정하십시오.

  3. 기계 학습 모델 > 어노테이션 페이지를 열고 어노테이션 작성 태스크 탭을 클릭하십시오. 업데이트할 각 태스크를 열고 유형 시스템 업데이트 적용을 클릭하십시오.

    유형 시스템에서 엔티티 유형 또는 관계 유형을 제거한 경우에는 해당 유형의 모든 항목이 문서에서 회색으로 강조표시됩니다. 기계 학습 모델은 이러한 올바르지 않은 유형을 무시합니다. 이러한 유형이 있어도 문서 세트를 제출하지 못하거나 승인할 수 없는 것은 아닙니다.

  4. 사람 어노테이터에게 유형 시스템의 변경점에 대한 세부사항을 제공하십시오.

  5. 사람 어노테이터에게 유형 시스템의 변경사항을 반영하여 문서를 업데이트하도록 요청하십시오. 예를 들어, 새 엔티티 유형 또는 관계 유형을 추가한 경우에는 사람 어노테이터가 자신의 문서를 검토하여 적절하게 어노테이션을 작성해야 합니다.

    태스크에 완료된 문서가 포함된 경우 사람 어노테이터는 이러한 문서가 편집 가능 상태로 돌아오기 전까지 유형 시스템 변경사항을 평가하기 위해 이러한 문서를 변경할 수 없습니다. 이들을 편집 가능한 상태로 되돌리려면, 문서 세트를 거부할 수 있게 사람 어노테이터에게 문서 세트를 제출하도록 요청하십시오.

유형 시스템

문서 세트 관리

적절한 시점에 올바른 데이터 세트를 사용하여 모델을 테스트하고 훈련시키십시오.

기계 학습 모델을 작성할 때 시스템에 추가하는 문서는 다음 시스템 레벨 데이터 세트에 할당되어야 합니다.

  • 교육 세트

    어노테이션 미리 작성을 통해, 또는 사람 어노테이터에 의해 어노테이션 작성된, 모델을 훈련시키는 데 사용되는 문서 세트입니다. 훈련 세트의 목표는 올바른 어노테이션에 대해 기계 학습 모델을 교육시키는 것이며, 이는 어노테이션이 작성되지 않은 텍스트를 통해서도 이뤄집니다.

  • 테스트 설정

    훈련된 모델을 테스트하는 데 사용되는, 어노테이션이 있는 문서 세트입니다. 테스트 세트에 대해 테스트를 실행한 후에는 결과에 대해 진단 목적의 상세 오류 분석을 수행하십시오. 상세 분석은 현재 모델의 해결할 수 있는 약점을 찾는 데 도움을 줍니다.

  • 블라인드 세트

    보존해 두었다가 테스트 및 개선이 몇 번 반복된 후 시스템을 주기적으로 테스트하는 데 사용되는, 어노테이션이 있는 문서 세트입니다. 정확도가 오염되는 것을 방지하기 위해(예를 들면, 알려진 문서의 어노테이션만을 기반으로 모델을 변경하여), 블라인드 데이터는 모델 작성과 관련된 사용자가 이전에 보지 못한 데이터여야 합니다. 보고된 결과는 블라인드 데이터에 대해 실행된 테스트만의 결과여야 합니다. 블라인드 세트에 대해 테스트를 실행한 후에는 전체 멘션 및 관계 F1 점수와 같은 가장 높은 레벨의 점수만 살펴보십시오. 너무 많은 성능 세부사항을 알게 되면 어떤 조치를 수행하여 모델을 개선할지 선택하는 데 영향을 미칠 수 있습니다.

Knowledge Studio의 목표는 대규모 팀이 모델을 빌드하기 위해 서로 협력할 수 있도록 하는 것입니다. 따라서 여기서는 모델이 사람 어노테이터 그룹, 그리고 모델을 빌드 및 테스트하고 개선하는 별도의 사용자 또는 사용자 그룹을 포함하는 팀에 의해 작성된다고 가정합니다. 이러한 가정에 따라, 이 애플리케이션은 하나의 문서 세트로부터 동일한 크기로 분할된 문서 그룹을 테스트, 훈련 및 블라인드 세트로 푸시하도록 구성되었습니다. 그러나 사용자의 팀이 분리되어 있지 않은 경우(예: 사람에 의한 어노테이션 작성을 수행하는 사용자가 모델 테스트 결과의 상세 검토도 수행하는 경우)에는 더 명시적으로 각각에서 사용되는 문서를 구분하기 위해 이러한 세트에 분배되는 문서의 할당을 변경해야 할 수 있습니다.

블라인드 세트가 필요한 이유

정확도를 상세히 평가하기 위해 테스트 데이터를 사용하므로, 사용자는 시간이 지남에 따라 해당 문서와 그 특징을 잘 알게 됩니다. 예를 들면, 기계 학습 모델이 문서의 어느 엔티티 유형, 인식 유형 및 텍스트 유형은 잘 인식하고 어느 것은 잘 인식하지 못하는지 알게 됩니다. 이 정보는 모델의 올바른 개선 방향(유형 시스템 정제, 부족한 부분을 채우기 위한 훈련 데이터 보강, 사전 추가 등)에 집중하는 데 도움을 주므로 중요합니다. 테스트 문서는 모델 개선을 위해 반복되어 사용됨에 따라, 모델 훈련에 간접적으로 영향을 주기 시작합니다. 이것이 문서의 "블라인드" 세트가 중요한 이유입니다.

세트에 할당되는 문서를 제어하는 방법

머신 학습 모델을 작성할 때 기차, 테스트 또는 블라인드 세트에 할당할 세트의 문서 비율을 지정해야 합니다. Knowledge Studio은(는) 시스템 학습 모델을 빌드하는 데 사용하는 문서 세트에 70/23/7 비율을 자동으로 적용합니다. 이러한 값은 변경할 수 있습니다.

  • 사람에 의해 어노테이션 작성된 세트를 훈련 세트에 추가하려면 100/0/0 분할 비율을 지정하십시오.
  • 세트를 사용하여 훈련한 후에는 이를 테스트에 사용할 수 있습니다. 문서 세트를 테스트 전용으로 사용하려면 0/100/0 분할 비율을 지정하십시오.
  • 훈련 또는 테스트에 사용된 적이 없는 문서 세트만 블라인드 세트에 추가하십시오. 이렇게 하려면 문서 세트에 대해 0/0/100 분할 비율을 지정하십시오.

몇 번의 반복 후에는 블라인드 세트 사용을 중지하십시오. "블라인드"의 의미는 블라인드 세트를 사용할 때마다 줄어듭니다. 이는 테스트 데이터의 경우에도 마찬가지입니다. 이러한 세트는 버리는 대신 새로운 용도를 위해 마이그레이션할 수 있습니다. 다음 마이그레이션 플로우를 따르십시오.

blind --> test --> train

세트가 마이그레이션되면 전에 없던 새로운 문서 세트를 블라인드 데이터 및 테스트 데이터로 추가할 수 있습니다. 그러나 모델 버전 간 정확도를 평가하는 방법은 유지하십시오. 기준선을 설정하는 한 가지 방법은 새 문서 세트에 대해 이전 모델 버전을 실행하는 것입니다. 이러한 실행의 결과는 동일한 세트에 대한 새 모델 실행과의 비교를 위한 기초를 제공합니다.