레이블 지정 팁

시작하기 전에 다음 팁을 검토하십시오.

• 레이블을 지정하는 문서 콜렉션에는 대표적인 문서 세트가 포함되어야 합니다. 문서에는 엔티티 추출기에서 인식할 엔티티 유형의 여러 가지 다양한 예제가 있어야 합니다. 엔티티 추출기를 작성하기 위해 시작할 때 선택한 콜렉션이 요구사항을 충족하지 않으면 지금 중지하고 다른 문서 콜렉션으로 다시 시작하십시오.
• 서로 명확하게 구별되는 엔티티 유형을 정의하십시오.
• 각 엔티티 유형의 40개이상의 예제에 레이블을 지정하는 것을 목표로 합니다.
• 엔티티 유형의 유효한 모든 예제에 레이블을 지정하십시오. 어떤 항목도 건너뛰지 마십시오. 프로세스 속도를 높이려면 벌크 레이블 기능을 사용하십시오.

엔티티 레이블 지정 예제

사용자가 정의한 엔티티 유형의 예를 나타내는 문서의 용어에 레이블을 지정하십시오. 하나의 문서를 완료하면 문서 상태를 진행 중 에서 완료로 전환한 후 다음 문서로 이동하십시오.

엔티티 예제에 레이블을 지정하려면 다음 단계를 완료하십시오.

1. 문서의 텍스트를 검토하십시오. 레이블을 지정할 엔티티 예제를 찾으십시오.

   다음 표는 몇 가지 예를 보여줍니다.

   엔티티 유형 및 예제

   엔티티 유형	문서에서 레이블을 지정하기 위한 예제
   색상	흰색, 녹색, 보라색
   car	컨버터블, SUV, 세단
   AUTO_MODEL	탐색기, 시빅, 소렌도
   자동 제조업체	포드, 혼다, 기아
   의류	셔츠, 블라우스, 스키트
   악기	채권, 주식, ETF, 문

   식별하려는 엔티티 유형이 아직 작성되지 않은 경우 엔티티 유형을 추가하십시오. 엔티티 유형 패널에서 새로 작성을 클릭하십시오. 엔티티 유형 추가에 대한 자세한 정보는 엔티티 유형 정의 를 참조하십시오.

2. 먼저 엔티티 유형 패널에서 엔티티 유형을 클릭하십시오.

3. 문서 본문에서 엔티티 예제를 나타내는 단어 또는 구문을 선택하십시오.

   조건이 선택되고 색상 레이블이 조건에 적용됩니다. 엔티티 유형 이름의 처음 두 문자는 레이블 경계 내에서 대문자 위첨자로 표시됩니다. 두 문자 ID및 레이블 색상 모두 예제를 표시하는 엔티티 유형과 연관시키는 데 도움이 됩니다.

   

   예제 텍스트도 엔티티 유형 패널에 추가됩니다. 세부사항을 보기 위해 셰브런을 클릭하면 예제가 나열되어 있음을 볼 수 있습니다. 예제 텍스트는 원래 텍스트에서 사용되는 대소문자에 관계없이 소문자로 저장됩니다.

4. 벌크 레이블 지정을 사용하는 경우, 현재 문서에서 발견되고 레이블 지정된 용어의 발생 수를 표시하는 알림이 표시됩니다.

5. 콜렉션의 모든 문서에서 용어의 발생에 레이블을 지정하려면 모든 문서에 적용을 클릭하십시오.

   이 옵션을 사용으로 설정하면 이미 검토하고 완료로 표시한 문서를 포함하여 콜렉션의 모든 문서에서 용어의 발생에 레이블이 지정됩니다.

   실행 취소할 수 없으므로 조치를 확인하도록 요청됩니다. 모든 문서에 대량 레이블 지정을 적용하도록 선택할 때마다 조치를 확인하지 않으려면 다시 확인을 요청하지 않음을 선택하십시오. 실행을 클릭하십시오.

   

   자세한 정보는 예제를 대량으로 레이블 지정 을 참조하십시오.

6. 문서를 스크롤하여 추출기에서 인식할 모든 엔티티 유형의 모든 유효한 예제에 레이블을 지정하십시오.

   엔티티 예제로 레이블을 지정할 용어를 검색할 수 있습니다. 자세한 정보는 키워드를 사용하여 예제 검색 을 참조하십시오.

   기계 학습 모델은 사용자가 수행하는 용어만큼 레이블을 지정하지 않은 용어에서 많은 것을 학습합니다.

   유효한 예제의 레이블 지정이 누락된 경우 모델은 해당 컨텍스트에서 용어가 사용될 때 엔티티 유형의 유효한 멘션이 아님을 알게 됩니다. 일부 경우에는 생략하는 것이 적절합니다. 예를 들어, 일부 용어는 다른 컨텍스트에서 다른 의미를 갖습니다. 잘못된 컨텍스트에서 사용되는 경우에는 용어에 레이블을 지정하지 않습니다. 그러나 용어가 올바른 컨텍스트에서 사용되고 레이블을 지정하지 않은 경우에는 이를 무시하도록 모델을 교육하는 것입니다. 훈련 데이터가 일치하지 않을 때 모델의 효율성을 줄입니다.

   많은 예제에 레이블을 지정하면 엔티티 예제 제안사항이 표시됩니다. 엔티티 예제 제안을 승인하거나 거부할 수 있습니다.

   

   예제 제안을 승인하는 것은 레이블 지정 프로세스의 속도를 높이는 또 다른 방법입니다. 자세한 정보는 엔티티 예제 제안 을 참조하십시오. 제안을 수락한 후에는 용어의 레이블을 대량으로 지정할 수 있습니다.

7. 실수를 하여 잘못된 단어에 레이블을 지정하거나 대량 레이블 지정 프로세스에서 단어에 잘못 레이블을 지정한 경우 레이블을 삭제할 수 있습니다.

   이 예제 삭제 옵션이 표시될 때까지 레이블 지정된 단어 위로 마우스를 이동한 후 클릭하십시오. 이 멘션만 삭제하거나 문서의 모든 멘션을 삭제하도록 선택할 수 있습니다. 선택한 후 삭제를 클릭하십시오.

8. 현재 문서의 모든 엔티티 예제에 레이블을 지정한 후 문서 상태를 진행 중 에서 완료로 변경하십시오.

   콜렉션의 다른 문서가 표시됩니다.

9. 콜렉션의 각 문서에 있는 엔티티 유형의 예제에 레이블을 지정하십시오.

   레이블 지정 프로세스 중 언제든지 엔티티 추출기 저장 을 클릭하여 작업을 저장할 수 있습니다.

10. 현재 문서 세트에 충분한 예제가 없는 경우 문서를 더 추가할 수 있습니다.

    문서 목록 패널에서 문서 추가를 클릭하십시오. 이 옵션은 콜렉션에서 더 많은 문서를 사용할 수 있는 경우에만 사용 가능합니다. 최대 20개의 문서를 추가할 수 있습니다. 모든 문서에 대해 대량 레이블 지정을 사용하는 경우 새로 추가된 문서에 자동으로 레이블이 적용됩니다.

11. 콜렉션에서 원하는 수의 문서에 예제의 레이블을 지정한 후 엔티티 추출기 저장을 클릭하고 추출기 훈련 페이지를 여십시오.

키워드를 사용하여 예제 검색

검색 기능을 사용하여 문서에서 엔티티 예제를 찾아 쉽게 레이블을 지정할 수 있습니다. 또한 검색을 사용하여 레이블 지정된 예제 및 레이블 지정되지 않은 예제를 찾고 레이블 지정 불일치를 정정할 수 있습니다.

키워드를 사용하여 검색하려면 다음 단계를 완료하십시오.

1. 레이블 문서 보기에서 찾기 아이콘을 클릭하십시오.

2. 찾기 필드에 문서에서 검색할 키워드를 지정하십시오.

   키워드를 입력하면 문서의 검색 결과가 표시됩니다.

   검색 결과를 찾아보려면 다음 결과 및 이전 결과 아이콘을 클릭하십시오. 결과에서 레이블이 지정되지 않은 예제의 레이블을 선택하려면 레이블 편집 아이콘을 클릭하고 레이블을 선택하십시오. 레이블 편집 아이콘을 클릭하여 결과의 이미 레이블이 지정된 예제에서 레이블을 제거할 수도 있습니다.

3. 검색 결과를 필터링하려면 필터 옵션 표시 아이콘을 클릭하십시오.

   다음 표는 필터 옵션에 대한 설명입니다.

   찾기의 필터 옵션

   옵션	설명
   모두	문서에서 키워드와 일치하는 모든 예제를 찾습니다.
   레이블된 텍스트	키워드와 일치하는 문서에서 기존의 레이블 지정된 예제를 찾습니다.
   레이블이 없는 텍스트	키워드와 일치하는 문서에서 레이블이 지정되지 않은 예제를 찾습니다.
   대소문자 구분	키워드와 대소문자가 모두 일치하는 예제를 찾습니다.
   전체 단어	키워드의 단어 경계와 일치하는 예제를 찾습니다. 예를 들어, york 를 키워드로 지정하면 이 옵션을 선택할 때 yorktown 이 일치하지 않습니다.

결과에서 레이블이 지정되지 않은 예제의 경우 레이블 제안을 승인하거나 거부할 수 있습니다.

겹치는 예제를 해결하려면 제안 검토 를 클릭하고 겹치는 엔티티 예제 제안 대화 상자에서 엔티티 예제 제안을 선택하십시오.

대량으로 예제 레이블 지정

대부분의 엔티티 예제에서는 벌크 레이블 기능을 사용하는 것이 유용합니다. 다른 컨텍스트에서 용어에 둘 이상의 의미가 있는 경우 이를 건너뛸 수 있습니다. 이 경우 각 발생을 개별적으로 평가하십시오. 벌크 레이블 기능을 사용하는 경우 자동으로 추가된 레이블의 정확성을 확인하고 필요한 경우 문서를 검토할 때 정정할 수 있습니다.

벌크 레이블 기능을 사용으로 설정하면 현재 문서에서 발견된 엔티티 예제의 발생 수를 나타내는 알림이 표시됩니다. 현재 페이지에서 레이블링 도구는 콜렉션의 다른 문서에 있는 발생 수를 보고하기 위해 다른 문서에 액세스할 수 없습니다. 그러나 멘션 개수는 엔티티 유형 패널에 표시됩니다. 다른 문서를 처음 열 때 멘션 수를 확인하여 자동으로 레이블이 지정된 멘션 수를 확인할 수 있습니다.

벌크 레이블 기능이 발생을 누락했습니까?

용어의 발생은 용어가 이미 레이블 지정된 동일한 구문에서 발생하는 경우 레이블 지정되지 않습니다. 예를 들어, 다음 문장에서 용어의 두 번째 발생에 대해 벌크 레이블 기능이 켜지면 용어 husband 의 첫 번째 발생에 레이블이 지정되지 않습니다.

엔티티 예제 제안

충분한 예제의 레이블을 지정하면 제안된 엔티티 유형 예제가 표시됩니다. 시스템은 사용자가 레이블을 지정하는 예제 유형에서 학습하고 학습하는 내용을 적용하여 잠재적인 새 예제를 식별합니다. 예를 들어, red, orange, yellow, green 및 blue 를 color 엔티티 유형의 예제로 레이블 지정한 후 예제 제안사항 패널은 indigo 및 violet 를 제안된 예제로 표시하여 레이블을 지정할 수 있습니다. 엔티티 유형의 많은 예제에 레이블을 지정할 때까지 제안사항이 표시되지 않습니다.

다음 예제는 가족 구성원 멘션에 대해 작성된 제안을 보여줍니다.

벌크 레이블에 대해 선택한 용어는 레이블이 지정되지 않고 대신 제안으로 표시됨을 알 수 있습니다. 다음 상황에서는 용어를 건너뜁니다.

• 이 용어는 문서의 다른 섹션에 있는 다른 명사 구문에서 발생할 수 있습니다. 예를 들어, father 라는 용어는 명사 구문 the kindest *father* 및 to her *father* 에서 발생할 수 있습니다. 단어가 형용사가 있는 명사 구문에 포함되면 의미가 변경될 수 있습니다. 따라서 이러한 용어는 자동으로 레이블이 지정되지 않고 제안되는 경우가 있습니다.
• 단어는 그 자체로 그리고 복수 단어 멘션의 일부로서 유효한 예일 수 있습니다. 예를 들어, IBM 이라는 언급은 *International Business Machines, Corp.*라는 회사를 지칭하거나 IBM Cloud Pak for Data처럼 제품 이름의 일부로 사용될 수 있습니다. 그러나, 단어 또는 구는 단지 하나의 예의 일부일 수 있다. 예제 레이블은 서로 겹칠 수 없습니다. 따라서 가장 정확한 예제 제안을 선택해야 합니다. 이 예에서 IBM라는 용어가 제품 이름의 일부로 사용되는 경우, 전체 문구를 Product 엔티티 유형의 예로 레이블을 지정하는 것이 더 정확합니다.
• 서비스는 용어가 둘 이상의 엔티티 유형의 가능한 예임을 인식할 수 있습니다. 예를 들어, top 라는 단어는 최상의 또는 셔츠를 의미할 수 있습니다.

제안사항을 자세히 조사하려면 이를 클릭하여 문서 내의 컨텍스트에서 단어를 확인하십시오. 컨텍스트의 용어를 보면 발생이 사용자가 레이블을 지정하기에 올바른 엔티티 예제인지 여부를 결정하는 데 도움이 됩니다.

엔티티 추출기에 대해 레이블 지정된 데이터 내보내기

Discovery에서 엔티티 추출기의 레이블 지정된 데이터를 내보낼 수 있습니다. Watson Studio 및 자연어 처리 (NLP) 와 같은 서비스에서 대규모 언어 모델 (LLM) 을 빌드하거나 훈련하기 위해 내보낸 레이블 지정된 데이터를 사용할 수 있습니다.

라벨이 붙은 데이터를 내보내려면 다음 단계를 완료하십시오

1. 개선 및 사용자 정의 페이지의 개선 도구 패널에서 각 도메인 개념을 펼친 후 엔티티 추출을 클릭하십시오.

2. 레이블 지정된 데이터를 내보낼 엔티티 추출기의 경우 조치 아이콘을 클릭한 후 레이블 지정된 데이터 다운로드를 선택하십시오.

   레이블이 지정된 데이터와 함께 압축 파일이 다운로드됩니다. 압축 파일에는 다음 JSON 파일이 포함되어 있습니다.

   • labeled_data.json: 텍스트 및 레이블을 포함합니다. 데이터 형식은 Watson 자연어 처리에서 엔티티 추출을 위한 입력 데이터 형식을 기반으로 합니다. 자세한 정보는 입력 데이터 형식을 참조하십시오.
   • metadata.json: 작업공간의 메타데이터 및 레이블 지정된 데이터를 포함합니다.

교육 문제 해결

가능한 오류 메시지 및 이를 처리하는 방법에 대해 학습합니다.

훈련 데이터가 너무 큽니다.

훈련 데이터에는 대형 텍스트 문서가 포함되어 있거나 데이터를 처리하는 데 필요한 많은 엔티티 유형 및 자원이 서비스 인스턴스에 사용 가능한 자원보다 큽니다. 이 오류는 작업공간이 문서화된 엔티티 추출기 한계를 초과하지 않는 경우에도 발생할 수 있습니다. 문제를 해결하기 위해 다음 방법 중 하나를 시도할 수 있습니다.

• 하나 이상의 엔티티 유형을 제거하여 훈련 데이터의 크기를 줄이십시오.
• 훈련 데이터에서 매우 큰 문서를 제거하십시오. 예를 들어, 레이블이 지정된 문서 중 하나가 매우 큰 경우 해당 상태를 완료됨 에서 진행 중 으로 변경하여 훈련 데이터에서 이를 생략하십시오.
• 훈련 세트에 포함된 문서 수를 줄이십시오. 훈련 데이터에 대한 기본 분할 비율 (70 %-23 %-7%) 은 훈련 세트에 있는 문서의 70%를 사용합니다. 훈련 세트에서 사용되는 문서의 백분율을 더 작은 수로 변경할 수 있습니다. 예를 들어, 분할 비율을 60 %-33 %-7%로 변경할 수 있습니다.
• IBM Cloud Pak for Data 노즈비 IBM Software Hub 서비스 포드를 확장하여 배포된 서비스 인스턴스의 용량을 늘리십시오.

추출기 개선

다음 표는 공통 문제점에 대해 제안된 수정사항을 표시합니다.

훈련 데이터에 문서 추가

문서를 더 추가하려면 다음 단계를 완료하십시오:

1. 레이블 문서 탭을 여십시오.

2. 문서 목록 패널에서 문서 추가를 선택하십시오.

   현재 콜렉션에서 엔티티 추출기에 추가할 수 있는 다른 문서가 없는 경우 이 단추를 사용할 수 없습니다. 콜렉션에 더 많은 문서를 추가하려면 콜렉션의 활동 페이지로 이동한 후 데이터 업로드 타일을 클릭하여 더 많은 파일을 찾아보고 추가하십시오.

레이블 지정을 위해 문서 목록 에 표시할 문서를 콜렉션에서 선택할 수 없습니다. 레이블을 지정할 특정 유형의 문서가 있는 경우 엔티티 추출기를 작성하는 데 사용할 수 있는 콜렉션에 대표 문서를 추가하는 것을 고려하십시오.

훈련 데이터에 포함할 수 있는 문서 수에는 제한이 있습니다. 훈련 데이터에 레이블이 지정된 섹션과 레이블이 지정되지 않은 섹션의 조합이 있는 문서가 포함된 경우 시스템은 레이블이 지정되지 않은 문장에서 일부 예제를 샘플링할 수 있습니다. 하위 샘플링은 훈련에 사용되는 긍정적 및 부정적 예제 수의 균형을 맞추는 데 도움이 됩니다. 훈련 세트에서 예제의 균형을 맞추면 훈련 성능이 향상됩니다.

엔티티 추출기 출력

인리치먼트가 문서에서 사용자 정의 엔티티 중 하나를 인식하면 문서 JSON 표시의 enriched_text.entities 섹션에 항목이 추가됩니다. 이 섹션에는 기본 제공 엔티티 인리치먼트에서 인식되는 엔티티와 함께 사용자 정의 모델에서 인식되는 엔티티의 발생이 포함되어 있습니다. 기본 제공 인리치먼트는 Watson NLP 서비스를 사용하여 Natural Language Understanding 유형 시스템의 일부인 엔티티를 식별합니다. 기본 제공 엔티티 인리치먼트에 대한 자세한 정보는 엔티티 를 참조하십시오.

다음 JSON 출력은 제품군 멤버 멘션을 인식하는 문학 이라는 사용자 정의 모델에 의해 생성됩니다.

시간 경과에 따른 성능 모니터링

언제든지 엔티티 추출기 모델을 재훈련할 수 있습니다. 모델을 훈련할 때마다 성능 메트릭 점수를 검토하여 최신 변경사항이 모델의 점수를 늘리거나 줄이는지 여부를 판별하십시오.

1. 한 테스트 실행을 다른 테스트 실행과 비교하려면 점수 기록 보기를 클릭하십시오.

   히스토리 보기에는 마지막 5개의 훈련 실행이 표시됩니다.

   최근 5개이상의 훈련 실행에 대한 점수 정보를 유지하기 위해 쉼표로 구분된 값 형식으로 메트릭을 내보내고 별도의 애플리케이션에서 점수를 추적할 수 있습니다. 테이블 표시 아이콘 을 클릭한 후 CSV로 다운로드를 클릭하십시오.

후속 훈련 실행의 결과가 더 낮은 점수인 경우 모델의 해당 버전을 공개하지 마십시오.