수정사항에 대한 설명

• 사전 추가

  사전은 특정 엔티티 유형의 표층형 예를 포함하고 있습니다. 훈련 통계가 해당 유형의 어노테이션이 훈련 데이터에 드물게 발생함을 보여주는 경우에는 새 사전을 추가하거나 기존 사전에 항목을 추가해야 할 수 있습니다. 해당 엔티티 유형이 도메인에 있어서 주요 엔티티 유형이며 자주 발생하는 것이 확실한 경우, 이러한 통계 상의 공백은 훈련 데이터에 실제로 있는 해당 유형과 연관된 표층형을 기계 학습 모델에서 인식하지 못하고 있음을 나타낼 수 있습니다. 표층형 예를 추가로 제공하면 이 문제점을 해결하는 데 도움이 됩니다.

• 문서 세트 편집

  전체 훈련 데이터가 충분한지 확인하십시오. 기계 학습 모델이 학습하기 위해서는 충분한 컨텐츠가 필요합니다. 300,000 단어 정도를 제공하는 것을 목표로 하십시오. (단어 수를 확인하기 위해 소스 문서에 대해 단어 수 계산 도구를 실행할 수 있습니다.) 훈련 세트의 컨텐츠가 적은 경우에는 말뭉치에 문서를 추가하십시오. 각 중요 엔티티 유형 또는 관계를 사용하는 소수의 문서만을 확보하는 것으로는 충분하지 않으며, 해당 도메인의 일반적인 문서에서 이러한 유형이 어떻게 사용되었는지 보여주는 많은 문서가 필요합니다.

  • 테스트와 훈련에 사용되는 문서 분류가 유사한지 확인하십시오. 예를 들면, 한 데이터 소스의 문서를 테스트 데이터 세트로 사용하고 다른 데이터 소스의 문서를 훈련 데이터 세트로 사용하지 마십시오. 서로 다른 데이터 소스는 엔티티 및 관계 유형 정보를 전혀 다른 방식으로 나타낼 수 있습니다. 업계 관련 문서로부터 가장 포괄적인 사용 예 세트를 얻으려면 두 데이터 세트의 모든 데이터 소스로부터 구성된 문서 조합을 사용하는 것이 좋습니다. 테스트 실행의 전체 성능 점수가 훈련 실행의 점수와 많이 다른 경우에는 각각에 사용된 데이터 세트 간의 불일치가 원인일 수 있습니다.
  • 올바르지 않게 형식화된 문서로 시간을 낭비하지 마십시오. 말뭉치에 추가하는 텍스트 문서는 UTF-8 형식이어야 합니다. 다른 형식의 문서를 UTF-8 인코딩을 사용하도록 변환한 경우에는 구분 기호가 표시되거나 기타 문자 표준화 관련 문제가 발생한 것을 볼 수 있습니다. 이러한 올바르지 않은 형식화는 정확하지 않은 토큰 표시로 이어질 수 있습니다. 특정 멘션을 나타내는 데 사용된 단어 토큰이 문서 간에 다른 경우에는 예의 효용성이 떨어지며 기계 학습에 부정적인 영향을 줍니다.

• 유형 고유 문서 추가

  특정 유형을 포함하는 문서의 백분율이 낮은 경우 이는 말뭉치의 대표성이 떨어짐을 의미할 수 있습니다. 기계 학습 모델은 학습할 많은 예를 필요로 합니다. 더 많은 문서를 말뭉치에 추가하면 이를 해결하는 데 도움이 됩니다. 유형 시스템 및 문서가 특정 도메인을 정말 잘 나타내는 경우에는 무작위로 어느 문서를 선택하든 어느 정도의 유형 서브세트를 포함할 것으로 예상할 수 있습니다. 모든 경우에 그런 것은 아니지만, 이 상황은 유형 시스템과 말뭉치 내 문서의 품질을 검토해야 함을 나타내는 신호로 볼 수 있습니다. 사용자는 현재 빈도가 적은 유형을 더 많이 사용하는 도메인 문서를 더 많이 찾아야 합니다. 재현율이 낮은 경우 이는 보통 더 많은 문서를 추가해야 함을 나타냅니다.

• 말뭉치에 추가 어노테이션 작성

  기계 학습 모델이 특정 유형의 인스턴스를 찾는 어려움을 겪고 있는 경우 이는 기준 실제값에 해당 유형의 사용 예가 충분히 포함되어 있지 않은 것이 원인일 수 있습니다. 사람 어노테이터는 엔티티 유형 멘션에 대해서는 철저하게 어노테이션을 작성하면서, 관계 유형 및 상호 참조에 대해서는 어노테이션 작성에 공을 덜 들이는 경우가 있습니다. 말뭉치 밀도 백분율이 낮은 주요 유형에 대해, 사용자는 소스 문서에서 더 많은 이러한 유형의 어노테이션을 찾는 데 집중하려 할 수 있습니다. 그러나 멘션 정확도가 부족한 경우에는 상호 참조 및 관계 정확도에 너무 신경쓰지 마십시오. 엔티티 간 관계 멘션 및 엔티티 간 상호 참조는 먼저 엔티티 멘션이 정확하지 않으면 정확할 수 없습니다.

• 사람이 작성한 어노테이션 수정

  훈련 데이터가 일관되게, 완전히 어노테이션이 작성되었는지 확인하십시오. 기계 학습 모델은 기준 실제값 어노테이션으로부터 학습을 수행합니다. 예를 들어, 특정 문장이 Obama family라는 구문을 포함하며 한 문장에서는 "Obama"를 PERSON로 레이블 지정하고 다른 문장에서는 "Obama family"를 PEOPLE로 레이블 지정하는 경우, 이러한 불일치는 기계 학습 모델이 올바른 어노테이션을 학습할 수 없음을 의미합니다. 마찬가지로, "Obama"를 한 문장에서 PERSON으로 레이블 지정하고 다른 모든 문장에서 이 이름을 레이블 지정하지 않는 경우 또한 어노테이션 작성 작업이 완전하지 않으며 기계 학습 모델이 올바르지 않게 훈련됩니다. 이러한 불일치 및 부분적 레이블링 유형은 유형 혼동이라고 하기도 합니다. 대부분의 경우에는 단순히 여러 사람 어노테이터가 겹치는 문서 세트를 검토하는 것만으로도 유형 혼동 관련 실수가 발견됩니다. 문서 충돌 해결 중에 발견되는 문제는 유형 시스템 자체의 더 근본적인 문제에 대한 정보를 제공하므로 이러한 문제에 주의를 기울이십시오. 유형 시스템을 개선하거나 정제할 여지가 없는 경우에는 어노테이션 가이드라인을 업데이트하고 예를 포함시켜야 할 수 있습니다. 사용자는 일반적인 실수에 대한 설명과 해당 상황에서 멘션에 적절히 어노테이션을 작성하는 방법을 제공해야 합니다.

  어노테이션 불일치의 또 다른 지표는 어노테이션 수가 충분하지만 말뭉치 밀도가 여전히 낮은 경우입니다. 밀도는 도메인 문서에서 중요한 멘션이 자주 발생하지만 문서 세트 전체에서 다양한 유형으로 어노테이션이 작성되는 경우 영향을 받을 수 있습니다.

  낮은 정밀도는 보통 어노테이션 일관성을 개선해야 함을 나타냅니다. 이를 수행하려면 어노테이션 가이드라인을 검토하고, 사람 어노테이터를 훈련시키고, 사람 어노테이터들이 각자 따로 작업하지 않고 서로 협력하여 작업하도록 해야 합니다.

  어노테이터 간 일치 점수를 확인하십시오. 서로 다른 어노테이터의 결과물 간 일치 정도를 나타내는 이 점수는 중요한 수치입니다. 이 점수는 기계 학습 모델을 훈련시키는 데 사용되는 기준 실제값 문서의 품질을 나타낼 뿐만 아니라 기계 학습 모델 성능의 상한을 나타내기도 합니다. 이러한 문서를 기반으로 훈련된 모델은 여러 작업자가 협력하여 도달할 수 있는 최고의 일치 수준보다 더 나은 성능을 보이기 어렵습니다. 예를 들어, 성능 점수가 75에서 지속되며 더 높아지지 않는 경우에는 어노테이터 간 일치 결과를 살펴보십시오. 어노테이터 간 일치 점수가 80인 경우에는 사람 어노테이터의 훈련도를 높이고 판정 중에 충돌이 올바르게 해결(어노테이션 가이드라인에 따라)되도록 하기 위한 조치를 수행하십시오. 사람 어노테이터가 특정 항목의 레이블 지정 방식에 대해 동의하지 못하는 경우에는 기계 학습 모델이 올바른 레이블을 적용하지 못할 가능성이 높습니다.

• 사람 어노테이터 가이드라인 개선

  명확하고 포괄적인 어노테이터 가이드라인은 문제 없는 성공적인 어노테이션 개발에 있어서 중요한 부분입니다. 사람 어노테이터의 작업은 어렵습니다. 엔티티 및 관계 유형을 지정하는 데 있어서, 도메인 문서에 대한 작업을 시작하기 전에는 예상하기 어려운 미묘한 차이가 있을 수 있습니다. 가이드라인은 사람 어노테이터가 문서를 평가하면서 결과가 올바른지 확인할 수 있는 기준을 제공합니다. 이 가이드라인은 계속해서 변경되고 개선되어야 합니다(특히 어노테이션 작성 프로세스 초기에). 사람 어노테이터는 몇 개의 문서에 어노테이션을 작성하면서 배운 것을 가이드라인에 반영할 수 있으며, 이러한 과정이 반복되면서 새로운 팁 및 요령이 가이드라인에 추가될 수 있으므로 가이드라인은 주요 피드백 루프를 제공합니다. 가이드라인에 어려운 결정의 예와 이에 대한 바람직한 해결책을 포함시키십시오. 어노테이션 가이드라인에 무엇을 추가해야 하는지 판별하는 가장 좋은 방법은 문서 충돌을 주의 깊게 검토하는 것입니다. 실제 작업자들이 이견을 가졌던 실제 어노테이션 예와 이들이 해결된 방식은 새 문서에 어노테이션을 작성하는 사람 어노테이터에게 큰 도움이 됩니다.

• 유형 시스템 업데이트

  다음과 같은 이유로 유형 시스템을 업데이트해야 할 수 있습니다.

  • 훈련 데이터를 구성하는 문서에 도메인의 중요 유형인 개념에 대한 언급이 있지만 유형 시스템에 이러한 항목이 나타나지 않습니다. 이는 누락된 개념 또는 관계를 포함하는 유형을 추가해야 함을 의미할 수 있습니다. 분야 내의 모든 개념 또는 도메인 문서에서 발생한 모든 엔티티에 대해 유형을 정의하려 하지는 마십시오. 유형 시스템은 가장 기본적인 유형으로 제한되어야 합니다.

  • 사람 어노테이터가 기존 유형을 지속적으로 잘못 사용합니다. 특정 유형이 지속적으로 혼동을 야기하는 경우에는 이름을 바꾸거나, 중복되는 경우 제거해야 할 수 있습니다.

  • 기존 유형이 문서에서 언급되지 않아 사람 어노테이터가 이를 전혀 사용하지 않습니다. 해당 유형이 이 도메인의 관련 문서에서 다시 사용될 가능성이 없는 경우에는 유형 시스템에서 제거하십시오.

  • 사람 어노테이터가 문서에 어노테이션을 작성할 때 두 유형이 종종 서로 교차 사용됩니다. 해당 두 유형을 개념 또는 관계를 정확히 나타내는 하나의 유형으로 통합할 수 있는지 고려하십시오. 예를 들어, 유형 시스템이 종종 교차 사용되는 PERSON 및 PEOPLE을 모두 포함하는 경우에는 두 개별 유형을 사용하는 대신 두 경우를 모두 포함하는 PERSONPEOPLE이라는 하나의 유형을 사용하는 것이 좋을 수 있습니다.

    유형 시스템을 업데이트할 때는 주의하십시오. 사람 어노테이터가 이전 유형 시스템과 연관된 문서 세트를 평가한 후 이를 업데이트하면 사람 어노테이터가 해당 문서 세트를 다시 평가해야 합니다. 변경해야 하는 사항이 이러한 재작업을 감수할 만큼 중요한지 확인하십시오.

• 추가 조사

  유형 시스템, 사전 및 소스 문서가 완벽하며 사람에 의한 어노테이션 작성에 문제가 없었으나 기계 학습 모델의 성능이 여전히 좋지 않은 경우에는 모델 훈련 프로세스에 문제가 있을 가능성이 있습니다. 예를 들면, 훈련 데이터에 대해 테스트를 수행할 때는 항상 전체 점수가 높아야 합니다(95% 이상).

증상

F1 점수는 1이 최고값이고 0이 최저값입니다. 낮은 F1 점수는 낮은 정밀도와 불량한 재호출 모두를 표시합니다. 기계 학습 모델이 잘못된 어노테이션을 생성하며 찾아야 하는 어노테이션을 찾지 못합니다.

원인

낮은 F1 점수는 도메인, 유형 시스템 복잡도, 훈련 문서의 적절성, 사람 어노테이터의 기술 수준 및 기타 요소에 따른 다양한 이유로 발생할 수 있습니다.

문제점 해결

다음 단계를 하나 이상 수행하여 기계 학습 모델의 성능을 조정한 후 모델을 다시 훈련시키십시오.

1. 자주 발생하며 정확도가 낮은 유형을 식별하십시오.

   관계를 분석할 때는 관계 유형 자체의 F1 점수와 관계에 속한 두 엔티티 각자의 F1 점수를 모두 살펴보십시오.

2. 자주 혼동되는 유형을 식별하십시오. 이 정보는 혼동 매트릭스에서 사선을 벗어난 숫자를 확인하여 찾을 수 있습니다.

3. 기계 학습 모델의 신뢰도가 높은 부분의 오류를 검토하십시오.

4. 혼동 매트릭스에서 거짓 부정(false negative) 및 거짓 긍정(false positive)의 패턴을 찾으십시오.

5. 훈련 데이터에서 특정 유형이 드물게 발생하는 경우에는 해당 유형을 포함하는 훈련 데이터를 추가하십시오.

   백분율 통계(어노테이션의 %, 말뭉치 밀도의 %, 문서의 %의 세 가지가 있음)를 확인하여 해당 유형의 발생 빈도를 판별할 수 있습니다.

6. 특정 유형의 F1 점수가 낮은 경우에는 이러한 유형에 적용되는 어노테이션 가이드라인이 명확한지 검토하십시오.

7. 훈련 데이터에 드물게 발생하는 유형에 대해 사전을 추가하십시오.

그림 1. 낮은 F1 점수를 해결하는 방법

증상

정밀도 점수는 1이 최고값이고 0이 최저값입니다. 정밀도가 낮은 점수는 시스템 학습 모델이 올바르지 않은 어노테이션을 생성했음을 표시합니다.

원인

낮은 정밀도 점수는 도메인, 유형 시스템 복잡도, 훈련 문서의 적절성, 사람 어노테이터의 기술 수준 및 기타 요소에 따른 다양한 이유로 발생할 수 있습니다.

문제점 해결

다음 단계를 하나 이상 수행하여 기계 학습 모델의 성능을 조정한 후 모델을 다시 훈련시키십시오.

1. 자주 발생하며 정밀도가 낮은 유형을 식별하십시오.
2. 자주 혼동되는 유형을 식별하십시오. 이 정보는 혼동 매트릭스에서 사선을 벗어난 숫자를 확인하여 찾을 수 있습니다.
3. 기계 학습 모델의 신뢰도가 높은 부분의 오류를 검토하십시오.
4. 혼동 매트릭스에서 거짓 부정(false negative)의 패턴을 찾으십시오.
5. 특정 유형의 정밀도 점수가 낮은 경우에는 이러한 유형에 적용되는 어노테이션 가이드라인이 명확한지 검토하십시오.

그림 2. 낮은 정밀도 점수를 분석하는 방법

증상

재호출 점수는 1이 최고값이고 0이 최저값입니다. 낮은 재호출 점수는 머신 학습 모델이 작성해야 하는 어노테이션을 작성하는 데 실패했음을 표시합니다.

원인

낮은 재현율 점수는 도메인, 유형 시스템 복잡도, 훈련 문서의 적절성, 사람 어노테이터의 기술 수준 및 기타 요소에 따른 다양한 이유로 발생할 수 있습니다.

문제점 해결

다음 단계를 하나 이상 수행하여 기계 학습 모델의 성능을 조정한 후 모델을 다시 훈련시키십시오.

1. 자주 발생하며 재현율이 낮은 유형을 식별하십시오.
2. 자주 혼동되는 유형을 식별하십시오. 이 정보는 혼동 매트릭스에서 사선을 벗어난 숫자를 확인하여 찾을 수 있습니다.
3. 기계 학습 모델의 신뢰도가 높은 부분의 오류를 검토하십시오.
4. 혼동 매트릭스에서 거짓 긍정(false positive)의 패턴을 찾으십시오.
5. 특정 유형의 재현율 점수가 낮은 경우에는 이러한 유형에 적용되는 어노테이션 가이드라인이 명확한지 검토하십시오.

그림 3. 낮은 재호출 점수를 해결하는 방법