무시할 단어 식별

검색 중에 의미 없는 단어를 무시하려면 사용자 지정 중지 단어 목록을 추가하세요. 중지 단어는 콘텐츠의 의미적 의미를 구분하는 데 유용하지 않은 단어입니다.

영어의 경우 the, is 및 and 이 중지 단어의 예입니다.

사용자가 정의한 중지 단어는 쿼리에서 필터링되어 자연어 쿼리 결과의 관련성을 개선합니다.

예를 들어 한 회사에는 세 가지 서비스 계층이 있습니다. 컬렉션 중 하나의 문서에는 실버 티어라는 한 가지 티어에만 해당하는 문서가 있습니다. 모든 문서가 실버 서비스 티어와 관련된 경우 이 용어는 한 문서의 중요도를 다른 문서와 구분하는 데 도움이 되지 않으므로 중지 단어 목록에 "silver" 을 추가할 수 있습니다. 고객이 쿼리 문자열에 실버 티어를 언급하면 이 티어는 무시됩니다. 쿼리에서 더 중요한 다른 용어는 대신 데이터를 검색하는 데 사용됩니다. 또는 문서 컬렉션이 자동차 사고 보고서로만 구성되어 있을 수도 있습니다. 쿼리에서 "car" 가 언급되어 검색에 노이즈가 추가되는 것을 방지하기 위해 중지 단어 목록에 car 을 추가할 수 있습니다.

Discovery는 지원되는 많은 언어에 대한 기본 중지 단어 목록을 자동으로 적용합니다. 이러한 중지 단어는 인덱싱 시점과 쿼리 시점에 모두 적용됩니다. 미리 정의된 중지 단어는 콘텐츠가 색인될 때 무시되며 쿼리에서 필터링됩니다. 그러나 사용자가 정의한 중지 단어는 쿼리 시에만 사용됩니다. 내 목록은 기본 목록을 대체하는 것이 아니라 기본 목록을 보강하는 것입니다. 중지 단어를 추가할 수는 있지만 중지 단어를 제거할 수는 없습니다.

사용자 지정 중지 단어 목록 예시:

{
  "stopwords": [
    "a", "an", "the", "ibm", "what", "how", "when", "can", "should", ...
  ]
}

기본 중지 단어 목록

Watson Developer Cloud GitHub 리포지토리에서 영어에 대한 기본 중지 단어 목록에 액세스할 수 있습니다.

다음 언어의 경우, Discovery는 Apache Lucene에 정의된 기본 중지 단어 목록을 사용합니다. 목록에 어떤 단어가 포함되는지에 대한 자세한 내용은 Lucene 참조 문서를 참조하세요:

아랍어 stopwords_ar.txt
Czech: stopwords_cs.txt
덴마크어 stopwords_da.txt
Dutch: stopwords_nl.txt
핀란드어 stopwords_fi.txt
프랑스어 stopwords_fr.txt
독일어: stopwords_de.txt
Hindi: stopwords_hi.txt
이탈리아어 stopwords_it.txt
노르웨이어(두 방언 모두 지원됨): stopwords_no.txt
포르투갈어 stopwords_pt.txt
루마니아어 stopwords_ro.txt
러시아어 stopwords_ru.txt
스페인어 stopwords_es.txt
Swedish: stopwords_sv.txt
터키어 stopwords_tr.txt

이러한 기본 중지 단어는 TXT 형식으로 문서화되어 있지만, 목록을 보강하여 Discovery에서 사용할 수 있도록 제출하려면 JSON 파일을 제출해야 합니다. 중지 단어 목록 파일의 구문 예시를 보려면 사용자 지정 영어 중지 단어 목록 파일을 참조하세요.

나머지 지원되는 언어의 경우 기본 중지 단어가 사용되지 않습니다. 이러한 언어에 대해 쿼리 시 사용할 중지 단어 목록을 지정할 수 있습니다. 제출한 목록은 데이터가 수집될 때 사용되지 않습니다.

쿼리 시 적용할 수 있는 중지 단어 목록의 예는 다음과 같습니다:

Japanese: custom_stopwords_ja.json
폴란드어 custom_stopwords_pl.json

지원되는 언어 에서 지원하는 언어 목록은 Discovery를 참조하세요.

쿼리 시간 중지 단어 정의

중단 단어를 정의하려면 다음 단계를 완료하십시오

중지 단어 파일을 만듭니다. 파일은 파일 확장자가 json 인 JSON 파일이어야 합니다.

다음 지침을 따르십시오.
- 중지 단어를 소문자로 지정합니다.
- 일반적으로 중지 단어 목록은 200 총 단어 수 아래에 유지합니다. 글자 수 제한은 100만 자입니다. 그러나 너무 많은 용어를 지정하면 검색 정확도에 부정적인 영향을 미칠 수 있습니다.
영어로 사용자 지정 중지 단어 목록을 작성할 때 기본 영어 중지 단어 목록 파일인 custom_stopwords_en.json을 시작점으로 사용할 수 있습니다.
탐색 창에서 개선 및 사용자 지정 페이지를 엽니다.
개선 도구 창에서 관련성 개선를 펼칩니다.
단어를 클릭한 다음 단어 업로드를 클릭하여 컬렉션에 대한 단어를 업로드합니다.

컬렉션당 하나의 스톱 단어 목록만 업로드할 수 있습니다. 업로드하는 중지 단어 목록은 컬렉션의 기본 중지 단어 목록을 보강하는 것이지 기본 목록을 대체하는 것은 아닙니다.
완료를 클릭하십시오.

사용자 지정 중지 단어 파일을 비활성화하고 기본 중지 단어 사용으로 되돌리려면 사용자 지정 중지 단어 파일을 삭제하세요.