Identificación de palabras a ignorar

Para ignorar términos sin sentido durante las búsquedas, añada una lista de palabras vacías personalizadas. Las palabras de detención son palabras que no son útiles para distinguir el significado semántico del contenido.

En inglés, the, is y and son ejemplos de palabras vacías.

Las palabras vacías que defina se filtran fuera de las consultas y mejoran la relevancia de los resultados de la consulta en lenguaje natural.

Por ejemplo, una empresa tiene tres niveles de servicio. Los documentos de una de las colecciones pertenecen a un solo nivel, el nivel Plata. Es posible que desee añadir "silver" a la lista de palabras vacías porque el término no ayuda a distinguir el significado de un documento sobre otro, dado que todos los documentos están relacionados con el nivel de servicio Plata. Cuando un cliente menciona el nivel Plata en una serie de consulta, se ignora. En su lugar, se utilizan otros términos de la consulta que son más significativos para buscar los datos. O tal vez la colección de documentos consiste en informes de accidentes de coche solamente. Es posible que desee añadir "car" a la lista de palabras vacías para evitar que las menciones de car en las consultas añadan ruido a la búsqueda.

Discovery aplica automáticamente una lista de palabras vacías predeterminadas para muchos de los idiomas soportados. Estas palabras de detención se aplican tanto en el momento de la indexación como en el momento de la consulta. Las palabras vacías predefinidas se ignoran cuando se indexa el contenido y se filtran fuera de las consultas. Sin embargo, las palabras vacías que defina se utilizan sólo en el momento de la consulta. La lista no sustituye a la lista predeterminada; aumenta la lista predeterminada. Puede añadir palabras vacías, pero no puede eliminar palabras vacías.

Ejemplo de lista de palabras de detención personalizada:

{
  "stopwords": [
    "a", "an", "the", "ibm", "what", "how", "when", "can", "should", ...
  ]
}

Listas de palabras vacías predeterminadas

Puede acceder a la lista de palabras vacías predeterminada para inglés desde el repositorio deWatson Developer Cloud GitHub.

Para los idiomas siguientes, Discovery utiliza la lista de palabras vacías predeterminada definida por Apache Lucene. Para obtener más información sobre qué palabras se incluyen en la lista, consulte la documentación de referencia de Lucene:

Estas palabras vacías predeterminadas están documentadas en formato TXT, pero si desea aumentar la lista y enviarla para su uso por parte de Discovery, debe enviar un archivo JSON. Para ver un ejemplo de la sintaxis del archivo de lista de palabras vacías, consulte el archivo de lista de palabras vacías en inglés personalizado.

Para los idiomas soportados restantes, no se utilizan palabras vacías predeterminadas. Puede especificar una lista de palabras vacías para utilizarla en el momento de la consulta para estos idiomas. La lista que envía no se utiliza cuando se ingieren datos.

Entre los ejemplos de listas de palabras vacías que es posible que desee aplicar en el momento de la consulta se incluyen:

Consulte idiomas soportados para obtener la lista de los idiomas soportados por Discovery.

Definición de palabras vacías de tiempo de consulta

Para definir palabras vacías, siga estos pasos:

  1. Cree un archivo de palabras vacías. El archivo debe ser un archivo JSON con la extensión de archivo json.

    Siga estas directrices:

    • Especifique las palabras vacías en minúsculas.
    • En general, mantenga la lista de palabras vacías bajo 200 palabras totales. El límite de tamaño es de un millón de caracteres. Sin embargo, si especifica demasiados términos, puede afectar negativamente a la precisión de la búsqueda.

    Puede utilizar el archivo de lista de palabras vacías en inglés predeterminado, custom_stopwords_en.json, como punto de partida al crear una lista de palabras vacías personalizada en inglés.

  2. En el panel de navegación, abra la página Mejorar y personalizar.

  3. Expanda Mejorar relevancia desde el panel de herramientas de mejora.

  4. Pulse Palabras clave y, a continuación, pulse Cargar palabras vacías para la colección.

    Sólo se puede cargar una lista de palabras vacías por colección. La lista de palabras vacías que carga aumenta la lista de palabras vacías predeterminada para la colección; no sustituye a la lista predeterminada.

  5. Pulse Listo.

Para inhabilitar un archivo de palabras vacías personalizado y volver a utilizar las palabras vacías predeterminadas, suprima el archivo de palabras vacías personalizado.