Criação de coleções

Escolher o que adicionar a uma coleção

Há alguns aspectos a serem considerados ao decidir como dividir seu conteúdo de origem em coleções.

• Obtenção de conteúdo de diferentes fontes de dados

  Se você armazenar conteúdo semelhante em mais de um tipo de fonte de dados (um site e Salesforce, por exemplo), poderá criar um projeto com duas coleções separadas. Cada coleção adiciona documentos de uma única fonte de dados. Quando elas são criadas juntas em um único projeto, o usuário pode pesquisar em ambas as fontes ao mesmo tempo.

• Aplicação de enriquecimentos

  Criar uma coleção é uma boa maneira de agrupar documentos que você deseja enriquecer de maneira semelhante. Por exemplo, talvez um subconjunto de seus documentos contenha jargões do setor e você queira adicionar um dicionário que reconheça os termos. Você pode criar uma coleção separada e usar o recurso de sugestões de termos para acelerar o processo de criação do dicionário.

• Criação de modelos separados de Smart Document Understanding (SDU)

  Você pode usar a ferramenta Smart Document Understanding para identificar o conteúdo com base na estrutura de um documento. Se você tiver 20 arquivos PDF criados pelo departamento de vendas e que usam um modelo e 20 arquivos PDF criados pelo departamento de pesquisa e que usam um modelo diferente, agrupe cada conjunto em sua própria coleção. Em seguida, você pode usar a ferramenta SDU para criar um modelo para cada estrutura separadamente, um modelo que compreenda a estrutura exclusiva. Você também pode usar a ferramenta para definir campos personalizados que sejam exclusivos dos documentos de origem.

Criando uma Coleta

Antes de criar uma coleção, você deve criar um projeto. Para obter mais informações, consulte Criando projetos.

Coisas para se ter em mente:

• Uma coleção pode suportar apenas uma fonte de dados externa.
• Os documentos da coleção devem estar em apenas um idioma, o idioma que você especificar para a coleção.

Para criar uma coleção, conclua as seguintes etapas:

1. Abra um projeto, vá para a página Gerenciar coleções e clique em Nova coleção.

   • Os tipos de projeto Intelligent Document Processing, Conversational Search, Document Retrieval e Custom podem conter até 5 coleções.
   • Um projeto de mineração de conteúdo pode conter apenas uma coleção.

2. Faça upload de dados para sua coleção.

   IBM Cloud Para se conectar a uma fonte de dados diferente em vez de fazer upload de dados, clique no link ao lado do campo Need to connect to a data source?

   Você pode escolher as seguintes maneiras de se conectar a uma fonte de dados em vez de fazer upload de dados.

   • Reutilização de dados de uma coleção

   • Rastreamento de uma fonte de dados externa.

     Para saber quais são as fontes de dados compatíveis, consulte o tópico apropriado para o seu tipo de implantação:

     • IBM Cloud Pak for DataIBM Software HubIBM Cloud Pak for Data fontes de dados
     • IBM CloudIBM Cloud fontes de dados

     Esses tópicos também descrevem como se conectar a fontes de dados que não são compatíveis por padrão com cada tipo de implantação.

Para obter informações sobre como solucionar problemas que você pode encontrar ao adicionar documentos a uma coleção, consulte Solução de problemas de ingestão.

Para obter mais informações sobre como criar uma coleção programaticamente, consulte a documentação de referência da API.

Optical Character Recognition

Um dos recursos opcionais que você pode aplicar a uma coleção ao criá-la é o reconhecimento óptico de caracteres. O recurso de reconhecimento óptico de caracteres (OCR) extrai texto de imagens. Esse recurso é útil para preservar informações representadas em diagramas ou gráficos, ou em texto incorporado em arquivos como PDFs digitalizados. Ao converter as informações visuais em texto, elas podem ser pesquisadas posteriormente.

Uma nova versão da tecnologia foi introduzida em instâncias gerenciadas na nuvem. O OCR v2 foi desenvolvido pela IBM Research para ser melhor na extração de texto de documentos digitalizados e outras imagens que têm as seguintes limitações:

• Imagens de baixa qualidade devido a configurações incorretas do scanner, resolução insuficiente, iluminação ruim (como na captura móvel), perda de foco, páginas desalinhadas e documentos mal impressos
• Documentos com fontes irregulares ou várias cores, tamanhos de fonte e planos de fundo

Coisas que você deve ter em mente ao ativar o OCR:

• O tempo necessário para ingerir um documento com imagens aumenta quando o OCR está ativado.
• Atualmente, o OCR não oferece suporte à extração de texto manuscrito de documentos e imagens digitalizadas.
• O OCR pode ler imagens claras e com ruídos. Ele pode converter imagens com ruídos em escala de cinza, além de suavizá-las e removê-las de distorção. No entanto, a qualidade da imagem deve atender ao requisito mínimo de 80 DPI (pontos por polegada).
• O OCR pode reconhecer vários idiomas, mas o idioma do texto na imagem deve ser o mesmo que o idioma especificado para a coleção em que o arquivo foi adicionado.

Para obter mais informações sobre os idiomas para os quais o OCR v1 e o OCR v2 são compatíveis, consulte Suporte a idiomas.

Para obter uma lista dos tipos de arquivos em que é possível aplicar o OCR, consulte a tabela Tipos de arquivos suportados.

Habilitando o stemming para dados sem curadoria

É possível configurar o site Discovery para usar stemming em vez de lematização para normalização quando você criar uma coleção. Essa configuração é útil apenas ocasionalmente quando coleções, consultas ou ambos contêm dados com muitos erros de ortografia, acentos ausentes e erros gramaticais.

Discovery normaliza as palavras para permitir o reconhecimento e a correspondência mais rápidos de palavras e suas várias formas, como plurais ou conjugações verbais alternativas. Por padrão, o site Discovery usa a lematização para normalizar as palavras com base em seu significado. O stemming normaliza as palavras usando apenas as hastes das palavras.

A lematização é mais precisa, mas funciona melhor em dados com curadoria. Se seus dados não forem bem selecionados, o stemming pode funcionar melhor. Normalmente, o mesmo radical de palavra é detectado independentemente de a palavra estar ou não escrita corretamente. No entanto, a lematização pode não reconhecer uma palavra com erro ortográfico ou pode interpretar mal o seu significado. Como resultado, o lematizador pode adicionar a palavra raiz errada para representar a palavra com erro ortográfico no índice. Uma pesquisa em uma versão com haste de uma palavra com erro ortográfico provavelmente retornará melhores resultados do que uma pesquisa em uma palavra com lematização incorreta.

A tabela a seguir mostra exemplos de como algumas palavras são stemizadas versus lematizadas.

Como você pode ver nos exemplos, o lematizador captura os significados das palavras melhor do que o stemmer. Tanto running quanto ran são reconhecidos como formas diferentes da mesma raiz do verbo run. E a diferença de significado entre os dois substantivos instructor e instruction é preservada. Entretanto, se os dados contiverem erros ortográficos, como instructer e instructoin, a forma normalizada gerada pela derivação ( instruct ) retornará melhores correspondências.

Discovery normaliza as palavras quando ingere e armazena dados no índice e em tempo de execução quando analisa as consultas enviadas pelos usuários. O mesmo método de normalização é usado para ambas as operações, mesmo que uma operação ocorra no nível da coleção e a outra no nível do projeto. Quando uma consulta é enviada, ela é federada a cada coleção do projeto, onde a consulta é normalizada com base na configuração da coleção. As coleções que estão configuradas para usar o stemmer normalizam a consulta usando o stemming. As coleções que não são, normalizam a consulta usando lematização.

Para ativar o stemmer em vez do lematizador ao criar a coleção, expanda Mais opções de processamento e, em seguida, defina o seletor Usar stemming em vez de lematização ao indexar como Ativado.

Se você configurar o site Discovery para usar o stemmer, considere também projetar as consultas que extraem informações da coleção para permitir diferenças de caracteres durante a correspondência. Para obter mais informações, consulte o operador de variação de String.

Para obter mais informações sobre os idiomas para os quais o stemmer é compatível, consulte Suporte a idiomas.

Limites de cobrança

O número de coleções que você pode criar por projeto difere de acordo com o tipo de projeto.

O número de coleções que você pode criar por instância de serviço depende do seu tipo de plano Discovery.

IBM Cloud Pak for DataIBM Software Hub O número de coleções que você pode criar depende da configuração do seu hardware. O site Discovery suporta um máximo de 300 coleções por instância e instalação, mas esse número depende de muitos fatores, inclusive da memória.

Tipos de arquivo suportados

Discovery pode ingerir tipos de arquivos específicos. Para todos os outros tipos de arquivos, é exibida uma mensagem de aviso e o arquivo não é ingerido.

A tabela a seguir mostra os tipos de arquivos suportados e as informações sobre o suporte a recursos que variam de acordo com o tipo de arquivo.

Tipo de arquivo	Suporte à extração de texto	Suporte ao Smart Document Understanding (SDU)	Suporte a reconhecimento óptico de caracteres (OCR)
CSV
DOC, DOCX
GIF
HTML
JPG
JSON
PDF
PNG
PPT, PPTX
TIFF
TXT
XLS, XLSX

• Você pode gerar arquivos PDF usando ferramentas de geração de PDF, como o Adobe Acrobat, o Microsoft Office, o Preview da Apple e outros.

Os objetos vetoriais, os textos vetorizados e as imagens SVG são ignorados durante o processamento de PDFs. Além disso, o site Discovery atualmente não oferece suporte à extração de texto de imagens com camadas de transparência ou grupos de transparência em PDFs.

• Somente as imagens dos tipos de arquivo de imagem suportados que ocorrem no PDF são renderizadas.
• Para imagens digitalizadas, use 300 dpi ou mais para otimizar o OCR. O dpi mínimo deve ser 80, de acordo com as diretrizes do reconhecimento óptico de caracteres
• Somente arquivos de imagem de página única são suportados.
• Os arquivos dentro de arquivos compactados (ZIP, GZIP, TAR) são extraídos. O site Discovery ingere os tipos de arquivos suportados dentro do arquivo. Ele ignora todos os outros tipos de arquivo. Os nomes dos arquivos devem ser codificados em UTF-8. Os arquivos com nomes que incluem caracteres japoneses, por exemplo, devem ser renomeados antes de serem adicionados ao arquivo ZIP.
• O Discovery suportará arquivos zip do MacOS apenas se eles forem gerados usando um comando como: zip -r my-folder.zip my-folder -x "*.DS_Store". Não há suporte para arquivos ZIP criados ao clicar com o botão direito do mouse em uma pasta e clicar em Compactar.
• Os arquivos PDF que você carrega como parte de um arquivo não são exibidos na visualização avançada de um resultado de consulta que você abre na página Aprimorar e personalizar. Se você quiser que o arquivo possa ser visualizado na visualização avançada, reimporte o arquivo PDF separadamente do arquivo compactado.

Quando você adiciona arquivos a um tipo de projeto Document Retrieval for Contracts, todos os tipos de arquivos que suportam SDU e OCR são processados automaticamente com um modelo pré-treinado de Smart Document Understanding e Optical Character Recognition.

Limites do documento

O número de documentos permitidos por instância de serviço depende do seu tipo de plano Discovery.

O limite de documentos se aplica ao número de documentos no índice. Faça o upload de menos documentos no início se os enriquecimentos que você planeja aplicar puderem aumentar o número de documentos posteriormente. Por exemplo, as configurações a seguir geram mais documentos:

• Quando você divide um documento, ele é segmentado em vários documentos
• Os arquivos CSV que você carrega geram um documento por linha
• As fontes de dados do banco de dados que você rastreia produzem um documento por linha do banco de dados
• Cada objeto definido em uma matriz em um arquivo JSON resulta em um documento separado

No plano Enterprise, você é cobrado após 100.000 documentos por mês. Para obter mais informações sobre preços, consulte Planos de preços do Discovery.

O número máximo permitido pode variar um pouco, dependendo do tamanho dos documentos. Use esses valores como uma diretriz geral.

Limites de tamanho de arquivo

Limites de campo

Quando um documento é adicionado a uma coleção, o conteúdo do documento é avaliado e adicionado aos campos apropriados em um índice interno.

Para dados estruturados, como arquivos CSV ou JSON carregados, ou dados de bancos de dados rastreados, cada coluna ou objeto é armazenado como um campo de nível raiz. Por exemplo, se você adicionar um arquivo CSV à coleção, cada coluna do arquivo CSV será armazenada como um campo separado no índice.

Um máximo de 1.000 campos pode ser adicionado ao índice.

Não é possível atribuir o tipo de dados, como Date ou String, de um campo. O tipo de dados é detectado automaticamente e atribuído ao campo durante a ingestão do documento. A atribuição é baseada no tipo de dados detectado no primeiro documento indexado. Erros de ingestão podem ocorrer em documentos subsequentes se um tipo de dados diferente for detectado para o valor no mesmo campo. Portanto, se os seus documentos tiverem uma mistura de tipos de dados em um único campo, primeiro ingira o documento que tem um valor com o tipo de dados mais flexível, como String, no campo.

Quando você rastreia um site ou faz upload de um arquivo HTML, o conteúdo HTML é adicionado à coleção e indexado em um campo html.

A tabela a seguir mostra o limite máximo de tamanho dos campos por documento.

Se o tamanho máximo dos campos no documento exceder os limites permitidos, eles serão tratados da seguinte forma:

• Para um documento com um campo html superdimensionado, todos os campos do documento são indexados, exceto o campo html.

  Para a versão IBM Cloud Pak for Data 4.0 e anteriores, o documento inteiro não é indexado.

• Para um documento com campos não HTML superdimensionados, o documento não é indexado.

Se estiver fazendo upload de um arquivo do Microsoft Excel e for exibida uma mensagem indicando que o limite de tamanho de campo não HTML foi excedido, considere a possibilidade de converter o arquivo XLS em um arquivo CSV. Quando você carrega um arquivo de valores separados por vírgula (CSV), cada linha é indexada como um documento separado. Como resultado, nenhum limite de tamanho de campo é excedido.

Para obter mais informações sobre como os campos em arquivos carregados são tratados, consulte Como os campos são tratados.

Origens de dados suportadas

A tabela a seguir mostra as fontes de dados suportadas para cada tipo de implementação.

Fontes de dados suportadas
Esta tabela tem cabeçalhos de linha e coluna. Os cabeçalhos de linha identificam fontes de dados suportadas. Os cabeçalhos da coluna identificam as diferentes opções de tipo de implementação do produto Para entender quais fontes de dados estão disponíveis para o seu tipo de implementação, vá para a linha que descreve a fonte de dados, e encontre as colunas para o tipo de implementação que você está interessado.

Origem de dados	IBM Cloud	IBM Cloud Pak for Data
Box
Banco de dados (IBM Data Virtualization, IBM Db2, Microsoft SQL, Oracle, Postgres)
FileNet P8
HCL Notes
IBM Cloud Object Storage
Sistema de Arquivo Local
Salesforce
Microsoft SharePoint Online
Microsoft SharePoint No Local
Monitoramento
Microsoft Windows sistema de arquivos

Opções de planejamento de crawl

Quando você cria uma coleção, o crawl inicial começa imediatamente. A frequência que você escolhe para o agendamento de rastreamento determina quando o próximo rastreamento será iniciado.

Para criar uma programação de rastreamento, conclua as etapas a seguir:

1. Na seção Crawl schedule (Programação de rastreamento ), escolha uma frequência.

   Você pode programar o rastreador para ser executado em um dia e horário específicos. Essa opção é útil se você quiser evitar uma carga pesada em um sistema de destino durante o horário comercial. Se você especificar uma hora no intervalo de 1 a 9, adicione um zero antes do dígito da hora. Por exemplo, você pode programar o rastreamento para 01:00 AM aos sábados.

   IBM Cloud Quando você programa um rastreamento para ser executado mensalmente, as opções de número de dias são limitadas de 1 a 28 porque você deve especificar um dia que ocorra todos os meses, inclusive fevereiro, que tem 28 dias.

   IBM Cloud Pak for Data As implantações instaladas têm mais opções de agendamento:

   • Se quiser fazer o rastreamento a cada 12 horas ou a cada 10 dias, escolha Intervalos personalizados. Você pode programar o rastreador para ser executado em um número personalizado de dias ou horas.
   • Por padrão, o rastreamento é programado para começar fora do horário de pico.
   • Não defina o intervalo em uma frequência menor do que o tempo necessário para que o rastreamento termine.
   • Não configure vários rastreadores para serem executados em intervalos curtos.
   • Se você abrir uma coleção em um fuso horário diferente daquele em que a coleção foi criada, as informações de deslocamento do Tempo Universal Coordenado (UTC) serão exibidas.

2. IBM Cloud Pak for DataIBM Software Hub As implantações instaladas têm uma seção Mais configurações de agendamento, na qual é possível escolher o tipo de agendamento a ser usado para rastrear a fonte de dados.

   As opções para todos os conectores (exceto o conector de rastreamento da Web ) são as seguintes:

   • Rastreamento completo: Rastreia novamente a fonte de dados externa para atualizar os documentos na coleção.
   • Atualizações de rastreamento (procura por conteúdos novos, modificados e excluídos): Atualiza a coleção somente se os dados na fonte de dados externa tiverem sido adicionados, modificados ou excluídos desde o último rastreamento.
   • Rastreamento de conteúdos novos e modificados: Atualiza a coleção somente se os dados na fonte de dados externa tiverem sido adicionados ou modificados desde o último rastreamento.

   Somente conector de rastreamento da Web: O conector de rastreamento da Web programa os rastreamentos de forma diferente dos outros tipos de conector. Somente para o conector de rastreamento da Web, escolha entre as seguintes opções:

   • Para controlar você mesmo a frequência dos rastreamentos, escolha essa opção:

     Crawl completo

     Quando você escolhe um tipo de agendamento de rastreamento completo, o rastreamento ocorre com a frequência especificada na seção Crawl schedule (Agendamento de rastreamento ) da página.

   • Para permitir que o sistema gerencie a frequência dos rastreamentos para você, escolha uma das seguintes opções:

     Rastreamento de atualizações (busca de conteúdos novos, modificados e excluídos) ou Rastreamento de conteúdos novos e modificados

     Quando você escolhe um tipo de agendamento que rastreia atualizações ou conteúdos novos e modificados, a frequência que você especifica para o agendamento de rastreamento é ignorada. A frequência com que cada documento é rastreado é variável e é gerenciada inteiramente pelo serviço. E a frequência muda dependendo da frequência com que as alterações são encontradas em um documento. Por exemplo, se 5 dos 10 documentos em uma coleção forem alterados até o final do primeiro intervalo de rastreamento, a frequência será automaticamente aumentada para esses 5 documentos. Atualmente, a frequência mais alta em que essas atualizações autogerenciadas podem ser executadas é diariamente.

     Você não pode interromper o gerenciamento automatizado da frequência e não pode acionar um rastreamento único quando esses tipos de rastreamentos programados estiverem configurados.

Se você quiser alterar as configurações do cronograma de rastreamento flexível posteriormente, poderá ir para a página Configurações de processamento, editar as configurações e clicar em Aplicar alterações e reprocessar.

IBM Cloud O próximo rastreamento programado é exibido na página Activity (Atividade).

Se você alterar a frequência da programação, o próximo horário de rastreamento programado poderá não ser o esperado. Por padrão, os rastreamentos são configurados para ocorrer em uma programação regular em um horário ou dia específico. Por exemplo, se você alterar o agendamento de rastreamento de semanal para mensal em 11 de agosto, o próximo rastreamento poderá ser agendado para 31 de agosto em vez de 11 de setembro. Ele não está programado para exatamente um mês a partir do dia em que você fez a alteração. Em vez disso, ele é programado para ser executado no dia designado como o dia de execução padrão para a frequência de rastreamento selecionada.

Interrompendo um rastreamento

Você pode interromper um rastreamento sem alterar a frequência da programação de rastreamento. Essa ação é útil se você quiser executar uma tarefa demorada e não quiser que o rastreamento seja iniciado ou executado entre as tarefas.

IBM Cloud Para interromper um rastreamento, conclua as etapas a seguir:

1. Abra a página Gerenciar coleções no painel de navegação.

2. Selecione a coleção para a qual você deseja interromper o rastreamento.

3. Na página Activity (Atividade ), se o rastreamento estiver em andamento, clique em Stop (Parar ).

4. Vá para a página de configurações de processamento.

5. Defina Apply Schedule como No (Não) e, em seguida, clique em Apply changes and reprocess (Aplicar alterações e reprocessar ).

   O rastreamento é interrompido e não será iniciado novamente até que você o reinicie.

IBM Cloud Para reiniciar o rastreamento, execute as etapas a seguir:

1. Abra a página Gerenciar coleções no painel de navegação.

2. Selecione a coleção para a qual você deseja reiniciar o rastreamento.

3. Vá para a página de configurações de processamento.

4. Defina Apply Schedule como Yes e, em seguida, clique em Apply changes and reprocess.

   O rastreamento começa imediatamente.

   O próximo rastreamento será iniciado com base na frequência selecionada nas opções de programação de rastreamento. Se você quiser iniciar o rastreamento a qualquer momento antes da frequência programada, clique em Recrawl na página Activity (Atividade ).

IBM Cloud Pak for Data IBM Software Hub

Você pode interromper temporariamente um rastreamento que esteja em andamento.

Para interromper um rastreamento temporariamente, conclua as etapas a seguir:

1. Abra a página Gerenciar coleções no painel de navegação.

2. Selecione a coleção para a qual você deseja interromper o rastreamento temporariamente.

3. Na página Atividade, clique em Parar.

   O rastreamento é iniciado novamente com base na frequência especificada no cronograma de rastreamento.