Windows File System
Crawl documentos que são armazenados em um sistema de arquivos Microsoft Windows.
IBM Cloud Pak for Data IBM Software Hub
Essas informações se aplicam apenas a implementações instaladas.
Quais documentos estão engatinados
- Apenas os documentos que são suportados por Discovery em seu caminho de arquivo são rastejados; todos os outros são ignorados. Para obter mais informações, consulte Tipos de arquivos suportados.
- A segurança de nível de documentos é suportada. Quando essa opção estiver ativada, seus usuários podem engatinhar e consultar o mesmo conteúdo que eles podem acessar quando acessarem o sistema de arquivos diretamente.
- Quando uma fonte é rastreada novamente, novos documentos são adicionados, documentos atualizados são modificados para a versão atual e documentos excluídos são excluídos do índice da coleção.
- Todos os conectores de origem de dados Discovery são de leitura. Independentemente das permissões que são concedidas à conta de crawl, Discovery nunca grava, atualiza ou exclui qualquer conteúdo na origem de dados original.
Requisitos da origem de dados
Além dos requisitos de origem de dados para todas as implementações instaladas, sua origem de dados do Windows File System deve atender aos seguintes requisitos:
- O conector suporta o Microsoft Windows Server 2012 R2, 2016, 2019 e 2022.
- O servidor de agente remoto e os servidores de arquivos a serem submetidos a crawl devem pertencer ao mesmo domínio do Windows. O rastreador pode coletar dados da lista de controle de acesso (ACL) somente de um único domínio do Windows.
O suporte para o Microsoft Windows Server 2022 foi adicionado com a liberação 4.6. Iniciando com a liberação 4.7, é possível proteger o tráfego enviado entre o serviço do Windows Agent e seu crawler ativando o suporte para o protocolo de segurança da camada de transporte (TLS).
Etapas de pré-requisito
-
Se você deseja habilitar a segurança de nível de documento, você deve tomar algumas etapas para configurá-lo. Para obter mais informações, consulte Apoiando a segurança de nível de documentos.
Para configurar a segurança de nível de documentos, é necessário coletar as seguintes informações:
- URL do servidor LDAP
- O servidor LDAP URL ao qual se conectar. Por exemplo,
ldap://<ldap_server>:<port>. - Nome de usuário de ligação LDAP
- O nome de usuário a ser usado para ligar ao serviço de diretório.
Na maioria dos casos, esse nome do usuário é um nome distinto (DN). Um nome de usuário do Active Directory pode funcionar, mas, ao contrário do logon geral do Windows, ele é caso sensível.
- Senha do usuário de ligação LDAP
- A senha que está associada ao nome de usuário vinculado.
- DN Base LDAP
- O ponto de partida para pesquisa de entradas de usuários no LDAP. Por exemplo,
CN=Users,DC=example,DC=com. - Filtro do usuário LDAP
- O filtro de usuário para pesquisar entradas de usuário no LDAP. Se for deixado vazio, o valor padrão será
(userPrincipalName={0}).
-
Antes de configurar uma coleção do Windows File System, deve-se instalar o IBM Watson Discovery Agent for Windows File Systems em um servidor de arquivos Windows remoto ou em um servidor Windows remoto. O agente é um serviço do Windows que recupera dados dos servidores de fonte de dados e os envia para Discovery. O agente pode engatinhar sistemas de arquivos remotos do Windows, unidades que são locais para o agente, e pastas de rede compartilhadas.
Se você instalar o agente em um servidor Windows remoto, o servidor Windows remoto deverá ser capaz de montar um ou mais servidores de arquivos para que o agente possa rastrear os sistemas de arquivos Windows remotos.
Para instalar e configurar o agente, conclua as seguintes tarefas:
Instalar o agente
Com a liberação 4.6, o IBM Watson Discovery Agent for Windows File Systems foi atualizado para ser executado com versões de 64 bits do Windows Se você instalou o agente com uma liberação anterior à 4.6, deverá desinstalar a versão anterior, excluí-la e, em seguida, reinstalar o agente.
Execute uma das tarefas a seguir:
- Você tem uma instalação anterior que é anterior a 4.6: Substitua o agente pre-4.6
- Você está usando o conector pela primeira vez: Instale o agente
Substitua o agente pre-4.6
Necessário para implementações em que uma versão do IBM Watson Discovery Agent for Windows File Systems anterior à 4.6.0.0 está instalada.
Para substituir uma versão anterior do agente, complete as seguintes etapas:
-
Copie o arquivo de configuração que define os diretórios de rede compartilhada que o agente do Windows File System pode acessar a um diretório que está fora do caminho de arquivo do agente, que é
C:\Program Files (x86)\IBM\es.Por exemplo, copie o arquivo
C:\Program Files (x86)\IBM\es\distributed\esadmin\config\esfsexport.txtpara um diretório como o diretórioC:\temp. -
No utilitário Microsoft Windows Apps & features, localize a versão anterior do IBM Watson Discovery Agent for Windows File Systemse, em seguida, clique em Desinstalar.
-
Escolha Excluir completamente IBM Watson Discovery Agent for Windows File Systemse, em seguida, clique em Desinstalar.
-
Reinicie seu sistema.
-
Complete as etapas em Instalando o agente para instalar a versão mais recente do agente.
-
Substitua a nova versão do arquivo
C:\Program Files\IBM\es\distributed\esadmin\config\esfsexport.txtpelo arquivo que você copiou na Etapa 1.Esta etapa inclui a configuração dos diretórios compartilhados que você configurou para a versão anterior do agente para a nova instalação. Ao reutilizar o compartilhamento de arquivos, você pode pular a etapa de configuração dos diretórios compartilhados.
-
Execute o seguinte comando para verificar se o diretório é compartilhado com o serviço do agente:
C:\Users\Administrator> esagent --lsshare
Instalando o agente
Para instalar o IBM Watson Discovery Agent for Windows File Systems pela primeira vez, conclua as etapas a seguir:
-
A partir da pane de navegação, escolha Gerenciar coleções.
-
Clique em New collection (Nova coleção ).
-
Clique em Sistema de Arquivos do Windows e, em seguida, clique em Avançar.
-
Role até a seção Download & install Windows Agent e, em seguida, clique em Download do Windows Agent Installer.
É feito o download de um arquivo ZIP.
-
Descompacte o arquivo
WindowsAgentServer.zip. -
É possível escolher um dos métodos a seguir para executar o programa de instalação:
-
Clique duas vezes no arquivo
install.exepara iniciar o assistente de instalação. -
Para executar o programa de instalação no modo texto a partir de um console, conclua as etapas a seguir:
-
Mude para o diretório do agente.
-
Insira o comando a seguir:
install.exe -i consoleAs telas são renderizadas em texto e solicitam as mesmas informações que a instalação gráfica.
Depois de digitar o comando, um processo é executado em segundo plano por vários segundos antes que o programa de instalação do console seja exibido.
-
-
Para instalar o agent server silenciosamente, conclua as etapas a seguir:
-
Mude para o diretório
Agent/responseFiles. -
Edite o arquivo de resposta modelo
DistributedFileSystemCrawler.propertiespara fornecer informações sobre o seu ambiente. Para executar o programa de instalação, vá para o diretório do agente e especifique o nome do arquivo que você editou.Consulte o seguinte exemplo:
install.exe -i silent -f responseFiles/DistributedFileSystemCrawler.properties
Se você copiar um arquivo de modelo para outro local para editar, especifique o caminho completo para o arquivo quando executar o programa de instalação. Se o caminho do arquivo de resposta incluir um espaço, coloque o caminho entre aspas duplas (
"). Veja o exemplo a seguir:install.exe -i silent -f "c:\My Documents\DistributedFileSystemCrawler.properties" -
-
-
É necessário fornecer as seguintes informações durante o processo de instalação:
-
hostname: Digite ou verifique o nome do hostname completo do computador em que está instalando o servidor do agente.Não é possível especificar um endereço IPv6 como o nome do host do servidor.
-
username: Digite o nome de usuário de uma conta que pode ser usada para autorizar o acesso ao servidor de agentes.Se o nome de usuário não existir, marque a caixa de seleção para criar a conta.
Para engatinhar um domínio em uma coleção segura, o username deve ser um usuário de domínio existente com privilégios de administração para que o sistema Windows seja engatinhado. Para especificar um usuário de domínio, use o formato
<username>@<domain name>. -
password: Fornecer a senha que está associada ao nome de usuário.
-
-
Opcional: Se você quiser alterar o caminho padrão e as configurações de porta, clique em Opções Avançadas.
- É possível mudar os caminhos para o diretório de instalação e o diretório de dados.
- O servidor de agente usa três portas TCP/IP para autenticar conexões com o servidor, transferindo dados entre os sistemas de arquivos e o Discovery e monitorando o servidor de agente. Os números de porta padrão são
8397e8398. Se esses valores entram em conflito com outras designações de porta em seu sistema, mude os números da porta.
-
Na página de resumo, revise as opções que você selecionou e clique em Instalar para iniciar a instalação do software.
-
Opcional: se desejar proteger o tráfego entre o serviço do Windows Agent e o crawler, ative o suporte TLS.
Copie o arquivo denominado
tls.p12do diretório descompactado para o diretório raiz no qual o agente está instalado. Por exemplo, o diretório raiz pode serC:\Program Files\IBM\es\distributed\esadmin.O suporte TLS está disponível a partir da liberação 4.7.
-
Reinicie o computador.
Configurando diretórios compartilhados no servidor de agente
Depois que o software é instalado, deve-se configurar os diretórios de rede compartilhada que o agente do Windows File System pode acessar. Para definir um novo compartilhamento de sistema de arquivos, exporte um diretório de rede local ou remoto.
Se você estiver substituindo um agente que você instalou com um release anterior a 4.6.0.0, pule este procedimento. As instruções de substituição explicam como reutilizar o compartilhamento de arquivos que foi definido anteriormente.
-
Exporte um diretório local do servidor no qual o agente está instalado:
esagent --addshare <d:><\example>Em que
d:representa a letra da unidade que você deseja usar e em que\examplerepresenta o caminho para o diretório local. -
Exporte um diretório de rede remota que seja acessível por meio do servidor no qual o agente está instalado:
esagent --addshare <\\files.example.com\data>Em que
\\files.example.com\datarepresenta o nome do host ou o endereço IP do servidor remoto ou o caminho para o diretório remoto. -
Liste os compartilhamentos que estão definidos no servidor em que o agente está instalado:
esagent --lsshare -
Se você deseja excluir um compartilhamento que é definido no servidor onde o agente está instalado, você pode utilizar o seguinte comando:
esagent --rmshare \\files.example.com\data
Comandos de status de servidor
Depois de instalar o servidor de agentes, você pode inserir comandos para iniciar, parar e verificar o status do servidor.
Parar o servidor de agente também parará o crawler. Por exemplo, se o crawler parar inesperadamente, será possível fechar conexões e liberar recursos para esse crawler.
-
Para iniciar o servidor, digite o seguinte comando:
esagent start -
Para interromper o servidor, digite o seguinte comando:
esagent stop -
Para obter o status do servidor de agentes, digite o seguinte comando:
esagent getStatus
A saída do comando getStatus é um arquivo XML com a seguinte saída:
<AgentStatus>
<SpaceStatus>
<SpaceId>012</SpaceId>
<RootFolder>E:\\Projects\Analytics\\data\test1</RootFolder>
<ConnectionNumber>9</ConnectionNumber>
<StartTime>1244709336093</StartTime>
<LastTime>1244709385843</LastTime>
<IdlePeriod>219</IdlePeriod>
</SpaceStatus>
<SpaceStatus>
<SpaceId>013</SpaceId>
<RootFolder>E:\\Projects\Analytics\\data\test2</RootFolder>
<ConnectionNumber>10</ConnectionNumber>
<StartTime>1244709336093</StartTime>
<LastTime>1244709385843</LastTime>
<IdlePeriod>219</IdlePeriod>
</SpaceStatus>
Como conectar a uma fonte de dados do Windows File System
Em seu projeto Discovery, conclua as seguintes etapas.
Se você concluiu as etapas do pré-requisito, retorne para a coleta de origem de dados do Sistema de Arquivos do Windows que você começou a criar e, em seguida, pule para a Etapa 4.
-
A partir da pane de navegação, escolha Gerenciar coleções.
-
Clique em New collection (Nova coleção ).
-
Clique em Sistema de Arquivos do Windows e, em seguida, clique em Avançar.
-
Nomeia a coleção.
-
Se a linguagem dos documentos que você deseja engatinhar não for o inglês, selecione a linguagem apropriada.
Para obter uma lista de idiomas suportados, consulte Suporte ao idioma.
-
Opcional: Alterar o cronograma de sincronização.
Para obter mais informações, consulte Opções de planejamento de Crawl.
-
Na seção Digite suas credenciais, inclua valores nos campos a seguir. Você forneceu esses campos durante a instalação do servidor do agente, que foi descrito na seção Etapas de pré-requisito.
- Host
- O nome do host do servidor remoto Microsoft Windows, por exemplo,
<hostname>.mydomain.com. - Nome do usuário
- O nome de usuário para conectar o servidor do agente. O nome de usuário é usado para conectar o site Discovery às pastas de rede compartilhadas e rastrear o conteúdo.
- Senha
- A senha que está associada ao nome de usuário.
- Porta de Autenticação do Agente
- A porta a ser usada para autenticação. O valor da porta padrão é
8397. - Porta
- A porta a ser usada para transferência de dados. O valor da porta padrão é
8398.
-
Na seção Especifique o que você deseja engatinhar, insira o caminho de arquivo que deseja engatinhar no campo Caminho e, em seguida, clique em Adicionar.
O caminho do arquivo é sensível ao caso.
Opcionalmente, inclua mais caminhos de arquivo.
-
Opcional: Personalize os tipos de arquivos que são engatinados.
O crawler é configurado automaticamente para excluir uma lista de extensões de arquivo para tipos de arquivo que podem ser inseguros para engatinhar. Você pode adicionar mais extensões de arquivo na lista de filtros excluídos, ou listar apenas as extensões de arquivo para tipos de arquivo que você deseja incluir no crawl. Listar os tipos de arquivos a incluir é ainda mais seguro.
Para alterar os tipos de arquivo que são engatinados, na seção Filtro de extensão, escolha se deve usar uma lista de filtros Excluídos ou Incluídos. E, em seguida, listar as extensões de arquivo para os tipos de arquivos que deseja excluir ou incluir.
Essa opção de configuração foi introduzida com a versão 4.0.3.
-
Opcional: Especifique o conjunto de caracteres dos dados para engatinhar.
O conversor que é usado pelo crawler é configurado automaticamente para detectar o conjunto de caracteres dos arquivos antes de convertê-los. No entanto, você pode optar por especificar uma codificação de caracteres diferente para usar para a conversão de dados. Para especificar uma codificação de caracteres, conclua as etapas a seguir:
- Configure o comutador Detecção de página de código Automático para
Off. - No campo Página de código para usar, especifique a codificação de caracteres como um valor Java Charset. Por
exemplo,
UTF-8ouUTF-16. Se você não especificar um conjunto de caracteres, ISO-8859-1 é usado.
Essa opção de configuração foi introduzida com a versão 4.0.3.
- Configure o comutador Detecção de página de código Automático para
-
Opcional: Se você deseja ativar a segurança de nível de documento, na seção Segurança, configure o comutador Ativar Segurança de Nível de Documento para
On.Quando você ativa essa opção, seus usuários podem executar crawl e consultar o conteúdo ao qual têm acesso. Você deve fornecer os detalhes sobre o diretório LDAP que deseja utilizar.
- URL do servidor LDAP
- O servidor LDAP URL ao qual se conectar. Por exemplo,
ldap://<ldap_server>:<port>. - Nome de usuário de ligação LDAP
- O nome de usuário a ser usado para ligar ao serviço de diretório.
- Senha do usuário de ligação LDAP
- A senha que está associada ao nome de usuário vinculado.
- DN Base LDAP
- O ponto de partida para pesquisa de entradas de usuários no LDAP. Por exemplo,
CN=Users,DC=example,DC=com. - Filtro do usuário LDAP
- O filtro de usuário para pesquisar entradas de usuário no LDAP. Se for deixado vazio, o valor padrão será
(userPrincipalName={0}).
-
Se você deseja que o crawler extraia texto a partir de imagens em documentos, expanda Mais configurações de processamentoe configure Aplicar reconhecimento de caracteres ópticos (OCR) a
On.Quando o OCR é ativado e seus documentos contêm imagens, o processamento demora mais. Para obter mais informações, consulte Reconhecimento de caracteres Ópticos.
-
Clique em Finish.
A coleção é criada rapidamente. É preciso mais tempo para que os dados sejam processados conforme ele é adicionado à coleção.
Se você quiser verificar o progresso, acesse a página Atividade. A partir da pane de navegação, clique em Gerenciar coleções e, em seguida, clique para abrir a coleção.
Ativando o TLS para uma coleção existente
Para assegurar que todo o tráfego que é enviado entre o serviço do Windows Agent e o crawler seja enviado pelo protocolo de segurança da camada de transporte (TLS), ative o suporte TLS.
Esse recurso está disponível a partir da versão 4.7.. Não conclua esta tarefa até depois de fazer upgrade do software de serviço para 4.7.
Depois de ativar o TLS para o serviço do Windows Agent, quaisquer coleções existentes em implementações com versões anteriores do Discovery não poderão se conectar a esse serviço do Windows Agent.
Para incluir o suporte TLS em uma coleta existente, conclua as etapas a seguir:
-
Abra a página Configurações de processamento para a coleção existente do Window File System.
-
Instale a versão mais recente do agente.
Conclua as etapas no procedimento Instalando o agente, começando com a Etapa 4 e incluindo a etapa opcional para ativar o suporte TLS.
Não conclua a última etapa que pede para reiniciar o computador.
-
Localize e abra o arquivo
as.cfgem um editor de texto e, em seguida, inclua as seguintes linhas no arquivo:agent_key_store=%ES_AGENT_NODE_ROOT%\tls.p12 agent_key_store_password=changeitem que
%ES_AGENT_NODE_ROOT%é o diretório raiz para o servidor do Windows Agent. Por exemplo:agent_key_store="C:\Program Files\IBM\es\distributed\esadmin\tls.p12" agent_key_store_password=changeit -
Reinicie o serviço do Windows Agent usando os seguintes comandos:
esagent stop esagent start