Integrando o IBM Cloud Logs com o Event Streams

Você pode usar IBM® Event Streams for IBM Cloud® com IBM Cloud Logs para transmitir e gerenciar dados de registro. O IBM® Event Streams for IBM Cloud® é um serviço gerenciado e dimensionável do Apache Kafka que permite que os aplicativos enviem dados criando mensagens e enviando-as para um tópico. Os aplicativos podem se inscrever nesses tópicos para receber mensagens, permitindo o processamento e a análise de dados em tempo real.

Quando você atualiza a configuração de streaming depois que ela é ativada, as alterações são selecionadas automaticamente. Leva alguns minutos para que as alterações sejam aplicadas.

Pré-requisitos

  • Uma instância de IBM® Event Streams for IBM Cloud® é provisionada na mesma conta que a instância de IBM Cloud Logs de onde você planeja transmitir dados.

    Verifique as limitações dos planos de serviço. Para obter mais informações, consulte Limites e cotas.

  • Você tem permissão para criar um tópico na instância IBM® Event Streams for IBM Cloud®.

    Para criar um tópico em Event Streams, você deve ter a função de gerente da instância Event Streams. Essa função inclui a função de ação messagehub.topic.manage Função de ação do IAM que permite que um aplicativo ou usuário crie ou exclua tópicos.

  • Você tem permissões para configurar o streaming em sua instância IBM® Cloud Logs.

    Você deve ter a função de serviço de gerente.

Criar a autorização de serviço para serviço

As permissões de autorização para enviar dados de uma instância de IBM® Cloud Logs para um tópico definido em uma instância de Event Streams são feitas configurando uma autorização de serviço para serviço no IAM em IBM Cloud.

Para configurar a autorização de serviço para serviço, consulte Criando uma autorização S2S para trabalhar com o serviço Event Streams.

Criar um tópico

Em sua instância IBM® Event Streams for IBM Cloud®, você deve definir um tópico no qual a instância IBM Cloud Logs transmite dados.

Conclua as etapas a seguir para criar um tópico em Event Streams:

  1. Clique no ícone Menu Ícone do menu > Lista de recursos.

  2. Procure a instância do Event Streams que você planeja usar e selecione-a.

  3. No console da instância Event Streams, clique em Tópicos.

  4. Clique em Criar tópico.

  5. Insira um nome de tópico e clique em Avançar.

  6. Insira o número de partições e clique em Avançar.

    Uma ou mais partições compõem um tópico. Uma partição é uma lista ordenada de mensagens. As partições são distribuídas entre os brokers para aumentar a escalabilidade de seu tópico. Também é possível usá-las para distribuir mensagens entre os membros de um grupo de consumidores.

  7. Selecione uma retenção de mensagem.

    Retenção de mensagens define como as mensagens longas são retidas antes de serem excluídas. Se suas mensagens não forem lidas por um consumidor dentro deste tempo, elas serão perdidas.

  8. Clique em Create Topic.

Configurar fluxo

Configure sua instância IBM Cloud Logs para transmitir dados para um tópico em sua instância IBM® Event Streams for IBM Cloud®.

Conclua as etapas a seguir:

  1. Faça login em sua IBM Cloud conta.

  2. Acesse sua instância IBM Cloud Logs

  3. Clique no ícone Data pipeline Data pipeline icon Streams.

  4. Clique em + Add stream.

  5. Configure o fluxo:

    • Para Nome do fluxo, digite um nome de sua escolha.

    • Para Stream Url, digite a lista Bootstrap server. Conclua as etapas a seguir para obter a lista:

      Clique no ícone Menu Ícone do menu > Lista de recursos.

      Procure a instância do Event Streams que você planeja usar e selecione-a.

      Selecione Tópicos. Em seguida, clique em Conectar-se a este tópico

      Na seção Resources, faça uma cópia da lista Bootstrap server fornecida.

      página de conexão ao serviço
      diálogo de conexão

    • Em Nome do tópico, digite o nome do seu IBM® Event Streams for IBM Cloud® tópico.

    • Para limitar os dados que serão enviados ao tópico, insira uma consulta que corresponda aos registros que você deseja enviar. Por exemplo,$m.severity == ERROR

      Para obter mais informações sobre como definir regras de dados, consulte Configuração de regras de dados de streaming.

A imagem a seguir mostra um exemplo de configuração:

add-streams
Exemplo de configuração de fluxo

Validar a configuração

Verifique se é possível transmitir uma amostra de linha de registro de teste para o tópico antes de iniciar a transmissão.

Conclua as etapas a seguir:

  1. Use uma ferramenta Kafka para se conectar com segurança à instância IBM® Event Streams for IBM Cloud®. Por exemplo, você pode usar Use Kafka Connect ou ksqlDB.

  2. Envie um registro de amostra para verificar a conexão.

    Clique em Enviar registro de amostra para testar a conexão. Você deverá ver a mensagem de exemplo no console em um minuto.

Iniciar o fluxo

Depois de verificar se o registro de amostra foi recebido com êxito, defina a configuração de fluxo como ativa e clique em Criar fluxo.

Leva alguns minutos para que uma configuração de streaming comece a ser transmitida depois que você ativa a configuração.

Seu IBM® Event Streams for IBM Cloud® agora filtrará e receberá mensagens de acordo com a consulta especificada.