Integrazione di IBM Cloud Logs con Event Streams

È possibile utilizzare IBM® Event Streams for IBM Cloud® con IBM Cloud Logs per trasmettere e gestire i dati di registro. IBM® Event Streams for IBM Cloud® è un servizio Apache Kafka scalabile e gestito che consente alle applicazioni di inviare dati creando messaggi e inviandoli a un argomento. Le applicazioni possono iscriversi a questi argomenti per ricevere messaggi, consentendo l'elaborazione e l'analisi dei dati in tempo reale.

Quando si aggiorna la configurazione dello streaming dopo che è stata attivata, le modifiche vengono prelevate automaticamente. L'applicazione delle modifiche richiede alcuni minuti.

Prerequisiti

  • Un'istanza IBM® Event Streams for IBM Cloud® viene fornita nello stesso account dell'istanza IBM Cloud Logs da cui si intende trasmettere i dati.

    Verificare le limitazioni dei piani di assistenza. Per ulteriori informazioni, vedere Limiti e quote.

  • Si hanno i permessi per creare un argomento nell'istanza IBM® Event Streams for IBM Cloud®.

    Per creare un argomento in Event Streams, occorre avere il ruolo manager per l'istanza Event Streams. Questo ruolo include il ruolo messagehub.topic.manage dell'azione IAM che consente a un'applicazione o a un utente di creare o eliminare argomenti.

  • Si hanno i permessi per configurare lo streaming nella propria istanza IBM® Cloud Logs.

    È necessario avere il ruolo di servizio manager.

Creare l'autorizzazione da servizio a servizio

Le autorizzazioni per inviare dati da un'istanza IBM® Cloud Logs a un argomento definito in un'istanza Event Streams si ottengono configurando un'autorizzazione da servizio a servizio in IAM in IBM Cloud.

Per configurare l'autorizzazione del servizio al servizio, vedere Creazione di un'autorizzazione S2S per lavorare con il servizio Event Streams.

Crea un argomento

Nell'istanza IBM® Event Streams for IBM Cloud®, è necessario definire un argomento in cui l'istanza IBM Cloud Logs trasmette i dati.

Per creare un argomento di Event Streams, procedere come segue:

  1. Fare clic sull'icona Menu Icona Menu > Elenco risorse.

  2. Cercare l'istanza Event Streams che si intende utilizzare e selezionarla.

  3. Nella console dell'istanza Event Streams, fare clic su Topics.

  4. Fare clic su Crea argomento.

  5. Immettere il nome di un argomento e fare clic su Avanti.

  6. Immettere il numero di partizioni e fare clic su Avanti.

    Una o più partizioni costituiscono un argomento. Una partizione è un elenco ordinato di messaggi. Le partizioni sono distribuite tra i broker al fine di aumentare la scalabilità del tuo argomento. Possono essere usate anche per distribuire i messaggi tra i membri di un gruppo di consumer.

  7. Selezionare una conservazione del messaggio.

    La conservazione dei messaggi definisce per quanto tempo i messaggi vengono conservati prima di essere eliminati. Se i messaggi non vengono letti da un consumer entro questo tempo, saranno persi.

  8. Fare clic su Crea argomento.

Configurare lo streaming

Configurare l'istanza IBM Cloud Logs per trasmettere i dati a un argomento nell'istanza IBM® Event Streams for IBM Cloud®.

Completa i seguenti passi:

  1. Accedere al proprio account IBM Cloud.

  2. Accedere all'istanza IBM Cloud Logs

  3. Fare clic sull'icona Data pipeline Data pipeline > Streams.

  4. Fare clic su + Aggiungi flusso.

  5. Configurare il flusso:

    • Per Nome dello stream, inserire un nome a scelta.

    • Per Stream Url, inserire l'elenco Bootstrap server. Completate i seguenti passaggi per ottenere l'elenco:

      Fare clic sull'icona Menu Icona Menu > Elenco risorse.

      Cercare l'istanza Event Streams che si intende utilizzare e selezionarla.

      Selezionare gli argomenti. Quindi, fare clic su Collega a questo argomento

      Nella sezione Risorse fare una copia dell'elenco Bootstrap server fornito.

      connessione alla pagina del servizio
      Dialogo di connessione

    • Per Nome argomento, inserire il nome dell'argomento IBM® Event Streams for IBM Cloud®.

    • Per limitare i dati che verranno inviati all'argomento, inserire una query che corrisponda ai registri che si desidera inviare. Ad esempio, $m.severity == ERROR

      Per ulteriori informazioni su come definire le regole sui dati, vedere Configurazione delle regole sui dati in streaming.

L'immagine seguente mostra una configurazione di esempio:

add-streams
Esempio di configurazione dei flussi

Convalidare la configurazione

Prima di avviare lo streaming, verificare che sia possibile trasmettere una riga di registro di prova all'argomento.

Completa i seguenti passi:

  1. Utilizzare uno strumento Kafka per connettersi in modo sicuro all'istanza IBM® Event Streams for IBM Cloud®. Ad esempio, si può usare Usa Kafka Connect o ksqlDB.

  2. Inviare un registro di esempio per verificare la connessione.

    Fare clic su Invia un registro di esempio per verificare la connessione. Il messaggio di esempio dovrebbe essere visualizzato nella console entro un minuto.

Avviare lo streaming

Dopo aver verificato che il registro dei campioni è stato ricevuto correttamente, impostare la configurazione dello streaming su attiva e fare clic su Crea flusso.

Ci vogliono alcuni minuti prima che una configurazione di streaming inizi a trasmettere una volta attivata la configurazione.

Il vostro IBM® Event Streams for IBM Cloud® ora filtrerà e riceverà i messaggi in base alla query specificata.