Inoltro dei log a IBM Cloud Logs

I log della piattaforma sono log esposti agli utenti da vari servizi della piattaforma IBM Cloud. IBM Analytics Engine supporta l'inoltro dei log dal servizio IBM Analytics Engine a un'istanza di IBM Cloud Logs abilitata a ricevere i log della piattaforma.

  • I log di piattaforma sono regionali.

    È possibile monitorare i registri da IBM Analytics Engine su IBM Cloud nella regione in cui il servizio è disponibile.

  • È possibile configurare una sola istanza di IBM Cloud Logs per regione e per account IBM Cloud per raccogliere i log della piattaforma in quella posizione.

    È possibile avere più istanze di IBM Cloud Logs in una posizione. Tuttavia, solo un'istanza in una posizione (regione) può essere configurata per ricevere i registri dai servizi IBM Cloud come IBM Analytics Engine in quella posizione IBM Cloud.

    Inoltre, i registri generati da un'istanza IBM Analytics Engine appartenente a un account vengono inoltrati a un'istanza IBM Cloud Logs sotto lo stesso account IBM Cloud.

Per verificare la presenza del servizio IBM Cloud Logs configurato per ricevere i log della piattaforma, vedere il dashboard di Observability.

Prerequisito per abilitare la registrazione della piattaforma

Per visualizzare i log della piattaforma IBM Analytics Engine, devi utilizzare il dashboard Osservabilità in IBM Cloud per configurare la registrazione della piattaforma. Vedi Configurazione dei log della piattaforma tramite il dashboard Osservabilità per i passi che devi seguire per abilitare la registrazione tramite il dashboard Osservabilità.

API di registrazione

Dopo aver abilitato la registrazione della piattaforma tramite il dashboard Osservabilità, procedi con i passi riportati nelle seguenti sezioni per informazioni su come utilizzare gli endpoint API per abilitare, disabilitare e visualizzare la configurazione della registrazione.

Le chiamate API di registrazione richiedono il GUID dell'istanza del servizio. Se non hai preso nota del GUID, vedi Richiamo del GUID di un'istanza senza server.

Ora, vengono esposti due endpoint API di registrazione:

  • log_forwarding_config
  • logging. Questo endpoint API è obsoleto e sarà presto sospeso. Anche se è possibile utilizzare questo endpoint, è necessario iniziare a utilizzare l'endpoint log_forwarding_config.

Abilitazione dell'inoltro dei log da IBM Analytics Engine

Per abilitare l'inoltro dei log della piattaforma IBM Analytics Engine a IBM Cloud Logs, invocare la seguente API su un'istanza Analytics Engine esistente.

Ci sono due metodi che puoi usare per abilitare l'inoltro dei log:

  • Predefinito: in questo caso si inserisce solo una richiesta per abilitare l'inoltro dei log e i log relativi all'origine o alle origini log predefinite (spark-driver), inizieranno ad essere inoltrati. È possibile farlo in uno dei seguenti modi:

    • Utilizzando l'endpoint API log_forwarding_config :
      curl -X PUT https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_guid>/log_forwarding_config -H "Authorization: Bearer $TOKEN" -H "content-type: application/json" -d '{"enabled":true}'
      
    • Utilizzando l'endpoint API logging (obsoleto):
      curl -X PUT https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_guid>/logging -H "Authorization: Bearer $TOKEN" -H "content-type: application/json" -d '{"enable":true}
      
  • Personalizzato: con questa opzione, ottieni un maggiore controllo sulla configurazione di inoltro dei log. Ad esempio, è possibile specificare le origini dei log che si desidera inoltrare. Si può anche scegliere di associare alcuni tag ai registri, che possono essere utilizzati in seguito in IBM Cloud Logs come parole chiave di ricerca per restringere la ricerca sui registri applicabili. È possibile farlo in uno dei seguenti modi:

    • Utilizzando l'endpoint API log_forwarding_config :
      curl -X PUT https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_guid>/log_forwarding_config -H "Authorization: Bearer $TOKEN" -H "content-type: application/json" -d ' {"enabled":true,"sources": ["spark-driver", "spark-executor"],"tags": ["<tag_1>", "<tag_2>",...]} '
      
    • Utilizzando l'endpoint API logging (obsoleto):
      curl -X PUT https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_guid>/logging -H "Authorization: Bearer $TOKEN" -H "content-type: application/json" -d ' {"enable":true,"components": ["spark-driver", "spark-executor"],"tags": ["<tag_1>", "<tag_2>",...]} '
      

Disabilitazione della registrazione della piattaforma da IBM Analytics Engine

Disattivare l'inoltro dei log della piattaforma IBM Analytics Engine a IBM Cloud Logs, in uno dei seguenti modi.

  • Utilizzando l'endpoint API log_forwarding_config :

    curl -X PATCH https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_guid>/log_forwarding_config -H "Authorization: Bearer $TOKEN" -H "content-type: application/json" -d '{"enabled":false}'
    
  • Utilizzando l'endpoint API logging (obsoleto):

    curl -X PATCH https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_guid>/logging -H "Authorization: Bearer $TOKEN" -H "content-type: application/json" -d '{"enable":false}'
    

Visualizzazione della configurazione di inoltro dei log di un'istanza IBM Analytics Engine

Visualizza la configurazione di registrazione corrente di un'istanza IBM Analytics Engine, in uno dei seguenti modi:

  • Utilizzando l'endpoint API log_forwarding_config :

    curl -X GET https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_guid>/log_forwarding_config -H "Authorization: Bearer $TOKEN"
    
  • Utilizzando l'endpoint API logging (obsoleto):

    curl -X GET https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_guid>/logging -H "Authorization: Bearer $TOKEN"
    

Esempi di ricerche di log IBM Analytics Engine nel dashboard IBM Cloud Logs

Puoi restringere la ricerca per i log della piattaforma correlati a IBM Analytics Engine come segue:

  1. Fare clic su 'Sources nella dashboard IBM Cloud Logs e scegliere 'ibmanalyticsengine per ottenere i log da IBM Analytics Engine.
  2. Per restringere ulteriormente la ricerca, è possibile immettere e cercare qualsiasi parola chiave relativa all'applicazione Spark nella finestra di ricerca.

Esempi di ricerche

Questa sezione elenca esempi di come puoi cercare i log. Gli esempi utilizzano tutti i seguenti valori di esempio:

  • ID dell'istanza del IBM Analytics Engine: '4308f7a6-2cfd-4d7e-b7a7-678e71a27957
  • ID applicazione Spark: 5438585f-6413-4bb2-9251-8162d34f3dc3
  • Origini per cui è abilitato l'inoltro dei log: spark-driver e spark-executor
  • Tag associati prod e us-south

L'immagine seguente mostra un esempio dei risultati di ricerca restituiti nella dashboard IBM Cloud Logs. Nella parte inferiore dell'immagine è possibile visualizzare il campo di immissione della ricerca in cui si immettono le query di ricerca. Nell'esempio, sono stati immessi l'ID applicazione 5438585f-6413-4bb2-9251-8162d34f3dc3 e l'origine spark-driver.

Esempi di ricerche:

  • Per richiamare i log per tutte le applicazioni Spark inoltrate in una specifica istanza IBM Analytics Engine, passa l'ID istanza nella finestra di ricerca:

    4308f7a6-2cfd-4d7e-b7a7-678e71a27957
    
  • Per recuperare i log per una specifica applicazione Spark, puoi passare:

    • Una combinazione dell'ID dell'istanza IBM Analytics Engine e l'ID dell'applicazione Spark:
      4308f7a6-2cfd-4d7e-b7a7-678e71a27957 5438585f-6413-4bb2-9251-8162d34f3dc3
      
    • Solo l'ID applicazione:
      5438585f-6413-4bb2-9251-8162d34f3dc3
      
  • Per ricercare i log master Spark di un'applicazione, puoi passare:

    • Una combinazione dell'ID istanza IBM Analytics Engine, l'ID applicazione Spark e la parola chiave spark-driver:
      4308f7a6-2cfd-4d7e-b7a7-678e71a27957 5438585f-6413-4bb2-9251-8162d34f3dc3 spark-driver
      
    • Una combinazione di ID applicazione e parola chiave spark-driver:
      5438585f-6413-4bb2-9251-8162d34f3dc3 spark-driver
      
  • Per ricercare in base a più nomi di origine log, è possibile inoltrare:

    • Una combinazione di ID istanza IBM Analytics Engine, ID applicazione Spark e nomi origine:
      4308f7a6-2cfd-4d7e-b7a7-678e71a27957 5438585f-6413-4bb2-9251-8162d34f3dc3 (spark-driver OR spark-executor-2)
      
    • Una combinazione di ID applicazione e nomi origine log:
      5438585f-6413-4bb2-9251-8162d34f3dc3 (spark-driver OR spark-executor-2)
      
  • Per ottenere i log correlati a tutte le applicazioni in esecuzione in una particolare istanza all'interno della regione us-south e dell'ambiente prod, puoi immettere quanto segue nel campo di ricerca:

    4308f7a6-2cfd-4d7e-b7a7-678e71a27957 "prod us-south"