Weiterleitung von Protokollen an IBM Cloud Logs

Plattformprotokolle sind Protokolle, die von verschiedenen Diensten auf der IBM Cloud Plattform für Benutzer zugänglich sind. IBM Analytics Engine unterstützt die Weiterleitung von Protokollen des Dienstes IBM Analytics Engine an eine IBM Cloud Logs-Instanz, die Sie für den Empfang von Plattformprotokollen aktiviert haben.

  • Plattformprotokolle sind regional.

    Sie können Protokolle von IBM Analytics Engine on IBM Cloud in der Region überwachen, in der der Service verfügbar ist.

  • Sie können nur eine Instanz von IBM Cloud Logs pro Region und pro IBM Cloud Konto konfigurieren, um Plattformprotokolle an diesem Ort zu sammeln.

    Sie können mehrere IBM Cloud Logs-Instanzen an einem Standort haben. Es kann jedoch nur eine Instanz an einem Standort (Region) für den Empfang von Protokollen von IBM Cloud -Services wie IBM Analytics Engine an diesem IBM Cloud -Standort konfiguriert werden.

    Außerdem werden die Protokolle, die von einer zu einem Konto gehörenden IBM Analytics Engine erzeugt werden, an eine IBM Cloud Logs-Instanz unter demselben IBM Cloud weitergeleitet.

Um zu prüfen, ob der IBM Cloud Logs-Service für den Empfang von Plattformprotokollen konfiguriert ist, sehen Sie sich das Observability-Dashboard an.

Voraussetzung für die Aktivierung der Plattformprotokollierung

Zum Anzeigen der IBM Analytics Engine -Plattformprotokolle müssen Sie das Dashboard 'Beobachtbarkeit' in IBM Cloud verwenden, um die Plattformprotokollierung zu konfigurieren. Unter Plattformprotokolle über das Dashboard 'Beobachtbarkeit' konfigurieren finden Sie die Schritte, die Sie ausführen müssen, um die Protokollierung über das Dashboard 'Beobachtbarkeit' zu aktivieren.

APIs für Protokollierung

Nachdem Sie die Plattformprotokollierung über das Dashboard 'Beobachtbarkeit' aktiviert haben, fahren Sie mit den Schritten in den folgenden Abschnitten fort, um zu erfahren, wie Sie die API-Endpunkte verwenden, um die Protokollierung zu aktivieren, zu inaktivieren und die Protokollierungskonfiguration anzuzeigen.

Die Protokollierungs-API-Aufrufe erfordern die GUID der Serviceinstanz. Wenn Sie die GUID nicht notiert haben, lesen Sie den Abschnitt GUID einer serverunabhängigen Instanz abrufen.

Jetzt werden zwei API-Endpunkte für die Protokollierung verfügbar gemacht:

  • log_forwarding_config
  • In: logging. Dieser API-Endpunkt ist veraltet und wird in Kürze eingestellt. Sie können diesen Endpunkt zwar verwenden, sollten jedoch mit der Verwendung des Endpunkts log_forwarding_config beginnen.

Protokollweiterleitung von IBM Analytics Engine aktivieren

Um die Weiterleitung von IBM Analytics Engine Plattformprotokollen an IBM Cloud Logs zu aktivieren, rufen Sie die folgende API für eine bestehende Analytics Engine Instanz auf.

Es gibt zwei Methoden, die Sie zum Aktivieren der Weiterleitung von Protokollen verwenden können:

  • Standard: In diesem Fall stellen Sie nur eine Anforderung zum Aktivieren der Protokollweiterleitung und die Protokolle, die sich auf die Standardprotokollquelle oder -quellen (spark-driver) beziehen, werden weitergeleitet. Dazu gibt es die folgenden möglichen Vorgehensweisen:

    • Verwendung des log_forwarding_config-API-Endpunkts:
      curl -X PUT https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_guid>/log_forwarding_config -H "Authorization: Bearer $TOKEN" -H "content-type: application/json" -d '{"enabled":true}'
      
    • Verwendung des logging-API-Endpunkts (veraltet):
      curl -X PUT https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_guid>/logging -H "Authorization: Bearer $TOKEN" -H "content-type: application/json" -d '{"enable":true}
      
  • Angepasst: Mit dieser Option erhalten Sie mehr Kontrolle über die Protokollweiterleitungskonfiguration. Sie können beispielsweise die Quellen der Protokolle angeben, die weitergeleitet werden sollen. Sie können auch einige Tags mit den Protokollen verknüpfen, die später in IBM Cloud Logs als Suchbegriffe verwendet werden können, um die Suche nach den entsprechenden Protokollen einzugrenzen. Dazu gibt es die folgenden möglichen Vorgehensweisen:

    • Verwendung des log_forwarding_config-API-Endpunkts:
      curl -X PUT https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_guid>/log_forwarding_config -H "Authorization: Bearer $TOKEN" -H "content-type: application/json" -d ' {"enabled":true,"sources": ["spark-driver", "spark-executor"],"tags": ["<tag_1>", "<tag_2>",...]} '
      
    • Verwendung des logging-API-Endpunkts (veraltet):
      curl -X PUT https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_guid>/logging -H "Authorization: Bearer $TOKEN" -H "content-type: application/json" -d ' {"enable":true,"components": ["spark-driver", "spark-executor"],"tags": ["<tag_1>", "<tag_2>",...]} '
      

Plattformprotokollierung in IBM Analytics Engine inaktivieren

Deaktivieren Sie die Weiterleitung von IBM Analytics Engine Plattformprotokollen an IBM Cloud Logs, auf eine der folgenden Arten.

  • Verwendung des log_forwarding_config-API-Endpunkts:

    curl -X PATCH https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_guid>/log_forwarding_config -H "Authorization: Bearer $TOKEN" -H "content-type: application/json" -d '{"enabled":false}'
    
  • Verwendung des logging-API-Endpunkts (veraltet):

    curl -X PATCH https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_guid>/logging -H "Authorization: Bearer $TOKEN" -H "content-type: application/json" -d '{"enable":false}'
    

Protokollweiterleitungskonfiguration einer IBM Analytics Engine-Instanz anzeigen

Zeigen Sie die aktuelle Protokollierungskonfiguration einer IBM Analytics Engine-Instanz auf eine der folgenden Arten an:

  • Verwendung des log_forwarding_config-API-Endpunkts:

    curl -X GET https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_guid>/log_forwarding_config -H "Authorization: Bearer $TOKEN"
    
  • Verwendung des logging-API-Endpunkts (veraltet):

    curl -X GET https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_guid>/logging -H "Authorization: Bearer $TOKEN"
    

Beispiele für IBM Analytics Engine Protokollsuchen im IBM Cloud Logs Dashboard

Sie können die Suche nach den Plattformprotokollen für IBM Analytics Engine wie folgt eingrenzen:

  1. Klicken Sie auf " Sources im IBM Cloud Logs Dashboard und wählen Sie " ibmanalyticsengine, um die Protokolle von IBM Analytics Engine zu erhalten.
  2. Um Ihre Suche weiter einzugrenzen, können Sie Schlüsselwörter für Ihre Spark-Anwendung im Suchfenster eingeben und suchen.

Beispiele für Suchen

Dieser Abschnitt enthält Beispiele für die Suche nach Protokollen. Alle Beispiele verwenden die folgenden Beispielwerte:

  • IBM Analytics Engine Instanz-ID: 4308f7a6-2cfd-4d7e-b7a7-678e71a27957
  • Spark-Anwendungs-ID: 5438585f-6413-4bb2-9251-8162d34f3dc3
  • Quellen, für die die Protokollweiterleitung aktiviert ist: spark-driver und spark-executor
  • Zugehörige Tags: prod und us-south

Das folgende Bild zeigt ein Beispiel für die zurückgegebenen Suchergebnisse im IBM Cloud Logs Dashboard. Unten in der Abbildung sehen Sie das Sucheintragsfeld, in dem Sie Ihre Suchabfragen eingeben. Im Beispiel wurden die Anwendungs-ID 5438585f-6413-4bb2-9251-8162d34f3dc3 und die Quelle spark-driver eingegeben.

Beispiele für Suchvorgänge

  • Übergeben Sie die Instanz-ID im Suchfenster, um die Protokolle für alle Spark-Anwendungen abzurufen, die in einer bestimmten IBM Analytics Engine-Instanz übergeben werden:

    4308f7a6-2cfd-4d7e-b7a7-678e71a27957
    
  • Um die Protokolle für eine bestimmte Spark-Anwendung abzurufen, können Sie Folgendes übergeben:

    • Eine Kombination aus der IBM Analytics Engine-Instanz-ID und der Spark-Anwendungs-ID:
      4308f7a6-2cfd-4d7e-b7a7-678e71a27957 5438585f-6413-4bb2-9251-8162d34f3dc3
      
    • Nur die Anwendungs-ID:
      5438585f-6413-4bb2-9251-8162d34f3dc3
      
  • Um die Spark-Masterprotokolle einer Anwendung zu durchsuchen, können Sie Folgendes übergeben:

    • Eine Kombination aus der Instanz-ID IBM Analytics Engine, der Spark-Anwendungs-ID und dem Schlüsselwort spark-driver:
      4308f7a6-2cfd-4d7e-b7a7-678e71a27957 5438585f-6413-4bb2-9251-8162d34f3dc3 spark-driver
      
    • Eine Kombination aus der Anwendungs-ID und dem Schlüsselwort spark-driver:
      5438585f-6413-4bb2-9251-8162d34f3dc3 spark-driver
      
  • Für die Suche nach mehreren Protokollquellennamen können Sie Folgendes übergeben:

    • Eine Kombination aus der IBM Analytics Engine-Instanz-ID, der Spark-Anwendungs-ID und den Quellennamen:
      4308f7a6-2cfd-4d7e-b7a7-678e71a27957 5438585f-6413-4bb2-9251-8162d34f3dc3 (spark-driver OR spark-executor-2)
      
    • Eine Kombination aus Anwendungs-ID und Protokollquellennamen:
      5438585f-6413-4bb2-9251-8162d34f3dc3 (spark-driver OR spark-executor-2)
      
  • Um die Protokolle für alle Anwendungen abzurufen, die in einer bestimmten Instanz in der us-south-Region und in der prod-Umgebung ausgeführt werden, geben Sie Folgendes in das Suchfeld ein:

    4308f7a6-2cfd-4d7e-b7a7-678e71a27957 "prod us-south"