Kostenkontrolle

Wenn Sie mit der Nutzung von IBM® Cloud Logs beginnen, werden Sie vielleicht feststellen, dass Sie die Datenverarbeitung auf IBM Cloud Logs anpassen müssen, um die Kosten zu kontrollieren.

Sie können IBM Cloud Logs konfigurieren oder die Daten, die von IBM Cloud Logs aufgenommen werden, anpassen, um Ihre Nutzungskosten zu kontrollieren.

Die Auswahl des besten Serviceplans

Überprüfen Sie die verfügbaren Servicepläne und Preise. Die Kosten für die Datenpipeline, in der Sie die Daten speichern wollen, wirken sich auf Ihre Gesamtkosten aus.

Überlegen Sie auch, wie lange Sie Ihre Daten für eine schnelle Suche in Prioritätserkenntnisse aufbewahren müssen. Sie können Ihre IBM Cloud Logs-Instanz so konfigurieren, dass Ihre Daten für einen kürzeren Zeitraum unter Prioritätserkenntnisse gespeichert werden.

Die Daten werden vom Dienst pro aufgenommenem Gigabyte abgerechnet. Sie können Datenverwendungsmetriken konfigurieren, um Ihre Datennutzung zu überwachen. Für die Datennutzungsmetrik müssen Sie einen Metrikbereich konfiguriert haben.

Konfigurieren des TCO-Optimierers

Wenn eine IBM Cloud Logs-Instanz erstellt wird, fließen standardmäßig alle Daten in die Prioritätserkenntnisse-Datenpipeline. Diese Pipeline ermöglicht zwar die schnellste Suche, ist aber auch die kostspieligste Pipeline.

Um die Kosten zu kontrollieren, müssen Sie die Pipeline optimieren, über die die Daten gesendet werden.

Durch die Definition der Datenpipeline auf der Grundlage der Bedeutung der Daten für Ihr Unternehmen kann der TCO Optimizer Ihnen helfen, Echtzeitanalysen und Warnmeldungen zu verbessern und die Kosten zu kontrollieren.

Informationen zum Konfigurieren des TCO-Optimierers finden Sie unter Konfigurieren des TCO-Optimierers.

Verwendung von TCO-Richtlinien

Die Zuordnung von Protokollen zu Pipelines wird durch Richtlinien bestimmt. Richtlinien werden auf Kombinationen von Anwendungen, Subsystemen und Protokollschweregrad angewendet, wenn Protokolle aufgenommen werden. Die Protokolle werden auf der Grundlage des Richtlinieninhalts der entsprechenden TCO-Pipeline zugewiesen.

Bevor Sie eine Richtlinie erstellen können, müssen Sie einen IBM Cloud Object Storage Dateneimer konfigurieren.

Verstehen der Datenerfassung

Um zu verstehen, wie Sie Ihre Kosten bei der Nutzung von IBM Cloud Logs kontrollieren können, müssen Sie verstehen, wie die Daten in den Dienst aufgenommen werden.

IBM Cloud Logs nimmt Daten aus mehreren Quellen auf, die in einer bestimmten Reihenfolge verarbeitet werden:

  1. Die Protokolle werden von der Quelle gesendet.

    • Betriebliche Protokolle werden über einen Agenten oder einen API-REST-Aufruf gesendet.
    • Plattformprotokolle und Ereignisse zur Aktivitätsverfolgung werden von IBM Cloud gesendet.

  2. IBM Cloud Logs die Daten aufnimmt (empfängt).

  3. IBM Cloud Logs parsing-Regeln werden auf die eingegebenen Daten angewendet.

  4. Die TCO-Richtlinien werden angewandt und die Daten werden je nach Richtlinie der entsprechenden Datenpipeline zugewiesen oder verworfen.

Ein Protokoll gilt für die Zwecke der Rechnungsstellung als aufgenommen, sobald die Parsing-Regeln und TCO-Richtlinien angewendet wurden. Für Protokolle, die blockiert werden, bevor sie an die Datenpipelines gesendet werden, fallen keine Gebühren an, und diese Protokolle werden nicht aufbewahrt.

Kontrolle der aufgenommenen Daten

Zusätzlich zur Kontrolle der Datenpipelines, in denen Ihre Daten innerhalb von IBM Cloud Logs gespeichert werden, können Sie die Daten kontrollieren, die von IBM Cloud Logs aufgenommen werden.

Verwendung von Parsing-Regeln

Sie können die Block-Parsing-Regel verwenden, um eingehende Protokolle auf der Grundlage eines RegEx-Ausdrucks herauszufiltern. Weitere Informationen zum Konfigurieren einer Blockparsing-Regel finden Sie unter Blockieren von Protokolldaten.

Sie sind nicht darauf beschränkt, ganze Protokollzeilen zu blockieren. Felder in Protokollzeilen, die Sie nicht benötigen, können mit Hilfe von Parsing-Regeln entfernt werden. Informationen zum Entfernen von Feldern finden Sie unter Entfernen von Feldern aus Protokollen mit Hilfe der Regel Felder entfernen.

Filterung und Umstrukturierung von Daten, die über das Protokollierungsagent

Wenn Sie Betriebsprotokolle an IBM Cloud Logs senden, indem Sie Protokollierungsagent verwenden, können Sie die Protokolldaten analysieren und umstrukturieren, um die Konsistenz zu gewährleisten und Daten zu entfernen, die Sie in IBM Cloud Logs nicht benötigen.

  • Sie können den Fluent Bit grep-Filter mit der Option exclude verwenden.

  • Sie können den Fluent Bit Änderungsfilter verwenden, um nicht benötigte Felder zu entfernen.

  • Verwenden Sie bei der Installation von Protokollierungsagent die Option excludeLogSourcePaths option bei der Installation mit der Steuerkarte oder die Exclude_Path auf dem tail Plug-in ( Linux und Windows-Installationen), um Protokolle von bestimmten Orten nicht zu senden.

  • Sie können Lua-Skripte verwenden, um Daten zu filtern und zu ändern, die an IBM Cloud Logs gesendet werden, bevor sie aufgenommen werden.

Sicherstellen, dass die Protokollierungsdaten gut strukturiert sind

Wenn Sie Protokolldaten ändern, müssen Sie darauf achten, dass die an IBM Cloud Logs gesendeten Daten gut formatiert sind, damit IBM Cloud Logs die Daten korrekt verarbeiten kann.

  • Die Protokolle sollten entweder im JSON-Format gesendet werden, oder es wird ein Filter mit Protokollierungsagent verwendet, um den Inhalt in das JSON-Format umzuwandeln.

  • Da TCO-Richtlinien die Schweregradinformationen in den Protokolldaten verwenden, um Protokolle der entsprechenden Datenpipeline zuzuordnen, ist es für eine konsistente Zuordnung am besten, sicherzustellen, dass die Protokolldaten einen entsprechenden level, loglevel oder severity Wert enthalten, anstatt dass Protokollierungsagent oder IBM Cloud Logs den Schweregrad impliziert.

  • Bei Protokollen, die von anderen Quellen als Kubernetes stammen, müssen die Felder application und subsystemName in den Protokollzeilen enthalten sein. Diese Felder werden auch von der TCO-Verarbeitung verwendet.

  • Die Protokolle sollten auch Zeitstempel im UTC-Format enthalten. Alternativ kann Protokollierungsagent so konfiguriert werden, dass der Zeitstempel vor dem Senden der Protokolle versetzt wird. Siehe die Informationen über Time_Offset und Time_System_Timezone in der Fluent Bit Dokumentation.

  • Felder, die bei Suchvorgängen häufig verwendet werden (z. B. http_error_code), sollten in separate Schlüssel extrahiert werden, anstatt sie in die Protokollzeile aufzunehmen.