コスト管理

IBM® Cloud Logs の使用を開始した後、コストを管理するために IBM Cloud Logs でデータを処理する方法を調整する必要があることに気づくかもしれません。

IBM Cloud Logs を設定したり、 IBM Cloud Logs によって取り込まれるデータを調整して、利用コストをコントロールすることができます。

最適なサービスプランの選択

ご利用可能な サービスプランと価格を ご確認ください。 データを保存する データパイプラインの コストは、総コストに影響する。

また、 優先順位の洞察 で高速検索するために、データをどれくらいの期間保存する必要があるかも考慮してください。 IBM Cloud Logs、データを 優先順位の洞察 に保存する期間を短く設定することができます。

データは、取り込んだギガバイトごとにサービスによって課金される。 データ使用量メトリクスを 設定して、データ使用量を監視することができます。 データ使用量メトリクスを使用するには、 メトリクス・バケットを 設定する必要があります。

TCOオプティマイザの設定

デフォルトでは、 IBM Cloud Logs インスタンスが作成されると、すべてのデータは 優先順位の洞察 データパイプラインに流れる。 このパイプラインは最速の検索を可能にするが、最もコストの高いパイプラインである。

コストをコントロールするためには、データを送るパイプラインを最適化したい。

ビジネスにおけるデータの重要性に基づいてデータパイプラインを定義することで、TCO Optimizerはリアルタイムの分析とアラートを改善し、コスト管理を支援します。

TCOオプティマイザの設定については、 TCOオプティマイザの設定を 参照してください。

TCOポリシーの使用

ログがどのようにパイプラインに関連付けられるかは、 ポリシーによって 決定される。 ポリシーは、ログが取り込まれると、アプリケーション、サブシステム、およびログの重要度の組み合わせに対して適用される。 ログはポリシーの内容に基づいて適切なTCOパイプラインに割り当てられる。

ポリシーを作成する前に、 IBM Cloud Object Storage データバケットを 設定する必要があります。

データの取り込みを理解する

IBM Cloud Logs を使用する際に、どのようにコストをコントロールするかを理解するためには、データがどのようにサービスに取り込まれるかを理解する必要がある。

IBM Cloud Logs は複数のソースからデータを取り込み、そのデータは特定の順序で処理される：

  1. ログは送信元から送られる。

    • 運用ログは、エージェントまたはAPI RESTコールを使用して送信される。
    • プラットフォームのログとアクティビティ追跡イベントは、 IBM Cloud から送信されます。

  2. IBM Cloud Logs データをインジェスト（受信）する。

  3. IBM Cloud Logs インジェストされたデータには、解析ルールが適用される。

  4. TCO ポリシーが 適用され、ポリシーに応じてデータが適切な データパイプラインに 割り当てられたり、削除されたりする。

ログは、解析ルールとTCOポリシーが適用された時点で、課金のために取り込まれたとみなされる。 データパイプラインに送信される前にブロックされたログには料金は発生せず、これらのログは保持されない。

取り込まれたデータの管理

IBM Cloud Logs 内でデータが保持されるデータパイプラインのコントロールに加え、 IBM Cloud Logs で取り込まれるデータのコントロールも可能です。

構文解析ルールの使用

ブロック解析ルールを使用すると、 RegEx 式に基づいて受信ログをフィルタリングできます。 ブロック解析ルールの設定については、 ログデータのブロックを 参照。

完全なログラインのブロックに限定されるわけではない。 不要なログ行のフィールドは、解析ルールを使って削除することができる。 フィールドの削除については、 フィールドの削除ルールを使用してログからフィールドを削除するを 参照してください。

を通じて送信されたデータをフィルタリングし、再構築する。 ロギング・エージェント

ロギング・エージェント を使って IBM Cloud Logs に業務ログを送信する場合、一貫性を保つため、また、 IBM Cloud Logs で不要と思われるデータを削除するために、ログデータを解析し、再構築することができる。

ロギングデータが適切に構造化されていることを確認する

ログデータを変更する場合、 IBM Cloud Logs がデータを正しく処理できるように、 IBM Cloud Logs に送信されるデータが適切にフォーマットされていることを確認する必要があります。

  • ログはJSONフォーマットで送信されるか、 ロギング・エージェント、フィルタを使用してコンテンツをJSONフォーマットに変換する。

  • TCOポリシーはログデータ内の重大度情報を使ってログを適切なデータパイプラインに割り当てるので、一貫性のある割り当てのためには、 ロギング・エージェント や IBM Cloud Logs が重大度を意味する のではなく、ログデータが適切な level、 loglevel、 severity 値を含んでいることを確認するのが最善です。

  • Kubernetes 以外のソースから発信されたログについては、ログ行に application と subsystemName フィールドを 含める必要がある。 これらのフィールドはTCO処理でも使用される。

  • ログには、UTCフォーマットのタイムスタンプも含めるべきである。 あるいは、 ロギング・エージェント、ログを送信する前にタイムスタンプをオフセットするように設定することもできる。 Fluent Bit ドキュメントの Time_Offset と Time_System_Timezone の情報を参照してください。

  • 検索で頻繁に使用されるフィールド（例えば、 http_error_code ）は、ログラインに含めるのではなく、 別のキーに抽出 すべきである。