スキーマエクスプローラ

スキーマエクスプローラを使用すると、取り込まれたログの構造で検出された相違点（競合の原因となるデータ型の異なる重複フィールドなど）を自動的に検出し、強調表示し、レポートすることができます。

ログはしばしば異なるソースから取得され、異なる命名規則を持っているかもしれない。 IBM® Cloud Logs では、 Schema Explorer を使って、ログの構造、命名規則、データタイプに関する情報を一元化することができる。

取り込み時には、構造や命名規則に関係なく、すべてのフィールドが抽出される。 インジェスト後、スキーママネージャは重複または類似のキーを識別する。 次に、各フィールドの使用方法、出現頻度、固有値、マッピングの例外を調べることができます。

スキーマエクスプローラーを使用すると、ログの構造上の相違を自動的に検出し、強調表示し、レポートすることができます。

  • フィールドの重複を防ぐ。
  • 一貫性のないキーに起因するクエリ・エラーを減らす。
  • 重複または競合するフィールドを発見し、解決する。
  • フィールドの位置がずれている場合、開発者にフィードバックを提供する。

ユースケース・シナリオ

スキーマ・エクスプローラーを使用する場合、次のような使用例を考えてみましょう：

  • インジェストされた新しいフィールドを定期的にチェックし、一貫性のない命名を早期に発見する。

  • 開発チームとフィールド名を標準化することで、クエリを強化し、サービスやアプリケーション間の一貫性を保つことができます。

  • 開発チームとフィールド名のタイプを標準化し、マッピングの例外を減らす。

  • 重要な分析のために Reserve fields として定義しなければならないフィールドを特定する。

フィールドごとの情報

スキーマエクスプローラーを使えば、ログに取り込まれたフィールドの全容を把握することができる：

  • Path:フィールド名と場所
  • Mapping Status:選択された時間範囲のインデックスの状態：
  • Mapped:インデックス付き
  • Unmapped:インデックスなし
  • Partially mapped- 時間範囲の一部をインデックス化
  • Type- データ型（文字列、数値、オブジェクトなど）。
  • Popularity over time- フィールドの表示頻度。
  • Cardinality- ユニークバリューの数とその経年変化。
  • First seen/Last seen- フィールドが摂取されたとき

これは、冗長であったり、一貫性がなかったり、予期せず欠落しているフィールドを特定するのに役立ちます。

サンプル・シナリオ

{: #schema-explorer-example-scenario } ユーザーデータを送信する3つのサービスがある：

  • Service A uses surname
  • Service B uses familyname
  • Service C uses family-name スキーマ管理なしでは、フィールドが一致しないためにクエリがデータを見逃す可能性がある。 スキーマ管理を使えば、これらのバリエーションを検出し、解析ルールを使ってそれらを last_name のような統一キーにマッピングすることができる。

スキーマエクスプローラーの起動

以下のステップを実行します。

  1. IBM Cloud Logs インスタンスに移動します： Observability > Logging > Cloud Logs > Your Service Instance > Open Dashboard.

  2. ダッシュボードで、 Data Pipeline > Schema Managerをクリックする。

    スキーマ・エクスプローラーが開く。

次に、あなたはできる：

  • 特定のフィールドを検索するには、検索バーを使用します。
  • 各フィールドの人気度、タイプ、マッピングの状態、カーディナリティを確認し、重複や矛盾を特定する
  • マッピング例外をチェックして、類似のフィールドを単一のスキーマに揃える。