Explorateur de schémas

Utilisez l'explorateur de schéma pour détecter, mettre en évidence et signaler automatiquement les différences détectées dans la structure de vos journaux au fur et à mesure de leur réception, comme les champs en double avec des types de données différents qui provoquent des conflits.

Les journaux proviennent souvent de sources différentes et peuvent avoir des conventions de dénomination différentes, ce qui entraîne des incohérences qui peuvent rapidement compliquer l'analyse. Dans IBM® Cloud Logs, vous pouvez utiliser Schema Explorer pour centraliser les informations sur la structure de vos journaux, les conventions de dénomination et les types de données.

Lors de l'ingestion, tous les champs sont extraits, quelle que soit leur structure ou leur convention d'appellation. Après l'ingestion, le gestionnaire de schéma identifie les clés dupliquées ou similaires. Vous pouvez ensuite étudier l'utilisation de chaque champ, sa fréquence d'apparition, ses valeurs uniques et les éventuelles exceptions de mappage.

Vous pouvez utiliser l'explorateur de schémas pour détecter, mettre en évidence et signaler automatiquement les différences identifiées dans la structure de vos journaux.

Empêcher les champs en double.
Réduire les erreurs d'interrogation causées par des clés incohérentes.
Découvrir et résoudre les champs en double ou conflictuels.
Fournir un retour d'information aux développeurs lorsque les champs sont mal alignés.

Scénarios d'utilisation

Considérez les scénarios d'utilisation suivants lors de l'utilisation de l'explorateur de schémas :

Vérifier régulièrement si de nouveaux champs ont été ingérés afin de détecter rapidement les incohérences de dénomination.
Standardisez les noms des champs avec vos équipes de développement pour améliorer les requêtes et maintenir la cohérence entre les services et les applications.
Standardisez le type de noms de champs avec vos équipes de développement pour réduire les exceptions de mappage.
Identifiez les champs que vous devez définir comme Reserve fields pour l'analyse critique.

Informations par champ

Vous pouvez utiliser Schema Explorer pour obtenir une vue complète des champs qui sont ingérés dans vos journaux :

Path: Le nom et l'emplacement du champ
Mapping Status: État de l'indexation pour la période sélectionnée :
Mapped: Indexé
Unmapped: Non indexé
Partially mapped- Indexé pour une partie de l'intervalle de temps
Type- Type de données (chaîne, numérique, objet, etc.).
Popularity over time- Fréquence d'apparition du champ.
Cardinality- Nombre de valeurs uniques et évolution dans le temps.
First seen/Last seen- Quand le champ a été ingéré.

Cela vous permet d'identifier les champs qui peuvent être redondants, incohérents ou manquants de manière inattendue.

Exemple de scénario

{: #schema-explorer-example-scenario } Vous avez trois services qui envoient des données à l'utilisateur :

Service A uses surname
Service B uses familyname
Service C uses family-name Sans la gestion des schémas, vos requêtes risquent de manquer des données parce que les champs ne correspondent pas. Avec la gestion des schémas, vous pouvez détecter ces variations et les faire correspondre à une clé unifiée telle que nom_de_famille en utilisant une règle d'analyse.

Lancement de Schema Explorer

Procédez comme suit :

Naviguez vers votre instance IBM Cloud Logs: Observability > Logging > Cloud Logs > Your Service Instance > Open Dashboard.
Dans le tableau de bord, cliquez sur Data Pipeline > Schema Manager.

L'explorateur de schémas s'ouvre.

Ensuite, vous pouvez :

Utilisez la barre de recherche pour trouver des champs spécifiques.
Examiner la popularité, le type, l'état de la mise en correspondance et la cardinalité de chaque champ afin d'identifier les doublons ou les incohérences
Vérifiez les exceptions de mappage pour aligner des champs similaires dans un schéma unique.