サポートダッシュボード

PrestoIBM® watsonx.data ( Java )は、堅牢なダッシュボード群を通じて包括的な可観測性を提供し、パフォーマンス指標の可視化を実現します。これにより、問題の迅速な診断とリソース配分の最適化が可能となります。

以下のダッシュボードがサポートされています：

システム・ヘルス
クエリのパフォーマンス健全性
データとメタデータの健全性
ワークロードの健全性
クエリ遅延の健全性
クエリのライフサイクル健全性
異常値とトレンドの洞察
ログとエラーの健全性

この Grafana ツールは、システム健全性、クエリパフォーマンス健全性、データおよびメタデータ健全性、ワークロード健全性の4つのダッシュボードのみをサポートします。一方、Instanaツールは全8つのダッシュボードをサポートします。

以下のリストは、デフォルトの ( Java ) Presto メトリクスのセットを表しています。ユーザーは必要に応じて追加のメトリクスを追加することでこれを拡張できます。利用可能なメトリクスの完全な一覧とその定義は、公開されたJMX Presto メトリクスで確認できます。

システム・ヘルス

基盤となるインフラの監視は極めて重要です Presto。基盤インフラに焦点を当て、CPU、メモリ、I/Oなどの主要リソースを監視し、ボトルネックを検出して安定した運用を確保します。

Presto ( Java ) エンジン:

CPU使用率- インスタンス Presto 全体のCPU使用率を監視します。
- process_cpu_seconds_total
メモリ使用量- 使用済みメモリと空きメモリの合計を追跡
- watsonx_data_presto_cluster_memory_manager_cluster_memory_bytes
- watsonx_data_presto_cluster_memory_manager_leaked_bytes
- watsonx_data_presto_memory_heap_memory_usage_committed_bytes
- watsonx_data_presto_memory_heap_memory_usage_max_bytes
- watsonx_data_presto_memory_non_heap_memory_usage_committed_bytes
- watsonx_data_presto_memory_non_heap_memory_usage_max_bytes
- watsonx_data_presto_cluster_memory_manager_cluster_user_memory_reservation
- watsonx_data_presto_cluster_memory_manager_cluster_total_memory_reservation
- watsonx_data_presto_cluster_memory_manager_queries_killed_due_to_out_of_memory
- jvm_memory_bytes_committed
Presto メモリプール-. Presto NET フレームワークの予約済みメモリプールおよび一般メモリプール内のメモリ消費量を追跡します。
- watsonx_data_presto_memory_pool_general_max_bytes
- watsonx_data_presto_cluster_memory_pool_general_nodes
- watsonx_data_presto_memory_pool_general_free_bytes
- watsonx_data_presto_memory_pool_general_reserved_bytes
- watsonx_data_presto_cluster_memory_pool_general_free_distributed_bytes
- watsonx_data_presto_cluster_memory_pool_general_total_distributed_bytes
- watsonx_data_presto_cluster_memory_pool_general_reserved_distributed_bytes
- watsonx_data_presto_cluster_memory_pool_general_reserved_revocable_distributed_bytes
Alluxioキャッシュ- クエリ実行時にAlluxio内でキャッシュされたデータの効率性と使用状況を追跡します。
- watsonx_data_presto_alluxio_cache_bytes_read_cache_count
- watsonx_data_presto_alluxio_cache_bytes_requested_external_count
- watsonx_data_presto_alluxio_cache_written_cache_external_count
- watsonx_data_presto_alluxio_cache_get_errors_count
- watsonx_data_presto_alluxio_cache_put_errors_count
- watsonx_data_presto_alluxio_cache_pages_count
- watsonx_data_presto_alluxio_cache_pages_evicted_count
- watsonx_data_presto_alluxio_cache_space_available_value
- watsonx_data_presto_alluxio_cache_space_used_value

Alluxioキャッシュのメトリクスを生成するには、Alluxioキャッシュを有効にする必要があります。詳細については、「キャッシュによるクエリパフォーマンスの向上」を参照してください

さらに、以下の設定がファイル jvm.config に含まれていることを確認してください： -Dalluxio.metrics.key.including.unique.id.enabled=true -Dalluxio.user.app.id=presto

フラグメントキャッシュ- キャッシュされたクエリフラグメントの使用状況とヒット率／ミス率を追跡します Presto。
- watsonx_data_presto_fragment_cache_stats_cache_entries
- watsonx_data_presto_fragment_cache_stats_cache_hit
- watsonx_data_presto_fragment_cache_stats_cache_removal
- watsonx_data_presto_fragment_cache_stats_cache_size_in_bytes
- watsonx_data_presto_fragment_cache_stats_inflight_bytes

照会のパフォーマンス

クエリエンジンの動作を理解することは極めて重要である。クエリのパフォーマンス指標には以下が含まれます：

Presto ( Java ) エンジン:

現在実行中のクエリ- クエリ要求レートを監視します。
- watsonx_data_presto_query_manager_running_queries
クエリ実行時間- クエリの遅延を追跡します。
- watsonx_data_presto_query_manager_execution_time_five_minutes_p99
処理済みデータ- クエリ実行中のデータ転送速度を測定します。
- watsonx_data_presto_task_manager_input_data_size_five_minute_count
- watsonx_data_presto_task_manager_output_data_size_five_minute_count
エラー率- システムに負荷がかかっている際にエラーが発生するクエリの割合を示します。
- watsonx_data_presto_query_manager_user_error_failures_five_minute_count
- watsonx_data_presto_query_manager_abandoned_queries_five_minute_count
- watsonx_data_presto_query_manager_canceled_queries_five_minute_count
成功したリクエストと失敗したリクエスト- 成功したリクエスト数と失敗したリクエスト数を追跡します。
- watsonx_data_presto_query_manager_completed_queries_five_minute_count
- watsonx_data_presto_query_manager_failed_queries_five_minute_count
- watsonx_data_presto_query_manager_internal_failures_five_minute_count
- watsonx_data_presto_task_manager_failed_tasks_five_minute_count

データとメタデータの健全性

膨大なデータを扱うシステムにおいて、データ取り込みとメタデータ管理の健全性は極めて重要である。

Presto ( Java ) エンジン:

データ取り込み - クエリマネージャー- システムに取り込まれるデータの量と速度を監視します。
- watsonx_data_presto_query_manager_consumed_input_bytes_five_minute_count
- watsonx_data_presto_query_manager_consumed_input_rows_five_minute_count
- watsonx_data_presto_query_manager_wall_input_bytes_rate_five_minutes_p90
S3 オブジェクトストアエラー- オブジェクトストレージレイヤー S3 からのデータ読み取り中に発生した障害メトリクスを追跡します。
- watsonx_data_presto_hive_s3_presto_s3_file_system_get_metadata_errors_total_count
- watsonx_data_presto_hive_s3_presto_s3_file_system_failed_uploads_total_count
- watsonx_data_presto_hive_s3_presto_s3_file_system_other_read_errors_total_count
キューメトリック- 内部データ処理キューのサイズと処理速度を測定します。
- watsonx_data_presto_dispatch_manager_queued_queries
- watsonx_data_presto_split_scheduler_stats_mixed_split_queues_full_and_waiting_for_source_five_minute_count
- watsonx_data_presto_task_executor_processor_executor_queued_task_count
- watsonx_data_presto_task_executor_split_queued_time_all_time_max
- watsonx_data_presto_task_executor_split_queued_time_all_time_avg
ファイルメタデータキャッシュのメトリクス- ファイルアクセスにおけるメタデータキャッシュのヒット率/ミス率および効率性を監視します。
- watsonx_data_presto_hive_cache_stats_mbean_parquet_metadata_hit_rate
- watsonx_data_presto_hive_cache_stats_mbean_parquet_metadata_size
- watsonx_data_presto_hive_cache_stats_mbean_orc_file_tail_size
- watsonx_data_presto_hive_cache_stats_mbean_orc_file_tail_hit_rate
- watsonx_data_presto_hive_cache_stats_mbean_stripe_footer_size
- watsonx_data_presto_hive_cache_stats_mbean_stripe_stream_size

ワークロードの健全性

異なるワークロードがシステムとどのように相互作用するかを理解することが、リソース最適化の鍵である。

Presto ( Java ) エンジン:

ワークロードカウント- 現在実行中のクエリの数を示します。
- watsonx_data_presto_query_manager_running_queries
ステータス- ワークロードがアクティブ、アイドル、または失敗しているかを示します。
- watsonx_data_presto_query_manager_completed_queries_five_minute_count
- watsonx_data_presto_query_manager_abandoned_queries_five_minute_count
- watsonx_data_presto_query_manager_canceled_queries_five_minute_count
- watsonx_data_presto_query_manager_failed_queries_five_minute_count
エラー率- エラー率
- watsonx_data_presto_query_manager_user_error_failures_five_minute_count
- watsonx_data_presto_query_manager_failed_queries_five_minute_count
- watsonx_data_presto_query_manager_external_failures_five_minute_count
- watsonx_data_presto_query_manager_internal_failures_five_minute_count
- watsonx_data_presto_query_manager_insufficient_resources_failures_five_minute_count
リソース利用状況- 各ワークロードに関連するCPU、メモリ、ディスクの使用状況を追跡します。
- watsonx_data_presto_query_manager_consumed_cpu_time_seconds_five_minute_count
- watsonx_data_presto_query_manager_cpu_input_byte_rate_five_minutes_p25
- watsonx_data_presto_query_manager_cpu_input_byte_rate_five_minutes_p50
- watsonx_data_presto_query_manager_cpu_input_byte_rate_five_minutes_p75
- watsonx_data_presto_query_manager_cpu_input_byte_rate_five_minutes_p90
リクエスト数- 一定期間に受信したワークロード実行リクエストの総数。
- watsonx_data_presto_query_manager_running_queries
- watsonx_data_presto_dispatch_manager_queued_queries

クエリのライフサイクル健全性

クエリの提出から実行までの各段階に関する洞察を提供し、キューイング、タスク実行、完了におけるボトルネックの特定を支援します。

Presto ( Java ) エンジン:

各ステージにおけるエラー- インスタンス Presto の異なるステージにおけるクエリ実行の失敗を追跡し、タスクが失敗しているパイプライン内の問題領域を特定します。
- watsonx_data_presto_task_manager_failed_tasks_five_minute_count
クエリごとのリソース使用量- スレッド、分割、キューイング中または実行中のクエリを含む、クエリごとのシステムリソース使用量を捕捉します。
- watsonx_data_presto_task_executor_running_tasks_level0
- watsonx_data_presto_task_executor_running_splits
- watsonx_data_presto_query_manager_submitted_queries_five_minute_count
- watsonx_data_presto_query_manager_queued_queries
- watsonx_data_presto_dispatch_manager_queued_queries
- watsonx_data_presto_task_executor_blocked_splits
実行者プール状態- タスク Presto の実行に使用される内部スレッドプールを監視します。
- watsonx_data_presto_task_executor_processor_executor_pool_size
- watsonx_data_presto_task_executor_processor_executor_active_count
- watsonx_data_presto_task_executor_processor_executor_completed_task_count
- watsonx_data_presto_task_executor_processor_executor_queued_task_count
分割CPU時間- リーフ分割および中間分割で消費されたCPU時間を追跡します。
- watsonx_data_presto_task_executor_intermediate_split_cpu_time_count
- watsonx_data_presto_query_manager_consumed_cpu_time_seconds_five_minute_count
- watsonx_data_presto_task_executor_leaf_split_cpu_time_p99

クエリ遅延の健全性

クエリの実行フェーズに焦点を当て、レイテンシの原因とクエリの複雑性の影響を特定する。

Presto ( Java ) エンジン:

レイテンシ（ms）- 様々な段階にわたる実行時間を測定します。
- watsonx_data_presto_query_manager_execution_time_five_minutes_p99
- watsonx_data_presto_task_executor_split_wall_time_one_minute_max
- watsonx_data_presto_task_executor_split_wall_time_fifteen_minutes_max
- watsonx_data_presto_task_executor_split_wall_time_all_time_p99
- watsonx_data_presto_task_executor_leaf_split_wall_time_p99
リクエスト量- タスク、分割、スケジューリングの活動を追跡します。
- watsonx_data_presto_task_executor_split_queued_time_five_minutes_count
- watsonx_data_presto_split_scheduler_stats_get_split_time_five_minutes_p99
- watsonx_data_presto_task_executor_split_wall_time_five_minutes_count

ログとエラーの健全性

クエリ実行パイプライン全体にわたるエラーと障害を監視し、システムの安定性と障害パターンを明らかにします。

Presto ( Java ) エンジン:

クエリ失敗率- 実行失敗とボトルネックを追跡します。
- watsonx_data_presto_query_manager_failed_queries_five_minute_count
- watsonx_data_presto_query_manager_internal_failures_five_minute_count
- watsonx_data_presto_query_manager_user_error_failures_five_minute_count
- watsonx_data_presto_task_executor_split_skipped_due_to_memory_pressure_five_minute_count
影響を受けるサービス/コンポーネント - HiveS3 / FileSystem- 障害が発生している Presto コンポーネントを特定します。
- watsonx_data_presto_hive_s3_presto_s3_file_system_failed_uploads_total_count
- watsonx_data_presto_hive_s3_presto_s3_file_system_aws_retry_count_fifteen_minute_count
- watsonx_data_presto_hive_s3_presto_s3_file_system_get_metadata_errors_total_count
- watsonx_data_presto_hive_s3_presto_s3_file_system_socket_timeout_exceptions_total_count
影響を受けるサービス/コンポーネント - タスク実行者- 障害が発生している Presto コンポーネントを特定します。
- watsonx_data_presto_task_executor_split_wall_time_all_time_max_error
- watsonx_data_presto_task_executor_blocked_quanta_wall_time_all_time_max_error
- watsonx_data_presto_task_executor_leaf_split_cpu_time_max_error
- watsonx_data_presto_task_executor_intermediate_split_wall_time_max_error
- watsonx_data_presto_task_executor_unblocked_quanta_wall_time_one_minute_max_error
- watsonx_data_presto_task_executor_split_queued_time_one_minute_max_error
- watsonx_data_presto_hive_s3_presto_s3_file_system_failed_uploads_total_count
- watsonx_data_presto_hive_s3_presto_s3_file_system_aws_retry_count_fifteen_minute_count
- watsonx_data_presto_hive_s3_presto_s3_file_system_get_metadata_errors_total_count
- watsonx_data_presto_hive_s3_presto_s3_file_system_socket_timeout_exceptions_total_count
深刻度レベル- メトリクスを影響の深刻度によって分類します。
- 重篤（重篤）
  - watsonx_data_presto_query_manager_internal_failures_five_minute_count
  - watsonx_data_presto_task_executor_split_wall_time_all_time_max_error
  - watsonx_data_presto_task_executor_blocked_quanta_wall_time_all_time_max_error
  - watsonx_data_presto_hive_s3_presto_s3_file_system_failed_uploads_total_count
  - watsonx_data_presto_cache_stats_quota_exceeded
- 中程度（警告）
  - watsonx_data_presto_query_manager_user_error_failures_five_minute_count
  - watsonx_data_presto_hive_s3_presto_s3_file_system_aws_retry_count_fifteen_minute_rate
  - watsonx_data_presto_hive_s3_presto_s3_file_system_get_object_errors_fifteen_minute_rate
  - watsonx_data_presto_hive_s3_presto_s3_file_system_read_retries_fifteen_minute_rate
- 低 (情報)
  - watsonx_data_presto_hive_s3_presto_s3_file_system_get_metadata_retries_five_minute_count
  - watsonx_data_presto_task_executor_split_skipped_due_to_memory_pressure_total_count
  - watsonx_data_presto_task_executor_processor_executor_shutdown

異常値とトレンドの洞察

クエリ動作における予期せぬパターンや逸脱を強調表示し、パフォーマンスの低下や改善の検出を支援します。

Presto ( Java ) エンジン:

レイテンシドリフト- クエリのレイテンシの推移を追跡します。
- watsonx_data_presto_task_executor_split_wall_time_fifteen_minutes_avg
- watsonx_data_presto_task_executor_leaf_split_wait_time_avg
- watsonx_data_presto_task_executor_intermediate_split_wall_time_avg
エラー率対ベースライン- 最近の実行メトリクスを過去のベースラインと比較します。
- watsonx_data_presto_task_executor_split_wall_time_fifteen_minutes_avg
- watsonx_data_presto_task_executor_leaf_split_wait_time_avg
- watsonx_data_presto_task_executor_intermediate_split_wall_time_avg
スループット低下検出器- データ処理速度の低下を検出します。
- watsonx_data_presto_task_executor_global_scheduled_time_micros_five_minute_rate
- watsonx_data_presto_hive_s3_presto_s3_file_system_successful_uploads_five_minute_rate
クエリ実行時間- タスクまたは分割ごとの平均実行時間を測定します。
- watsonx_data_presto_task_executor_leaf_split_cpu_time_avg
- watsonx_data_presto_task_executor_intermediate_split_cpu_time_avg
メモリ動向- メモリ使用量と潜在的なリークを追跡します。
- jvm_memory_bytes_used
- watsonx_data_presto_memory_heap_memory_usage_used_bytes
ワークロードの傾向比較- 時間枠ごとのリソース使用量を比較します。
- watsonx_data_presto_task_executor_global_cpu_time_micros_total_count
- watsonx_data_presto_cluster_memory_manager_cluster_total_memory_reservation
- watsonx_data_presto_task_executor_blocked_quanta_wall_time_fifteen_minutes_avg