支援儀表板

PrestoIBM® watsonx.data ( Java ) 透過一套強大的儀表板提供全面的可觀察性，讓您能清晰掌握效能指標，從而快速診斷問題並優化資源分配。

以下為支援的儀表板：

系統性能狀態
查詢效能健康狀態
資料與元資料健康狀況
工作負載健康狀況
查詢延遲健康狀況
查詢生命週期健康狀態
異常與趨勢洞察
日誌與錯誤健康狀態

該 Grafana 工具僅支援以下四個儀表板：系統健康狀態、查詢效能健康狀態、資料與元資料健康狀態，以及工作負載健康狀態；而 Instana 工具則支援全部八個儀表板。

以下清單代表預設的 ( Java ) Presto 計量組。使用者可根據需要新增其他指標來擴展此功能。完整的可用指標清單及其定義可參閱 Presto 公開的 JMX 指標。

系統性能狀態

監控基礎架構至關重要 Presto。著重於基礎架構，監控核心資源如CPU、記憶體與I/O，以偵測瓶頸並確保穩定運作。

Presto ( Java ) 引擎：

CPU 使用率- 監控跨 Presto 實例的 CPU 使用率。
- process_cpu_seconds_total
記憶體使用量- 追蹤已使用與可用記憶體的總量
- watsonx_data_presto_cluster_memory_manager_cluster_memory_bytes
- watsonx_data_presto_cluster_memory_manager_leaked_bytes
- watsonx_data_presto_memory_heap_memory_usage_committed_bytes
- watsonx_data_presto_memory_heap_memory_usage_max_bytes
- watsonx_data_presto_memory_non_heap_memory_usage_committed_bytes
- watsonx_data_presto_memory_non_heap_memory_usage_max_bytes
- watsonx_data_presto_cluster_memory_manager_cluster_user_memory_reservation
- watsonx_data_presto_cluster_memory_manager_cluster_total_memory_reservation
- watsonx_data_presto_cluster_memory_manager_queries_killed_due_to_out_of_memory
- jvm_memory_bytes_committed
Presto 記憶體池- 追蹤. 程式中保留記憶體池與通用記憶體池內的記憶體消耗狀況 Presto。
- watsonx_data_presto_memory_pool_general_max_bytes
- watsonx_data_presto_cluster_memory_pool_general_nodes
- watsonx_data_presto_memory_pool_general_free_bytes
- watsonx_data_presto_memory_pool_general_reserved_bytes
- watsonx_data_presto_cluster_memory_pool_general_free_distributed_bytes
- watsonx_data_presto_cluster_memory_pool_general_total_distributed_bytes
- watsonx_data_presto_cluster_memory_pool_general_reserved_distributed_bytes
- watsonx_data_presto_cluster_memory_pool_general_reserved_revocable_distributed_bytes
Alluxio 快取- 追蹤查詢過程中 Alluxio 中快取資料的效率與使用狀況。
- watsonx_data_presto_alluxio_cache_bytes_read_cache_count
- watsonx_data_presto_alluxio_cache_bytes_requested_external_count
- watsonx_data_presto_alluxio_cache_written_cache_external_count
- watsonx_data_presto_alluxio_cache_get_errors_count
- watsonx_data_presto_alluxio_cache_put_errors_count
- watsonx_data_presto_alluxio_cache_pages_count
- watsonx_data_presto_alluxio_cache_pages_evicted_count
- watsonx_data_presto_alluxio_cache_space_available_value
- watsonx_data_presto_alluxio_cache_space_used_value

要產生 Alluxio 快取指標，必須啟用 Alluxio 快取功能。如需更多資訊，請參閱《透過快取提升查詢效能》

此外，請確保以下設定已包含在檔案 jvm.config 中： -Dalluxio.metrics.key.including.unique.id.enabled=true -Dalluxio.user.app.id=presto

片段快取- 追蹤快取查詢片段的使用情況及其命中率與未命中率。Presto
- watsonx_data_presto_fragment_cache_stats_cache_entries
- watsonx_data_presto_fragment_cache_stats_cache_hit
- watsonx_data_presto_fragment_cache_stats_cache_removal
- watsonx_data_presto_fragment_cache_stats_cache_size_in_bytes
- watsonx_data_presto_fragment_cache_stats_inflight_bytes

查詢效能

理解查詢行為對查詢引擎至關重要。查詢效能指標包括：

Presto ( Java ) 引擎：

目前執行中的查詢- 監控查詢請求速率。
- watsonx_data_presto_query_manager_running_queries
查詢執行時間- 追蹤查詢延遲。
- watsonx_data_presto_query_manager_execution_time_five_minutes_p99
處理中的資料- 測量查詢執行期間的資料傳輸速率。
- watsonx_data_presto_task_manager_input_data_size_five_minute_count
- watsonx_data_presto_task_manager_output_data_size_five_minute_count
錯誤率- 表示系統承受壓力時，發生錯誤的查詢所佔的百分比。
- watsonx_data_presto_query_manager_user_error_failures_five_minute_count
- watsonx_data_presto_query_manager_abandoned_queries_five_minute_count
- watsonx_data_presto_query_manager_canceled_queries_five_minute_count
成功與失敗請求- 追蹤成功與失敗請求的計數。
- watsonx_data_presto_query_manager_completed_queries_five_minute_count
- watsonx_data_presto_query_manager_failed_queries_five_minute_count
- watsonx_data_presto_query_manager_internal_failures_five_minute_count
- watsonx_data_presto_task_manager_failed_tasks_five_minute_count

資料與元資料健康狀況

對於處理海量資料的系統而言，資料攝取與元資料管理的健全性至關重要。

Presto ( Java ) 引擎：

資料攝取 - 查詢管理器- 監控系統攝取資料的量與速率。
- watsonx_data_presto_query_manager_consumed_input_bytes_five_minute_count
- watsonx_data_presto_query_manager_consumed_input_rows_five_minute_count
- watsonx_data_presto_query_manager_wall_input_bytes_rate_five_minutes_p90
S3 物件儲存錯誤- 追蹤從物件儲存層讀取資料 S3 時的失敗指標。
- watsonx_data_presto_hive_s3_presto_s3_file_system_get_metadata_errors_total_count
- watsonx_data_presto_hive_s3_presto_s3_file_system_failed_uploads_total_count
- watsonx_data_presto_hive_s3_presto_s3_file_system_other_read_errors_total_count
佇列指標- 測量內部資料處理佇列的大小與處理速率。
- watsonx_data_presto_dispatch_manager_queued_queries
- watsonx_data_presto_split_scheduler_stats_mixed_split_queues_full_and_waiting_for_source_five_minute_count
- watsonx_data_presto_task_executor_processor_executor_queued_task_count
- watsonx_data_presto_task_executor_split_queued_time_all_time_max
- watsonx_data_presto_task_executor_split_queued_time_all_time_avg
檔案元資料快取指標- 監測檔案存取時元資料快取的命中率/未命中率及效能。
- watsonx_data_presto_hive_cache_stats_mbean_parquet_metadata_hit_rate
- watsonx_data_presto_hive_cache_stats_mbean_parquet_metadata_size
- watsonx_data_presto_hive_cache_stats_mbean_orc_file_tail_size
- watsonx_data_presto_hive_cache_stats_mbean_orc_file_tail_hit_rate
- watsonx_data_presto_hive_cache_stats_mbean_stripe_footer_size
- watsonx_data_presto_hive_cache_stats_mbean_stripe_stream_size

工作負載健康狀況

理解不同工作負載如何與系統互動，是資源優化的關鍵。

Presto ( Java ) 引擎：

工作負載計數- 顯示當前正在執行的查詢數量。
- watsonx_data_presto_query_manager_running_queries
狀態- 表示工作負載處於活動、閒置或失敗狀態。
- watsonx_data_presto_query_manager_completed_queries_five_minute_count
- watsonx_data_presto_query_manager_abandoned_queries_five_minute_count
- watsonx_data_presto_query_manager_canceled_queries_five_minute_count
- watsonx_data_presto_query_manager_failed_queries_five_minute_count
錯誤率- 錯誤率
- watsonx_data_presto_query_manager_user_error_failures_five_minute_count
- watsonx_data_presto_query_manager_failed_queries_five_minute_count
- watsonx_data_presto_query_manager_external_failures_five_minute_count
- watsonx_data_presto_query_manager_internal_failures_five_minute_count
- watsonx_data_presto_query_manager_insufficient_resources_failures_five_minute_count
資源利用率- 追蹤每個工作負載相關的 CPU、記憶體及磁碟使用情況。
- watsonx_data_presto_query_manager_consumed_cpu_time_seconds_five_minute_count
- watsonx_data_presto_query_manager_cpu_input_byte_rate_five_minutes_p25
- watsonx_data_presto_query_manager_cpu_input_byte_rate_five_minutes_p50
- watsonx_data_presto_query_manager_cpu_input_byte_rate_five_minutes_p75
- watsonx_data_presto_query_manager_cpu_input_byte_rate_five_minutes_p90
請求計數- 特定時間段內接收的工作負載執行請求總數。
- watsonx_data_presto_query_manager_running_queries
- watsonx_data_presto_dispatch_manager_queued_queries

查詢生命週期健康狀態

它能深入剖析查詢從提交到執行的每個階段，協助識別佇列處理、任務執行及完成過程中的瓶頸。

Presto ( Java ) 引擎：

各階段錯誤- 透過識別管道中任務失敗的問題區域，追蹤執行 Presto 階段在不同階段的查詢執行失敗情況。
- watsonx_data_presto_task_manager_failed_tasks_five_minute_count
每查詢資源利用率- 記錄每項查詢的系統資源使用情況，包含執行緒、分割數，以及排隊或正在執行的查詢。
- watsonx_data_presto_task_executor_running_tasks_level0
- watsonx_data_presto_task_executor_running_splits
- watsonx_data_presto_query_manager_submitted_queries_five_minute_count
- watsonx_data_presto_query_manager_queued_queries
- watsonx_data_presto_dispatch_manager_queued_queries
- watsonx_data_presto_task_executor_blocked_splits
執行者池健康狀態- 監控用於執行 Presto 任務的內部執行緒池。
- watsonx_data_presto_task_executor_processor_executor_pool_size
- watsonx_data_presto_task_executor_processor_executor_active_count
- watsonx_data_presto_task_executor_processor_executor_completed_task_count
- watsonx_data_presto_task_executor_processor_executor_queued_task_count
分割 CPU 時間- 追蹤葉節點與中間節點分割所消耗的 CPU 時間。
- watsonx_data_presto_task_executor_intermediate_split_cpu_time_count
- watsonx_data_presto_query_manager_consumed_cpu_time_seconds_five_minute_count
- watsonx_data_presto_task_executor_leaf_split_cpu_time_p99

查詢延遲健康狀況

專注於查詢的執行階段，識別延遲來源並評估查詢複雜度的影響。

Presto ( Java ) 引擎：

延遲 (毫秒)- 測量跨不同階段的執行時間。
- watsonx_data_presto_query_manager_execution_time_five_minutes_p99
- watsonx_data_presto_task_executor_split_wall_time_one_minute_max
- watsonx_data_presto_task_executor_split_wall_time_fifteen_minutes_max
- watsonx_data_presto_task_executor_split_wall_time_all_time_p99
- watsonx_data_presto_task_executor_leaf_split_wall_time_p99
請求量- 追蹤任務、分割與排程活動。
- watsonx_data_presto_task_executor_split_queued_time_five_minutes_count
- watsonx_data_presto_split_scheduler_stats_get_split_time_five_minutes_p99
- watsonx_data_presto_task_executor_split_wall_time_five_minutes_count

日誌與錯誤健康狀態

監控查詢執行管道中的錯誤與故障，突顯系統穩定性與故障模式。

Presto ( Java ) 引擎：

查詢失敗率- 追蹤執行失敗與瓶頸狀況。
- watsonx_data_presto_query_manager_failed_queries_five_minute_count
- watsonx_data_presto_query_manager_internal_failures_five_minute_count
- watsonx_data_presto_query_manager_user_error_failures_five_minute_count
- watsonx_data_presto_task_executor_split_skipped_due_to_memory_pressure_five_minute_count
受影響的服務/元件 - HiveS3 / FileSystem- 識別故障 Presto 元件。
- watsonx_data_presto_hive_s3_presto_s3_file_system_failed_uploads_total_count
- watsonx_data_presto_hive_s3_presto_s3_file_system_aws_retry_count_fifteen_minute_count
- watsonx_data_presto_hive_s3_presto_s3_file_system_get_metadata_errors_total_count
- watsonx_data_presto_hive_s3_presto_s3_file_system_socket_timeout_exceptions_total_count
受影響的服務/元件 - 任務執行器- 識別故障 Presto 元件。
- watsonx_data_presto_task_executor_split_wall_time_all_time_max_error
- watsonx_data_presto_task_executor_blocked_quanta_wall_time_all_time_max_error
- watsonx_data_presto_task_executor_leaf_split_cpu_time_max_error
- watsonx_data_presto_task_executor_intermediate_split_wall_time_max_error
- watsonx_data_presto_task_executor_unblocked_quanta_wall_time_one_minute_max_error
- watsonx_data_presto_task_executor_split_queued_time_one_minute_max_error
- watsonx_data_presto_hive_s3_presto_s3_file_system_failed_uploads_total_count
- watsonx_data_presto_hive_s3_presto_s3_file_system_aws_retry_count_fifteen_minute_count
- watsonx_data_presto_hive_s3_presto_s3_file_system_get_metadata_errors_total_count
- watsonx_data_presto_hive_s3_presto_s3_file_system_socket_timeout_exceptions_total_count
嚴重程度等級- 根據影響嚴重程度對指標進行分類。
- 嚴重（危急）
  - watsonx_data_presto_query_manager_internal_failures_five_minute_count
  - watsonx_data_presto_task_executor_split_wall_time_all_time_max_error
  - watsonx_data_presto_task_executor_blocked_quanta_wall_time_all_time_max_error
  - watsonx_data_presto_hive_s3_presto_s3_file_system_failed_uploads_total_count
  - watsonx_data_presto_cache_stats_quota_exceeded
- 中等（警告）
  - watsonx_data_presto_query_manager_user_error_failures_five_minute_count
  - watsonx_data_presto_hive_s3_presto_s3_file_system_aws_retry_count_fifteen_minute_rate
  - watsonx_data_presto_hive_s3_presto_s3_file_system_get_object_errors_fifteen_minute_rate
  - watsonx_data_presto_hive_s3_presto_s3_file_system_read_retries_fifteen_minute_rate
- 低 (資訊)
  - watsonx_data_presto_hive_s3_presto_s3_file_system_get_metadata_retries_five_minute_count
  - watsonx_data_presto_task_executor_split_skipped_due_to_memory_pressure_total_count
  - watsonx_data_presto_task_executor_processor_executor_shutdown

異常與趨勢洞察

突顯查詢行為中的意外模式或偏差，協助偵測效能衰退或提升。

Presto ( Java ) 引擎：

延遲漂移- 追蹤演變中的查詢延遲。
- watsonx_data_presto_task_executor_split_wall_time_fifteen_minutes_avg
- watsonx_data_presto_task_executor_leaf_split_wait_time_avg
- watsonx_data_presto_task_executor_intermediate_split_wall_time_avg
錯誤率與基準值比較- 將近期執行指標與歷史基準值進行對比。
- watsonx_data_presto_task_executor_split_wall_time_fifteen_minutes_avg
- watsonx_data_presto_task_executor_leaf_split_wait_time_avg
- watsonx_data_presto_task_executor_intermediate_split_wall_time_avg
吞吐量下降偵測器- 偵測資料處理速率的驟降。
- watsonx_data_presto_task_executor_global_scheduled_time_micros_five_minute_rate
- watsonx_data_presto_hive_s3_presto_s3_file_system_successful_uploads_five_minute_rate
查詢持續時間- 測量每個任務或分割的平均執行時間。
- watsonx_data_presto_task_executor_leaf_split_cpu_time_avg
- watsonx_data_presto_task_executor_intermediate_split_cpu_time_avg
記憶體趨勢- 追蹤記憶體使用狀況與潛在記憶體洩漏。
- jvm_memory_bytes_used
- watsonx_data_presto_memory_heap_memory_usage_used_bytes
工作量趨勢比較- 比較不同時間區間的資源使用情況。
- watsonx_data_presto_task_executor_global_cpu_time_micros_total_count
- watsonx_data_presto_cluster_memory_manager_cluster_total_memory_reservation
- watsonx_data_presto_task_executor_blocked_quanta_wall_time_fifteen_minutes_avg