지원 대시보드

PrestoIBM® watsonx.data ( Java )는 성능 지표에 대한 가시성을 제공하는 강력한 대시보드 세트를 통해 포괄적인 가시성을 제공하여 신속한 문제 진단과 자원 할당 최적화를 가능하게 합니다.

다음은 지원되는 대시보드입니다:

  • 시스템 상태
  • 쿼리 성능 상태
  • 데이터 및 메타데이터 상태
  • 작업 부하 상태
  • 쿼리 지연 시간 상태
  • 쿼리 수명 주기 상태
  • 이상 현상과 추세 인사이트
  • 로그 및 오류 상태

해당 Grafana 도구는 다음 네 가지 대시보드(시스템 상태, 쿼리 성능 상태, 데이터 및 메타데이터 상태, 워크로드 상태)에 대해서만 지원을 제공하며, Instana 도구는 여덟 가지 대시보드 모두를 지원합니다.

다음 목록은 기본 설정된 Presto ( Java ) 메트릭 집합을 나타냅니다. 사용자는 필요에 따라 추가 메트릭을 추가하여 이를 확장할 수 있습니다. 사용 가능한 모든 메트릭과 그 정의는 노출된 JMX Presto 메트릭 에서 확인할 수 있습니다.

시스템 상태

기본 인프라를 모니터링하는 것은. Presto 에 있어 가장 중요합니다. 기본 인프라에 중점을 두고 CPU, 메모리, I/O와 같은 핵심 리소스를 모니터링하여 병목 현상을 감지하고 안정적인 운영을 보장합니다.

Presto ( Java ) 엔진:

  • CPU 사용량- 인스턴스 Presto 전반에 걸친 CPU 사용량을 모니터링합니다.

    • process_cpu_seconds_total

  • 메모리 사용량- 사용된 총 메모리와 사용 가능한 메모리를 추적합니다

    • watsonx_data_presto_cluster_memory_manager_cluster_memory_bytes
    • watsonx_data_presto_cluster_memory_manager_leaked_bytes
    • watsonx_data_presto_memory_heap_memory_usage_committed_bytes
    • watsonx_data_presto_memory_heap_memory_usage_max_bytes
    • watsonx_data_presto_memory_non_heap_memory_usage_committed_bytes
    • watsonx_data_presto_memory_non_heap_memory_usage_max_bytes
    • watsonx_data_presto_cluster_memory_manager_cluster_user_memory_reservation
    • watsonx_data_presto_cluster_memory_manager_cluster_total_memory_reservation
    • watsonx_data_presto_cluster_memory_manager_queries_killed_due_to_out_of_memory
    • jvm_memory_bytes_committed

  • Presto 메모리 풀- 예약된 메모리 풀과 일반 메모리 풀 내에서 메모리 Presto 사용량을 추적합니다.

    • watsonx_data_presto_memory_pool_general_max_bytes
    • watsonx_data_presto_cluster_memory_pool_general_nodes
    • watsonx_data_presto_memory_pool_general_free_bytes
    • watsonx_data_presto_memory_pool_general_reserved_bytes
    • watsonx_data_presto_cluster_memory_pool_general_free_distributed_bytes
    • watsonx_data_presto_cluster_memory_pool_general_total_distributed_bytes
    • watsonx_data_presto_cluster_memory_pool_general_reserved_distributed_bytes
    • watsonx_data_presto_cluster_memory_pool_general_reserved_revocable_distributed_bytes

  • Alluxio 캐시- 쿼리 실행 중 Alluxio 내 캐시된 데이터의 효율성과 사용량을 추적합니다.

    • watsonx_data_presto_alluxio_cache_bytes_read_cache_count
    • watsonx_data_presto_alluxio_cache_bytes_requested_external_count
    • watsonx_data_presto_alluxio_cache_written_cache_external_count
    • watsonx_data_presto_alluxio_cache_get_errors_count
    • watsonx_data_presto_alluxio_cache_put_errors_count
    • watsonx_data_presto_alluxio_cache_pages_count
    • watsonx_data_presto_alluxio_cache_pages_evicted_count
    • watsonx_data_presto_alluxio_cache_space_available_value
    • watsonx_data_presto_alluxio_cache_space_used_value

Alluxio 캐시 메트릭을 생성하려면 Alluxio 캐시가 활성화되어야 합니다. 자세한 내용은 캐싱을 통한 쿼리 성능 향상을 참조하십시오

또한 다음 구성이 파일에 jvm.config 포함되어 있는지 확인하십시오: -Dalluxio.metrics.key.including.unique.id.enabled=true -Dalluxio.user.app.id=presto

  • 프래그먼트 캐시- 캐시된 쿼리 프래그먼트의 사용량 및 적중률/미적중률을 추적합니다 Presto.
    • watsonx_data_presto_fragment_cache_stats_cache_entries
    • watsonx_data_presto_fragment_cache_stats_cache_hit
    • watsonx_data_presto_fragment_cache_stats_cache_removal
    • watsonx_data_presto_fragment_cache_stats_cache_size_in_bytes
    • watsonx_data_presto_fragment_cache_stats_inflight_bytes

쿼리 성능

쿼리 엔진에게 쿼리 동작을 이해하는 것은 매우 중요하다. 쿼리 성능 지표에는 다음이 포함됩니다:

Presto ( Java ) 엔진:

  • 현재 실행 중인 쿼리- 쿼리 요청률을 모니터링합니다.

    • watsonx_data_presto_query_manager_running_queries

  • 쿼리 실행 시간- 쿼리 지연 시간을 추적합니다.

    • watsonx_data_presto_query_manager_execution_time_five_minutes_p99

  • 처리된 데이터- 쿼리 실행 중 데이터 전송 속도를 측정합니다.

    • watsonx_data_presto_task_manager_input_data_size_five_minute_count
    • watsonx_data_presto_task_manager_output_data_size_five_minute_count

  • 오류율- 시스템에 부하가 걸렸을 때 오류가 발생하는 쿼리의 비율을 나타냅니다.

    • watsonx_data_presto_query_manager_user_error_failures_five_minute_count
    • watsonx_data_presto_query_manager_abandoned_queries_five_minute_count
    • watsonx_data_presto_query_manager_canceled_queries_five_minute_count

  • 성공한 요청 대 실패한 요청- 성공한 요청 수와 실패한 요청 수를 추적합니다.

    • watsonx_data_presto_query_manager_completed_queries_five_minute_count
    • watsonx_data_presto_query_manager_failed_queries_five_minute_count
    • watsonx_data_presto_query_manager_internal_failures_five_minute_count
    • watsonx_data_presto_task_manager_failed_tasks_five_minute_count

데이터 및 메타데이터 상태

방대한 양의 데이터를 처리하는 시스템에서는 데이터 수집 및 메타데이터 관리의 상태가 매우 중요하다.

Presto ( Java ) 엔진:

  • 데이터 수집 - 쿼리 관리자- 시스템으로 수집되는 데이터의 양과 속도를 모니터링합니다.

    • watsonx_data_presto_query_manager_consumed_input_bytes_five_minute_count
    • watsonx_data_presto_query_manager_consumed_input_rows_five_minute_count
    • watsonx_data_presto_query_manager_wall_input_bytes_rate_five_minutes_p90

  • S3 객체 저장소 오류- 객체 저장소 S3 계층에서 데이터를 읽는 동안 실패 메트릭을 추적합니다.

    • watsonx_data_presto_hive_s3_presto_s3_file_system_get_metadata_errors_total_count
    • watsonx_data_presto_hive_s3_presto_s3_file_system_failed_uploads_total_count
    • watsonx_data_presto_hive_s3_presto_s3_file_system_other_read_errors_total_count

  • 큐 메트릭- 내부 데이터 처리 큐의 크기와 처리 속도를 측정합니다.

    • watsonx_data_presto_dispatch_manager_queued_queries
    • watsonx_data_presto_split_scheduler_stats_mixed_split_queues_full_and_waiting_for_source_five_minute_count
    • watsonx_data_presto_task_executor_processor_executor_queued_task_count
    • watsonx_data_presto_task_executor_split_queued_time_all_time_max
    • watsonx_data_presto_task_executor_split_queued_time_all_time_avg

  • 파일 메타데이터 캐시 메트릭스- 파일 액세스를 위한 메타데이터 캐시의 적중률/미적중률 및 효율성을 관찰합니다.

    • watsonx_data_presto_hive_cache_stats_mbean_parquet_metadata_hit_rate
    • watsonx_data_presto_hive_cache_stats_mbean_parquet_metadata_size
    • watsonx_data_presto_hive_cache_stats_mbean_orc_file_tail_size
    • watsonx_data_presto_hive_cache_stats_mbean_orc_file_tail_hit_rate
    • watsonx_data_presto_hive_cache_stats_mbean_stripe_footer_size
    • watsonx_data_presto_hive_cache_stats_mbean_stripe_stream_size

작업 부하 상태

다양한 워크로드가 시스템과 상호작용하는 방식을 이해하는 것이 자원 최적화의 핵심이다.

Presto ( Java ) 엔진:

  • 작업 부하 카운트- 현재 실행 중인 쿼리의 수를 나타냅니다.

    • watsonx_data_presto_query_manager_running_queries

  • 상태- 워크로드가 활성, 유휴 또는 실패 상태인지 여부를 나타냅니다.

    • watsonx_data_presto_query_manager_completed_queries_five_minute_count
    • watsonx_data_presto_query_manager_abandoned_queries_five_minute_count
    • watsonx_data_presto_query_manager_canceled_queries_five_minute_count
    • watsonx_data_presto_query_manager_failed_queries_five_minute_count

  • 오류율- 오류율

    • watsonx_data_presto_query_manager_user_error_failures_five_minute_count
    • watsonx_data_presto_query_manager_failed_queries_five_minute_count
    • watsonx_data_presto_query_manager_external_failures_five_minute_count
    • watsonx_data_presto_query_manager_internal_failures_five_minute_count
    • watsonx_data_presto_query_manager_insufficient_resources_failures_five_minute_count

  • 자원 활용도- 각 워크로드와 관련된 CPU, 메모리 및 디스크 사용량을 추적합니다.

    • watsonx_data_presto_query_manager_consumed_cpu_time_seconds_five_minute_count
    • watsonx_data_presto_query_manager_cpu_input_byte_rate_five_minutes_p25
    • watsonx_data_presto_query_manager_cpu_input_byte_rate_five_minutes_p50
    • watsonx_data_presto_query_manager_cpu_input_byte_rate_five_minutes_p75
    • watsonx_data_presto_query_manager_cpu_input_byte_rate_five_minutes_p90

  • 요청 횟수- 일정 기간 동안 수신된 워크로드 실행 요청의 총 수.

    • watsonx_data_presto_query_manager_running_queries
    • watsonx_data_presto_dispatch_manager_queued_queries

쿼리 수명 주기 상태

쿼리가 제출부터 실행까지 거치는 각 단계에 대한 통찰력을 제공하여 대기열, 작업 실행 및 완료 과정에서의 병목 현상을 식별하는 데 도움을 줍니다.

Presto ( Java ) 엔진:

  • 각 단계별 오류- Presto 인스턴스의 다양한 단계에서 발생하는 쿼리 실행 실패를 추적하며, 작업이 실패하는 파이프라인의 문제 영역을 식별합니다.

    • watsonx_data_presto_task_manager_failed_tasks_five_minute_count

  • 쿼리당 리소스 사용량- 스레드, 분할, 대기 중 또는 실행 중인 쿼리를 포함하여 쿼리별 시스템 리소스 사용량을 캡처합니다.

    • watsonx_data_presto_task_executor_running_tasks_level0
    • watsonx_data_presto_task_executor_running_splits
    • watsonx_data_presto_query_manager_submitted_queries_five_minute_count
    • watsonx_data_presto_query_manager_queued_queries
    • watsonx_data_presto_dispatch_manager_queued_queries
    • watsonx_data_presto_task_executor_blocked_splits

  • 실행자 풀 상태- 작업을 Presto 실행하는 데 사용되는 내부 스레드 풀을 모니터링합니다.

    • watsonx_data_presto_task_executor_processor_executor_pool_size
    • watsonx_data_presto_task_executor_processor_executor_active_count
    • watsonx_data_presto_task_executor_processor_executor_completed_task_count
    • watsonx_data_presto_task_executor_processor_executor_queued_task_count

  • 분할 CPU 시간- 리프 분할과 중간 분할에 소모된 CPU 시간을 추적합니다.

    • watsonx_data_presto_task_executor_intermediate_split_cpu_time_count
    • watsonx_data_presto_query_manager_consumed_cpu_time_seconds_five_minute_count
    • watsonx_data_presto_task_executor_leaf_split_cpu_time_p99

쿼리 지연 시간 상태

쿼리의 실행 단계에 초점을 맞춰 지연 시간의 원인과 쿼리 복잡성의 영향을 식별합니다.

Presto ( Java ) 엔진:

  • 지연 시간(ms)- 다양한 단계에 걸친 실행 시간을 측정합니다.

    • watsonx_data_presto_query_manager_execution_time_five_minutes_p99
    • watsonx_data_presto_task_executor_split_wall_time_one_minute_max
    • watsonx_data_presto_task_executor_split_wall_time_fifteen_minutes_max
    • watsonx_data_presto_task_executor_split_wall_time_all_time_p99
    • watsonx_data_presto_task_executor_leaf_split_wall_time_p99

  • 요청량- 작업, 분할 및 스케줄링 활동을 추적합니다.

    • watsonx_data_presto_task_executor_split_queued_time_five_minutes_count
    • watsonx_data_presto_split_scheduler_stats_get_split_time_five_minutes_p99
    • watsonx_data_presto_task_executor_split_wall_time_five_minutes_count

로그 및 오류 상태

쿼리 실행 파이프라인 전반에 걸친 오류 및 장애를 모니터링하여 시스템 안정성과 장애 패턴을 강조합니다.

Presto ( Java ) 엔진:

  • 쿼리 실패율- 실행 실패 및 병목 현상을 추적합니다.

    • watsonx_data_presto_query_manager_failed_queries_five_minute_count
    • watsonx_data_presto_query_manager_internal_failures_five_minute_count
    • watsonx_data_presto_query_manager_user_error_failures_five_minute_count
    • watsonx_data_presto_task_executor_split_skipped_due_to_memory_pressure_five_minute_count

  • 영향을 받는 서비스/구성 요소 - HiveS3 / FileSystem- 고장난 Presto 구성 요소를 식별합니다.

    • watsonx_data_presto_hive_s3_presto_s3_file_system_failed_uploads_total_count
    • watsonx_data_presto_hive_s3_presto_s3_file_system_aws_retry_count_fifteen_minute_count
    • watsonx_data_presto_hive_s3_presto_s3_file_system_get_metadata_errors_total_count
    • watsonx_data_presto_hive_s3_presto_s3_file_system_socket_timeout_exceptions_total_count

  • 영향을 받는 서비스/구성 요소 - 작업 실행기- 실패한 Presto 구성 요소를 식별합니다.

    • watsonx_data_presto_task_executor_split_wall_time_all_time_max_error
    • watsonx_data_presto_task_executor_blocked_quanta_wall_time_all_time_max_error
    • watsonx_data_presto_task_executor_leaf_split_cpu_time_max_error
    • watsonx_data_presto_task_executor_intermediate_split_wall_time_max_error
    • watsonx_data_presto_task_executor_unblocked_quanta_wall_time_one_minute_max_error
    • watsonx_data_presto_task_executor_split_queued_time_one_minute_max_error
    • watsonx_data_presto_hive_s3_presto_s3_file_system_failed_uploads_total_count
    • watsonx_data_presto_hive_s3_presto_s3_file_system_aws_retry_count_fifteen_minute_count
    • watsonx_data_presto_hive_s3_presto_s3_file_system_get_metadata_errors_total_count
    • watsonx_data_presto_hive_s3_presto_s3_file_system_socket_timeout_exceptions_total_count

  • 중요도 수준- 영향의 심각도에 따라 지표를 분류합니다.

    • 심각(위급)

      • watsonx_data_presto_query_manager_internal_failures_five_minute_count
      • watsonx_data_presto_task_executor_split_wall_time_all_time_max_error
      • watsonx_data_presto_task_executor_blocked_quanta_wall_time_all_time_max_error
      • watsonx_data_presto_hive_s3_presto_s3_file_system_failed_uploads_total_count
      • watsonx_data_presto_cache_stats_quota_exceeded

    • 중간 (경고)

      • watsonx_data_presto_query_manager_user_error_failures_five_minute_count
      • watsonx_data_presto_hive_s3_presto_s3_file_system_aws_retry_count_fifteen_minute_rate
      • watsonx_data_presto_hive_s3_presto_s3_file_system_get_object_errors_fifteen_minute_rate
      • watsonx_data_presto_hive_s3_presto_s3_file_system_read_retries_fifteen_minute_rate

    • 낮음 (정보)

      • watsonx_data_presto_hive_s3_presto_s3_file_system_get_metadata_retries_five_minute_count
      • watsonx_data_presto_task_executor_split_skipped_due_to_memory_pressure_total_count
      • watsonx_data_presto_task_executor_processor_executor_shutdown

이상 현상과 추세 인사이트

쿼리 동작에서 예상치 못한 패턴이나 편차를 강조하여 성능 저하 또는 개선을 감지하는 데 도움을 줍니다.

Presto ( Java ) 엔진:

  • 지연 시간 드리프트- 변화하는 쿼리 지연 시간을 추적합니다.

    • watsonx_data_presto_task_executor_split_wall_time_fifteen_minutes_avg
    • watsonx_data_presto_task_executor_leaf_split_wait_time_avg
    • watsonx_data_presto_task_executor_intermediate_split_wall_time_avg

  • 오류율 대 기준값- 최근 실행 지표를 과거 기준값과 비교합니다.

    • watsonx_data_presto_task_executor_split_wall_time_fifteen_minutes_avg
    • watsonx_data_presto_task_executor_leaf_split_wait_time_avg
    • watsonx_data_presto_task_executor_intermediate_split_wall_time_avg

  • 처리량 저하 감지기- 데이터 처리 속도의 하락을 감지합니다.

    • watsonx_data_presto_task_executor_global_scheduled_time_micros_five_minute_rate
    • watsonx_data_presto_hive_s3_presto_s3_file_system_successful_uploads_five_minute_rate

  • 쿼리 지속 시간- 작업 또는 분할당 평균 실행 시간을 측정합니다.

    • watsonx_data_presto_task_executor_leaf_split_cpu_time_avg
    • watsonx_data_presto_task_executor_intermediate_split_cpu_time_avg

  • 메모리 추세- 메모리 사용량과 잠재적 누수를 추적합니다.

    • jvm_memory_bytes_used
    • watsonx_data_presto_memory_heap_memory_usage_used_bytes

  • 작업 부하 추세 비교- 시간 창별 리소스 사용량을 비교합니다.

    • watsonx_data_presto_task_executor_global_cpu_time_micros_total_count
    • watsonx_data_presto_cluster_memory_manager_cluster_total_memory_reservation
    • watsonx_data_presto_task_executor_blocked_quanta_wall_time_fifteen_minutes_avg