Propiedades de configuración paraPresto (Java )- nodos coordinadores y trabajadores

Puede personalizar las propiedades de configuración del coordinador y del trabajador a través de una API paraPresto (Java ).

Propiedades de configuración de Presto (Java)- nodos coordinador y trabajador
Nombre de propiedad Tipo Validación agregada
experimental.optimized-repartitioning Boolean True o False
experimental.reserved-pool-enabled Boolean True o False
fragment-result-cache.enabled Boolean True o False
fragment-result-cache.max-cached-entries Entero 1000000
fragment-result-cache.base-directory Serie file:///mnt/tmpfs/fragment
fragment-result-cache.cache-ttl Serie 24h
heap_dump_on_exceeded_memory_limit.enabled Boolean True o False
heap_dump_on_exceeded_memory_limit.file_directory Serie Cualquier serie
heap_dump_on_exceeded_memory_limit.max.number Entero Límite{1, 1000}
heap_dump_on_exceeded_memory_limit.max.size Entero Límite{1, 1000}
memory.heap-headroom-per-node Serie Límite{1, 1e9} ; los valores admitidos son números con o sin unidades TB, MB, GB, B, KB
node-scheduler.include-coordinator Boolean True o False
query.execution-policy Serie Cualquier serie
query.low-memory-killer.policy Serie Cualquier serie
query.max-memory Serie Límite{1, 1e13} ; los valores admitidos son números con o sin unidades TB, MB, GB, B, KB
query.max-memory-per-node Serie Límite{1, 1e13} ; los valores admitidos son números con o sin unidades TB, MB, GB, B, KB
query.max-stage-count Entero Límite{1, 1000}
query.max-total-memory-per-node Serie Límite{1, 1e13} ; los valores admitidos son números con o sin unidades TB, MB, GB, B, KB
query.min-expire-age Serie Límite{1, 1e13} ; los valores admitidos son números con o sin unidades m, s, ms, h
query.stage-count-warning-threshold Entero Límite{1, 1000}
task.concurrency Entero Límite{1, 1000}
task.max-drivers-per-task Entero Límite{1, 100}
join-distribution-type Serie El valor debe ser automático, transmitido o particionado.
exchange.client-threads Entero Límite{1, 1000}
exchange.http-client.max-connections Entero Límite{1, 10000}
exchange.http-client.max-connections-per-server Entero Límite{1, 100000}
http-server.log.max-size Serie Límite{1, 1e13} ; los valores admitidos son números con o sin unidades TB, MB, GB, B, KB
http-server.log.max-history Entero Límite{1, 100}
http-server.threads.max Entero Límite{1, 1000}
join-max-broadcast-table-size Serie Límite{1, 1e13} ; los valores admitidos son números con o sin unidades TB, MB, GB, B, KB
log.max-history Entero Límite{1, 100}
log.max-size Serie Límite{1, 1e13} ; los valores admitidos son números con o sin unidades TB, MB, GB, B, KB
node-scheduler.max-pending-splits-per-task Entero Límite{1, 3000}
node-scheduler.max-splits-per-node Entero Límite{1, 3000}
optimize-nulls-in-join Boolean True o False
optimizer.default-filter-factor-enabled Boolean True o False
optimizer.exploit-constraints Boolean True o False
optimizer.prefer-partial-aggregation Boolean True o False
query.client.timeout Serie Límite{1, 1e13} ; los valores admitidos son números con o sin unidades m, s, ms, h
query.max-execution-time Serie Límite{1, 1e13} ; los valores admitidos son números con o sin unidades m, s, ms, h
query.max-history Entero Límite{1, 100}
query.max-total-memory Serie Límite{1, 1e13} ; los valores admitidos son números con o sin unidades TB, MB, GB
query.min-schedule-split-batch-size Serie Límite{1, 1e13} ; los valores admitidos son números con o sin unidades TB, MB, GB, B, KB
query.max-length Entero Límite{1, 1000000}
scale-writers Boolean True o False
shutdown.grace-period Serie Límite{1, 1e13} ; los valores admitidos son números con o sin unidades m, s, ms, h
sink.max-buffer-size Serie Límite{1, 1e13} ; los valores admitidos son números con o sin unidades TB, MB, GB, B, KB
experimental.max-revocable-memory-per-node Serie Límite{1, 1e13} ; los valores admitidos son números con o sin unidades TB, MB, GB, B, KB
experimental.max-spill-per-node Serie Límite{1, 1e13} ; los valores admitidos son números con o sin unidades TB, MB, GB, B, KB
experimental.pushdown-dereference-enabled Boolean True o False
experimental.pushdown-subfields-enabled Boolean True o False
experimental.query-max-spill-per-node Serie Límite{1, 1e13} ; los valores admitidos son números con o sin unidades TB, MB, GB, B, KB
experimental.spiller-max-used-space-threshold Flotante flotador 64
experimental.spiller-spill-path Serie Cualquier serie
http-server.max-request-header-size Serie Límite {1, 1e13} ; los valores admitidos son números con o sin unidades TB, MB, GB, B, kB
http-server.max-response-header-size Serie Límite {1, 1e13} ; los valores admitidos son números con o sin unidades TB, MB, GB, B, kB
experimental.internal-communication.max-task-update-size Serie Límite{1, 1e13} ; los valores admitidos son números con o sin unidades TB, MB, GB, B, KB
offset-clause-enabled Boolean True o False

Para habilitar la caché de fragmentos, debes configurar un entorno con caché habilitada. Para configurarlo, parchea las siguientes propiedades en /opt/presto/etc/config.properties.

fragment-result-cache.enabled: true
fragment-result-cache.base-directory: file:///mnt/tmpfs/fragment
fragment-result-cache.max-cached-entries: 1000000
fragment-result-cache.cache-ttl: 24h

La ruta de montaje /mnt/tmpfs/fragment está disponible por defecto en un entorno habilitado para caché con el volumen del sistema montado en él.