Propriedades de configuração paraPresto (Java )- nós coordenadores e trabalhadores

Você pode personalizar as propriedades de configuração do coordenador e do trabalhador por meio de uma API paraPresto (Java ).

Propriedades de configuração do Presto (Java)- nós coordenador e de trabalho
Nome da propriedade Tipo Validação adicionada
experimental.optimized-repartitioning Booleano true ou false
experimental.reserved-pool-enabled Booleano true ou false
fragment-result-cache.enabled Booleano true ou false
fragment-result-cache.max-cached-entries Integer 1000000
fragment-result-cache.base-directory Sequência file:///mnt/tmpfs/fragment
fragment-result-cache.cache-ttl Sequência 24h
heap_dump_on_exceeded_memory_limit.enabled Booleano true ou false
heap_dump_on_exceeded_memory_limit.file_directory Sequência Qualquer cadeia
heap_dump_on_exceeded_memory_limit.max.number Integer Limite{1, 1000}
heap_dump_on_exceeded_memory_limit.max.size Integer Limite{1, 1000}
memory.heap-headroom-per-node Sequência Limite{1, 1e9} ; os valores suportados são números com ou sem unidades TB, MB, GB, B, KB
node-scheduler.include-coordinator Booleano true ou false
query.execution-policy Sequência Qualquer cadeia
query.low-memory-killer.policy Sequência Qualquer cadeia
query.max-memory Sequência Limite{1, 1e13} ; os valores suportados são números com ou sem unidades TB, MB, GB, B, KB
query.max-memory-per-node Sequência Limite{1, 1e13} ; os valores suportados são números com ou sem unidades TB, MB, GB, B, KB
query.max-stage-count Integer Limite{1, 1000}
query.max-total-memory-per-node Sequência Limite{1, 1e13} ; os valores suportados são números com ou sem unidades TB, MB, GB, B, KB
query.min-expire-age Sequência Limite{1, 1e13} ; os valores suportados são números com ou sem unidades m, s, ms, h
query.stage-count-warning-threshold Integer Limite{1, 1000}
task.concurrency Integer Limite{1, 1000}
task.max-drivers-per-task Integer Limite{1, 100}
join-distribution-type Sequência O valor deve ser automático ou transmitido ou particionado
exchange.client-threads Integer Limite{1, 1000}
exchange.http-client.max-connections Integer Limite{1, 10000}
exchange.http-client.max-connections-per-server Integer Limite{1, 100000}
http-server.log.max-size Sequência Limite{1, 1e13} ; os valores suportados são números com ou sem unidades TB, MB, GB, B, KB
http-server.log.max-history Integer Limite{1, 100}
http-server.threads.max Integer Limite{1, 1000}
join-max-broadcast-table-size Sequência Limite{1, 1e13} ; os valores suportados são números com ou sem unidades TB, MB, GB, B, KB
log.max-history Integer Limite{1, 100}
log.max-size Sequência Limite{1, 1e13} ; os valores suportados são números com ou sem unidades TB, MB, GB, B, KB
node-scheduler.max-pending-splits-per-task Integer Limite{1, 3000}
node-scheduler.max-splits-per-node Integer Limite{1, 3000}
optimize-nulls-in-join Booleano true ou false
optimizer.default-filter-factor-enabled Booleano true ou false
optimizer.exploit-constraints Booleano true ou false
optimizer.prefer-partial-aggregation Booleano true ou false
query.client.timeout Sequência Limite{1, 1e13} ; os valores suportados são números com ou sem unidades m, s, ms, h
query.max-execution-time Sequência Limite{1, 1e13} ; os valores suportados são números com ou sem unidades m, s, ms, h
query.max-history Integer Limite{1, 100}
query.max-total-memory Sequência Limite{1, 1e13} ; os valores suportados são números com ou sem unidades TB, MB, GB
query.min-schedule-split-batch-size Sequência Limite{1, 1e13} ; os valores suportados são números com ou sem unidades TB, MB, GB, B, KB
query.max-length Integer Limite{1, 1000000}
scale-writers Booleano true ou false
shutdown.grace-period Sequência Limite{1, 1e13} ; os valores suportados são números com ou sem unidades m, s, ms, h
sink.max-buffer-size Sequência Limite{1, 1e13} ; os valores suportados são números com ou sem unidades TB, MB, GB, B, KB
experimental.max-revocable-memory-per-node Sequência Limite{1, 1e13} ; os valores suportados são números com ou sem unidades TB, MB, GB, B, KB
experimental.max-spill-per-node Sequência Limite{1, 1e13} ; os valores suportados são números com ou sem unidades TB, MB, GB, B, KB
experimental.pushdown-dereference-enabled Booleano true ou false
experimental.pushdown-subfields-enabled Booleano true ou false
experimental.query-max-spill-per-node Sequência Limite{1, 1e13} ; os valores suportados são números com ou sem unidades TB, MB, GB, B, KB
experimental.spiller-max-used-space-threshold Valor flutuante Flutuador 64
experimental.spiller-spill-path Sequência Qualquer cadeia
http-server.max-request-header-size Sequência Limite {1, 1e13} ; os valores suportados são números com ou sem unidades TB, MB, GB, B, kB
http-server.max-response-header-size Sequência Limite {1, 1e13} ; os valores suportados são números com ou sem unidades TB, MB, GB, B, kB
experimental.internal-communication.max-task-update-size Sequência Limite{1, 1e13} ; os valores suportados são números com ou sem unidades TB, MB, GB, B, KB
offset-clause-enabled Booleano true ou false

Para ativar o cache de fragmentos, você deve configurar um ambiente habilitado para cache. Para configurar, coloque as seguintes propriedades em /opt/presto/etc/config.properties.

fragment-result-cache.enabled: true
fragment-result-cache.base-directory: file:///mnt/tmpfs/fragment
fragment-result-cache.max-cached-entries: 1000000
fragment-result-cache.cache-ttl: 24h

O caminho de montagem /mnt/tmpfs/fragment está disponível por padrão em um ambiente habilitado para cache com o volume do sistema montado nele.