Utilizzo dello script di shell QHMM

Questo argomento fornisce istruzioni sull'uso di due script di shell, qhmm_usr_export.sh e qhmm_import_sre.sh, per la gestione dei dati diagnostici in QHMM.

Prerequisiti

L'amministratore deve ottenere il QHMM Shell Script dal team di supporto IBM.

qhmm_usr_export.sh

Questo script consente agli utenti di raggruppare i file di dati diagnostici dal proprio bucket diagnostico QHMM e di condividere il file diagnostico compresso con il team di assistenza per ulteriori analisi. (Questo può essere fatto caricandoli in un Enhanced Customer Data Repository (ECuRep)). Lo script accetta argomenti da riga di comando per la configurazione o può essere eseguito con valori predefiniti.

  • -e: ENDPOINT (valore predefinito: nessuno)- L'endpoint di archiviazione.

  • -r: REGION (valore predefinito: nessuno)- La regione di archiviazione.

  • -b: BUCKET_NAME (valore predefinito: nessuno)- Il nome del bucket.

  • -a: ACCESS_KEY (default: none)- La chiave di accesso per il deposito.

  • -s: SECRET_KEY (valore predefinito: nessuno)- La chiave segreta per la memorizzazione.

  • -i: WXD_INSTANCE_ID (default: none)- L'ID dell'istanza di WXD.

  • -t: ENGINE_TYPE (valore predefinito: nessuno)- Il tipo di motore (ad esempio, Presto).

  • -d: ENGINE_ID (valore predefinito: nessuno)- L'ID del motore.

• --data-type- I dati da esportare (supporto Dump, QueryEvent, e QueryHistory ).

  • -p: DOWNLOAD_DIR (predefinito: /root/data)- La cartella di destinazione dei file scaricati.

  • -x: START_DATE (default: ultime 24 ore)- La data di inizio del filtraggio degli oggetti.

  • -y: END_DATE (predefinito: data corrente)- La data di fine del filtraggio degli oggetti.

  • -h, --base-path- Percorso base nel bucket.

Comando di esempio:

./qhmm_usr_export.sh -e <ENDPOINT> -r <REGION> -b <BUCKET_NAME> -a <ACCESS_KEY> -s <SECRET_KEY> -i <WXD_INSTANCE_ID> -t <ENGINE_TYPE> -d <ENGINE_ID> -p <DOWNLOAD_DIR> -x <START_DATE> -y <END_DATE>

qhmm_import_sre.sh

Questo script è destinato al team di assistenza per recuperare i dati diagnostici da un Enhanced Customer Data Repository (ECuRep) e caricarli in un bucket del team di assistenza per ulteriori analisi. Come il primo script, può essere configurato utilizzando gli argomenti della riga di comando o eseguito con i valori predefiniti.

  • -e: ENDPOINT (valore predefinito: nessuno)- L'endpoint di archiviazione.

  • -r: REGION (valore predefinito: nessuno)- La regione di archiviazione.

  • -b: BUCKET_NAME (valore predefinito: nessuno)- Il nome del bucket.

  • -a: ACCESS_KEY (default: none)- La chiave di accesso per il deposito.

  • -s: SECRET_KEY (valore predefinito: nessuno)- La chiave segreta per la memorizzazione.

  • -i: WXD_INSTANCE_ID (default: none)- L'ID dell'istanza di WXD.

  • -t: ENGINE_TYPE (valore predefinito: nessuno)- Il tipo di motore (ad esempio, Presto).

  • -d: ENGINE_ID (valore predefinito: nessuno)- L'ID del motore.

  • -p: COMPRESSED_FILE (predefinito: /root/data/bundle.zip)- La cartella di origine del file compresso.

Comando di esempio:

./qhmm_import_sre.sh -e <ENDPOINT> -r <REGION> -b <BUCKET_NAME> -a <ACCESS_KEY> -s <SECRET_KEY> -i <WXD_INSTANCE_ID> -t <ENGINE_TYPE> -d <ENGINE_ID> -p <COMPRESSED_FILE>

bucket_data_migration.sh

Questo script consente agli utenti di trasferire i dati QHMM dal bucket di origine al bucket di destinazione. Lo script di migrazione può essere configurato utilizzando i seguenti argomenti della riga di comando o eseguito con i valori predefiniti:

-se: --source-endpoint- Endpoint URL del deposito di origine S3-compatible (default: http://localhost:9000 )

-se: --source-endpoint- Endpoint URL del deposito di origine S3-compatible (default: http://localhost:9000 )

-sr: --source-region- Regione di conservazione della fonte S3-compatible (valore predefinito: us-east-1 )

-sb: --source-bucket- Nome del bucket di origine (obbligatorio)

-sa: --source-access-key- Chiave di accesso per l'archivio di origine (obbligatoria)

-ss: --source-secret-key- Chiave segreta per la memorizzazione della sorgente (obbligatorio)

-sbp: --source-base-path- Percorso di base nel bucket di origine (predefinito: qhmm)

-de: --dest-endpoint- Punto finale URL del deposito di destinazione S3-compatible (valore predefinito: http://localhost:9000 )

-dr: --dest-region- Regione di destinazione del deposito S3-compatible (default: us-east-1 )

-db: --dest-bucket- Nome del bucket di destinazione (obbligatorio)

-da: --dest-access-key- Chiave di accesso per il deposito di destinazione (obbligatoria)

-ds: --dest-secret-key- Chiave segreta per la memorizzazione della destinazione (obbligatorio)

-dbp: --dest-base-path- Percorso di base nel bucket di destinazione (predefinito: qhmm)

-bp: --base-path- Percorso di base nel bucket (predefinito: qhmm)

  • -i: --instance-id- ID istanza (obbligatorio)

  • -t: --engine-type- Tipo di motore (obbligatorio)

  • -d: --engine-id- ID motore (obbligatorio)

  • -x: --start-date- Data di inizio per il filtraggio degli oggetti (GG-MM-AAAA, opzionale)

  • -y: --end-date- Data di fine per il filtraggio degli oggetti (GG-MM-AAAA, opzionale)

  • --data-type- Dati da esportare (tipi supportati: Dump, QueryEvent, QueryHistory, opzionale)

  • --max-size- Dimensione massima del download in MB (valore predefinito: 500MB )

  • --help- Visualizza questa guida ed esce

Comando di esempio:

./bucket_data_migration.sh \
    --source-endpoint <source-endpoint> \
    --source-bucket <source-bucket> \
    --source-access-key <source-access-key> \
    --source-secret-key <source-secret-key> \
    --source-base-path <source-base-path> \
    --dest-endpoint <dest-endpoint> \
    --dest-bucket <dest-bucket> \
    --dest-access-key <dest-access-key> \
    --dest-secret-key <dest-secret-key> \
    --dest-base-path <dest-base-path> \
    --instance-id <instance-id> \
    --engine-type <engine-type> \
    --engine-id <engine-id> \
    --start-date <start-date> \
    --end-date <end-date> \
    --data-type <data-type> \
    --max-size <max-size>

Gestione dei dati diagnostici con metodo manuale

  1. Eseguire il comando seguente per creare una tabella per memorizzare i dati dell'evento di query generati con qhmm_import_sre.sh:
` CREATE TABLE IF NOT EXISTS <catalog>.diag.query_event_raw (
  record VARCHAR,
  dt VARCHAR
)
WITH (
  external_location = 's3a://<bucket>/qhmm/<instance-id>/<engine>/<engine-id>/QueryEvent/',
  format = 'textfile',
  partitioned_by = ARRAY['dt']
);`
  1. Eseguire il seguente comando per creare una tabella per memorizzare i dati della cronologia delle query in formato JSON:
` CREATE TABLE IF NOT EXISTS <catalog>.diag.query_history(
  query_id VARCHAR,
  query VARCHAR,
  state VARCHAR,
  source VARCHAR,
  created VARCHAR,
  started VARCHAR,
  "end" VARCHAR,
  dt VARCHAR,
  user VARCHAR)
WITH (
  external_location = 's3a://<bucket>/qhmm/<instance-id>/<engine>/<engine-id>/QueryHistory/',
  format = 'JSON',
  partitioned_by = ARRAY['dt','user']
);`