Mesclando e consultando dados do watsonx.data

Saiba como consultar e mesclar dados de um NPSaaS e de uma tabela de data lake

Antes de Iniciar

Nos exemplos, são usados os dados de registro deviagem de táxi de Nova York disponíveis publicamente ' {: external} para táxis amarelos em janeiro de 2021 e 2022. Para seguir este exemplo, verifique se os dados estão em um bucket S3 acessível e se a tabela foi carregada em watsonx.data em uma tabela Apache Iceberg no servidor Hive Metastore (HMS).

Execute uma consulta de banco de dados cruzado com a tabela no banco de dados do data lake

  • Para identificar qual ano teve mais passageiros, corra:

    Exemplo:

    LOCALDB.ADMIN(ADMIN)=> select ( select sum(PASSENGER_COUNT) from YELLOW_TAXI_JANUARY_2022_LOADED) as "passengers 2022",( select sum(PASSENGER_COUNT) from MYLAKE.TAXIDATA.YELLOW_TAXI_JANUARY_2021) as "passengers 2021";
    

    Saída:

    passengers 2022 | passengers 2021
    
    -----------------+-----------------
    
            3324167 |         1794615
    
    (1 row)
    
  • Para comparar quantos passageiros viajaram entre 1:00 AM e 6:00 PM em 2021 e 2022, corra:

    Exemplo:

    LOCALDB.ADMIN(ADMIN)=> select(select sum(PASSENGER_COUNT) from YELLOW_TAXI_JANUARY_2022_LOADED where TPEP_PICKUP_DATETIME::time > '1:00am' and TPEP_PICKUP_DATETIME::time < '6:00am') as "overnight passengers 2022", (select sum(PASSENGER_COUNT) from MYLAKE.TAXIDATA.YELLOW_TAXI_JANUARY_2021 where TPEP_PICKUP_DATETIME::time > '1:00am' and TPEP_PICKUP_DATETIME::time < '6:00am') as "overnight passengers 2021";
    

    Saída:

    overnight passengers 2022 | overnight passengers 2021
    
    ---------------------------+---------------------------
    
                       163058 |                     33469
    
    (1 row)