Unione e query dei dati da watsonx.data
Scopri come eseguire query e unire i dati da una NPSaaS e da una tabella data lake.
Prima di iniziare
Negli esempi, vengono utilizzati i dati di registrazione dellecorse dei taxi di New York disponibili pubblicamente, relativi al " {: external} dei taxi gialli nel gennaio 2021 e 2022. Per seguire questo esempio, assicurarsi che i dati siano in un bucket S3 accessibile e che la tabella sia stata caricata in watsonx.data in una tabella Apache Iceberg nel server Hive Metastore (HMS).
Eseguire una query tra database con la tabella nel database del data lake.
-
Per identificare quale anno ha avuto il maggior numero di passeggeri, eseguire:
Esempio:
LOCALDB.ADMIN(ADMIN)=> select ( select sum(PASSENGER_COUNT) from YELLOW_TAXI_JANUARY_2022_LOADED) as "passengers 2022",( select sum(PASSENGER_COUNT) from MYLAKE.TAXIDATA.YELLOW_TAXI_JANUARY_2021) as "passengers 2021";Output:
passengers 2022 | passengers 2021 -----------------+----------------- 3324167 | 1794615 (1 row) -
Per confrontare quanti passeggeri hanno viaggiato tra le 1:00 e le 18:00 nel 2021 e 2022, esegui:
Esempio:
LOCALDB.ADMIN(ADMIN)=> select(select sum(PASSENGER_COUNT) from YELLOW_TAXI_JANUARY_2022_LOADED where TPEP_PICKUP_DATETIME::time > '1:00am' and TPEP_PICKUP_DATETIME::time < '6:00am') as "overnight passengers 2022", (select sum(PASSENGER_COUNT) from MYLAKE.TAXIDATA.YELLOW_TAXI_JANUARY_2021 where TPEP_PICKUP_DATETIME::time > '1:00am' and TPEP_PICKUP_DATETIME::time < '6:00am') as "overnight passengers 2021";Output:
overnight passengers 2022 | overnight passengers 2021 ---------------------------+--------------------------- 163058 | 33469 (1 row)