watsonx.data のデータのマージと照会

NPSaaS とデータレイク表からデータを照会してマージする方法について説明します。

開始前に

例では、2021年1月と2022年1月のイエロー・タクシーに関する、一般に入手可能な ニューヨークのタクシー走行記録データ「{: external}」が使用されている。 この例に従うには、データがアクセス可能なS3バケットにあり、テーブルがwatsonx.dataにロードされ、Hiveメタストア・サーバー(HMS)のApacheIcebergテーブルにロードされていることを確認します。

データレイク・データベース内の表を使用してクロスデータベース照会を実行します。

  • 乗客が最も多かった年を特定するには、以下を実行します。

    例:

    LOCALDB.ADMIN(ADMIN)=> select ( select sum(PASSENGER_COUNT) from YELLOW_TAXI_JANUARY_2022_LOADED) as "passengers 2022",( select sum(PASSENGER_COUNT) from MYLAKE.TAXIDATA.YELLOW_TAXI_JANUARY_2021) as "passengers 2021";
    

    出力:

    passengers 2022 | passengers 2021
    
    -----------------+-----------------
    
            3324167 |         1794615
    
    (1 row)
    
  • 2021 年と 2022 年の午前 1 時から午後 6 時の間に移動した乗客の数を比較するには、以下を実行します。

    例:

    LOCALDB.ADMIN(ADMIN)=> select(select sum(PASSENGER_COUNT) from YELLOW_TAXI_JANUARY_2022_LOADED where TPEP_PICKUP_DATETIME::time > '1:00am' and TPEP_PICKUP_DATETIME::time < '6:00am') as "overnight passengers 2022", (select sum(PASSENGER_COUNT) from MYLAKE.TAXIDATA.YELLOW_TAXI_JANUARY_2021 where TPEP_PICKUP_DATETIME::time > '1:00am' and TPEP_PICKUP_DATETIME::time < '6:00am') as "overnight passengers 2021";
    

    出力:

    overnight passengers 2022 | overnight passengers 2021
    
    ---------------------------+---------------------------
    
                       163058 |                     33469
    
    (1 row)