Informazioni sull'inserimento dei dati

L'ingestione dei dati è il processo di importazione e caricamento dei dati in IBM® watsonx.data. Dall'interfaccia utente (UI) di watsonx.data, è possibile utilizzare il modulo Ingest data dalla pagina Data manager per caricare i dati in modo sicuro e semplice. In alternativa, è possibile inserire file di dati locali o remoti per creare tabelle utilizzando l'opzione Crea tabella da file.

Quando immetti un file di dati in watsonx.data, lo schema della tabella viene generato e dedotto quando viene eseguita una query. I file da ingerire devono essere dello stesso tipo di formato e dello stesso schema. watsonx.data scopre automaticamente lo schema in base al file sorgente da ingerire.

Di seguito sono riportati alcuni dei requisiti o comportamenti dell'ingestione dei dati:

  • L'evoluzione dello schema non è supportata.
  • La tabella di destinazione deve essere una tabella in formato iceberg.
  • Sono supportati IBM Storage Ceph, IBM Cloud Object Storage (COS), AWS S3 e MinIO object storage.
  • La proprietà pathStyleAccess per l'archiviazione oggetti non è supportata.
  • come file di dati di origine sono supportati i formati.txt,.csv, Parquet, JSON, ORC e Avro.
  • Il limite massimo per la dimensione cumulativa dei file deve essere entro 500 MB per l'ingestione locale.
  • I file Parquet, JSON, ORC e Avro. superiori a 2 MB non possono essere visualizzati in anteprima, ma verranno comunque ingeriti con successo.
  • I file JSON con oggetti e array complessi annidati non devono essere visualizzati in anteprima nell'interfaccia utente.
  • I file JSON complessi vengono ingeriti così come sono, risultando in array come voci di tabella. Questo non è consigliato per una visualizzazione e un'analisi ottimale dei dati.
  • Le chiavi all'interno dei file JSON devono essere racchiuse tra virgolette per una corretta analisi e interpretazione.

Caricamento o inserimento di dati tramite CLI

Un lavoro di inserimento in watsonx.data può essere eseguito con lo strumento ibm - lh. Lo strumento deve essere estratto da ibm-lh-client e installato nel sistema locale per eseguire il lavoro di inserimento tramite la CLI. Per ulteriori dettagli e istruzioni per installare il pacchetto ibm-lh-client e utilizzare lo strumento ibm-lh per l'inserimento, vedi Installazione di ibm - lh - client e Configurazione del programma di utilità della riga di comando ibm - lh.

ibm-lh-client nel pacchetto IBM Client è ora deprecato e sarà rimosso in una versione futura. Lo strumento ibm-lh è sostituito da ./cpdctl wx-data ingestion supportato dalla CLI CPDCTL IBM. Per ulteriori informazioni su come utilizzare IBM CPDCTL CLI, vedere IBM cpdctl.

Lo strumento ibm-lh e il comando ./cpdctl wx-data ingestion supportano le seguenti funzioni:

  • Rilevamento automatico dello schema basato sul file di origine o sulla tabella di destinazione.

  • Opzioni di configurazione tabella avanzate per i file CSV:

    • Delimitatore
    • Intestazione
    • Codifica file
    • Delimitatore di riga
    • Caratteri escape
  • Ingestione di un singolo file, di più file o di una singola cartella (senza sottocartelle) di file S3 e Parquet locali.

  • Ingestione di un singolo file, di più file o di una singola cartella (senza sottocartelle) di file S3 e CSV locali.