Informazioni sull'inserimento dei dati
L'ingestione dei dati è il processo di importazione e caricamento dei dati in IBM® watsonx.data. Dall'interfaccia utente (UI) di watsonx.data, è possibile utilizzare il modulo Ingest data dalla pagina Data manager per caricare i dati in modo sicuro e semplice. In alternativa, è possibile inserire file di dati locali o remoti per creare tabelle utilizzando l'opzione Crea tabella da file.
Quando immetti un file di dati in watsonx.data, lo schema della tabella viene generato e dedotto quando viene eseguita una query. I file da ingerire devono essere dello stesso tipo di formato e dello stesso schema. watsonx.data scopre automaticamente lo schema in base al file sorgente da ingerire.
Di seguito sono riportati alcuni dei requisiti o comportamenti dell'ingestione dei dati:
- L'evoluzione dello schema non è supportata.
- La tabella di destinazione deve essere una tabella in formato iceberg.
- Sono supportati IBM Storage Ceph, IBM Cloud Object Storage (COS), AWS S3 e MinIO object storage.
- La proprietà
pathStyleAccessper l'archiviazione oggetti non è supportata. - come file di dati di origine sono supportati i formati.txt,.csv, Parquet, JSON, ORC e Avro.
- Il limite massimo per la dimensione cumulativa dei file deve essere entro 500 MB per l'ingestione locale.
- I file Parquet, JSON, ORC e Avro. superiori a 2 MB non possono essere visualizzati in anteprima, ma verranno comunque ingeriti con successo.
- I file JSON con oggetti e array complessi annidati non devono essere visualizzati in anteprima nell'interfaccia utente.
- I file JSON complessi vengono ingeriti così come sono, risultando in array come voci di tabella. Questo non è consigliato per una visualizzazione e un'analisi ottimale dei dati.
- Le chiavi all'interno dei file JSON devono essere racchiuse tra virgolette per una corretta analisi e interpretazione.
Caricamento o inserimento di dati tramite CLI
Un lavoro di inserimento in watsonx.data può essere eseguito con lo strumento ibm - lh. Lo strumento deve essere estratto da ibm-lh-client e installato nel sistema locale per eseguire il lavoro di inserimento tramite
la CLI. Per ulteriori dettagli e istruzioni per installare il pacchetto ibm-lh-client e utilizzare lo strumento ibm-lh per l'inserimento, vedi Installazione di ibm - lh - client e Configurazione del programma di utilità della riga di comando ibm - lh.
ibm-lh-client nel pacchetto IBM Client è ora deprecato e sarà rimosso in una versione futura. Lo strumento ibm-lh è sostituito da ./cpdctl wx-data ingestion supportato dalla CLI CPDCTL IBM. Per ulteriori
informazioni su come utilizzare IBM CPDCTL CLI, vedere IBM cpdctl.
Lo strumento ibm-lh e il comando ./cpdctl wx-data ingestion supportano le seguenti funzioni:
-
Rilevamento automatico dello schema basato sul file di origine o sulla tabella di destinazione.
-
Opzioni di configurazione tabella avanzate per i file CSV:
- Delimitatore
- Intestazione
- Codifica file
- Delimitatore di riga
- Caratteri escape
-
Ingestione di un singolo file, di più file o di una singola cartella (senza sottocartelle) di file S3 e Parquet locali.
-
Ingestione di un singolo file, di più file o di una singola cartella (senza sottocartelle) di file S3 e CSV locali.