Aggiunta di archiviazione

In IBM® watsonx.data, i dati sono memorizzati in uno storage interno creato durante il provisioning dell'istanza o in uno storage gestito esternamente. È possibile associare un catalogo a un deposito. Un catalogo definisce gli schemi e i metadati di uno storage.

Quando si aggiunge un proprio bucket di archiviazione o una propria fonte di dati, o si interrogano i dati in queste fonti attraverso i motori di interrogazione di watsonx.data, potrebbero essere applicati dei costi di uscita per l'estrazione dei dati da queste fonti, a seconda del fornitore di servizi. Se si stanno utilizzando i servizi gestiti, consultare la documentazione o il supporto del provider di servizi per i dettagli su questi addebiti.

Per ridurre i problemi di latenza, ti consigliamo di posizionare i tuoi database o bucket di archiviazione aggiuntivi nella regione in cui è stato eseguito il provisioning dell'istanza watsonx.data.

Per aggiungere un deposito, completare i seguenti passaggi:

  1. Accedi alla console watsonx.data.
  2. Dal menu di navigazione, seleziona Gestore infrastruttura.
  3. Per definire e collegare un deposito, fare clic su Aggiungi componente.
  4. Nella finestra Aggiungi componente, selezionare uno storage dalla sezione Storage e fornire i dettagli per stabilire la connessione.

Hadoop Distributed File System ( HDFS ) non è supportato in Milvus.

watsonx.data supporta le seguenti opzioni di archiviazione dei dati:

Informazioni importanti

  • Il nome del bucket di memoria deve essere univoco e deve contenere solo i caratteri A-Z, a - z, 0-9 e trattino (-).
  • Devi utilizzare una credenziale del servizio con il ruolo Writer perché lo schema viene scritto nel bucket di archiviazione. Assicurati di scegliere l'endpoint che corrisponde al tipo di accesso consentito dal bucket. Ovvero, se non è consentito alcun accesso pubblico (Accesso pubblico è No) al bucket, scegli l'endpoint Direct.

Informazioni aggiuntive sul connettore

  • Per Iceberg connettore:
    • È possibile eliminare i dati dalle tabelle utilizzando DELETE FROM dichiarazione per Iceberg connettore.
    • È possibile specificare la proprietà della tabella delete_mode per le nuove tabelle utilizzando la modalità copia su scrittura o la modalità unione su lettura (impostazione predefinita).
  • Per DELETE FROM dichiarazione per Iceberg connettore:
    • Le colonne filtrate supportano solo gli operatori di confronto, ad esempio UGUALE, MENO DI o MENO DI UGUALE.
    • Le eliminazioni devono avvenire solo sullo snapshot più recente.
    • Per le tabelle V1, il connettore Iceberg può eliminare i dati solo in una o più partizioni intere. Le colonne nel filtro devono essere tutte colonne di partizione con identità trasformata della tabella di destinazione.
  • Per CREATE TABLE,Iceberg supporti del connettore sorted_by proprietà della tabella.
    • Quando crei la tabella, specifica una matrice di una o più colonne coinvolte.
  • Per Iceberg connettore,ALTER TABLE le operazioni su una colonna supportano le conversioni del tipo di dati da:
    • Da INT a BIGINT
    • Da FLOAT a DOUBLE
    • DECIMAL(num1, dec_cifre) a DECIMAL (num2, dec_cifre), dovenum2>num1.

Limitazioni

  • Utilizzare contenitori e account di archiviazione separati per l'archiviazione ADLS Gen1 e ADLS Gen2 per una sincronizzazione completa dei metadati, comprese le tabelle. Altrimenti, nei registri di sincronizzazione viene visualizzato un messaggio di SUCCESSO PARZIALE al termine della sincronizzazione.

Limitazioni per le istruzioni SQL

  • Per il connettore Iceberg, la query UPDATE con sub-query non è supportata.
  • Per il connettore Iceberg, la query UPDATE con colonna in lettere miste non è supportata.
  • Per Iceberg,Memoria E Hive connettori,DROP SCHEMA può fare RESTRICT per impostazione predefinita.
  • Per i cataloghi basati su database il file CREATE SCHEMA,CREATE TABLE,DROP SCHEMA,DROP TABLE,DELETE,DROP VIEW,ALTER TABLE, E ALTER SCHEMA le dichiarazioni non sono disponibili in Gestore dati interfaccia utente.

Limitazioni per i tipi di dati

  • Per Iceberg connettore, il numero massimo di cifre che possono essere contenute in una colonna di tipo dati FLOAT e DOUBLE è 37. Il tentativo di inserire qualcosa di più grande finisce in un errore di overflow decimale.
  • Quando i campi di tipo dati REAL hanno 6 o più cifre nella parte decimale con predominanza di zero, i valori quando interrogati vengono arrotondati. Si osserva che l'arrotondamento avviene diversamente a seconda della precisione dei valori. Ad esempio, un numero decimale1.654 quando arrotondati a 3 cifre dopo il punto decimale sono uguali. Un altro esempio è10.890009 E10.89000. Lo si nota10.89000 è arrotondato a10.89, mentre10.89009 non è arrotondato. Questo è un problema intrinseco a causa delle limitazioni rappresentative dei formati binari in virgola mobile. Ciò potrebbe avere un impatto significativo quando l'esecuzione di query implica l'ordinamento.

Per ulteriori informazioni sul comportamento dei flag di funzionalità misti, sulle istruzioni SQL supportate e sulle matrici dei tipi di dati supportati, vedere Supporta i contenuti.

API correlate

Per informazioni sulle API correlate, vedere