Adición de almacenamiento

En IBM® watsonx.data, los datos se almacenan en un almacenamiento interno creado durante el aprovisionamiento de instancias o en un almacenamiento gestionado externamente. Puede asociar un catálogo a un almacenamiento. Un catálogo define los esquemas y metadatos de un almacenamiento.

Cuando añada su propio bucket de almacenamiento o fuente de datos, o consulte los datos de estas fuentes de datos a través de los motores de consulta de watsonx.data, podrían aplicarse cargos de salida por extraer datos de estas fuentes en función de su proveedor de servicios. Si está utilizando servicios gestionados, consulte la documentación o el soporte del proveedor de servicios para obtener detalles sobre estos cargos.

Para reducir los problemas de latencia, se recomienda colocar los grupos de almacenamiento o bases de datos adicionales en la región donde se suministra la instancia de watsonx.data.

Para añadir un almacenamiento, siga estos pasos:

  1. Inicie la sesión en la consola de watsonx.data.
  2. En el menú de navegación, seleccione Gestor de infraestructuras.
  3. Para definir y conectar un almacenamiento, haga clic en Añadir componente.
  4. En la ventana Añadir componente, seleccione un almacenamiento de la sección Almacenamiento y proporcione los detalles para establecer la conexión.

Hadoop Distributed File System ( HDFS ) no está soportado en Milvus.

watsonx.data admite las siguientes opciones de almacenamiento de datos:

Información importante

  • El nombre de grupo de almacenamiento debe ser exclusivo y debe contener sólo los caracteres A-Z, a-z, 0-9 y hypen (-).
  • Debe utilizar una credencial de servicio con el rol Writer porque el esquema se graba en el grupo de almacenamiento. Asegúrese de que elige el punto final que coincide con el tipo de acceso que permite el grupo. Es decir, si no se permite ningún acceso público (Acceso público es No) al grupo, elija el punto final Directo.

Información adicional sobre el conector

  • Para Iceberg conector:
    • Puede eliminar datos de tablas usando DELETE FROM declaración para Iceberg conector.
    • Puede especificar la propiedad de la tabla delete_mode para tablas nuevas utilizando el modo de copia en escritura o el modo de fusión en lectura (predeterminado).
  • Para DELETE FROM declaración para Iceberg conector:
    • Las columnas filtradas solo admiten operadores de comparación, como IGUAL, MENOS QUE o MENOS QUE IGUAL.
    • Las eliminaciones solo deben ocurrir en la última instantánea.
    • Para las tablas V1, el conector Iceberg puede eliminar datos sólo en una o varias particiones completas. Todas las columnas del filtro deben ser columnas de partición con identidad transformada de la tabla de destino.
  • Para CREATE TABLE,Iceberg soportes de conector sorted_by propiedad de la tabla.
    • Cuando cree la tabla, especifique una matriz de una o más columnas involucradas.
  • Para Iceberg conector,ALTER TABLE Las operaciones en una columna admiten conversiones de tipos de datos de:
    • INT a BIGINT
    • FLOAT a DOUBLE
    • DECIMAL(num1, dec_dígitos) a DECIMAL (num2, dec_dígitos), dondenum2>num1.

Limitaciones

  • Utilice contenedores y cuentas de almacenamiento independientes para el almacenamiento ADLS Gen1 y ADLS Gen2 para una sincronización completa de metadatos, incluidas las tablas. De lo contrario, aparecerá un mensaje de ÉXITO PARCIAL en los registros de sincronización cuando SYNC finalice.

Limitaciones de las sentencias SQL

  • Para el conector Iceberg, no se admite la consulta UPDATE con subconsulta.
  • Para el conector Iceberg, no se admite la consulta UPDATE con columna en mayúsculas y minúsculas.
  • Para Iceberg,Memoria y Hive conectores,DROP SCHEMA puede hacer RESTRICT por defecto.
  • Para catálogos basados en bases de datos, el CREATE SCHEMA,CREATE TABLE,DROP SCHEMA,DROP TABLE,DELETE,DROP VIEW,ALTER TABLE, y ALTER SCHEMA Las declaraciones no están disponibles en el Administrador de datos Interfaz de usuario.

Limitaciones para tipos de datos

  • Para Iceberg conector, el número máximo de dígitos que se pueden acomodar en una columna de tipo de datos FLOAT y DOUBLE es 37. Intentar insertar algo más grande termina en un error de desbordamiento decimal.
  • Cuando los campos de tipo de datos REAL tienen 6 dígitos o más en la parte decimal y los dígitos son predominantemente cero, los valores cuando se consultan se redondean. Se observa que el redondeo se produce de forma diferente según la precisión de los valores. Por ejemplo, un número decimal1.654 cuando se redondean a 3 dígitos después del punto decimal son iguales. Otro ejemplo, es10.890009 y10.89000. Se nota que10.89000 se redondea a10.89, mientras10.89009 no está redondeado. Este es un problema inherente debido a las limitaciones de representación de los formatos binarios de punto flotante. Esto podría tener un impacto significativo cuando la consulta implica clasificación.

Para obtener más información sobre el comportamiento del indicador de característica de mayúsculas y minúsculas, sentencias SQL admitidas y matrices de tipos de datos admitidos, consulte Contenido de soporte.

API relacionada

Para obtener información sobre las API relacionadas, consulte