关于数据采集

数据导入是将数据导入并加载到 IBM® watsonx.data 的过程。 从 watsonx.data 的用户界面 (UI)，您可以使用 数据管理员 页面中的 接收数据 模块来安全、轻松地加载数据。 此外，您还可以使用 Create table from file 选项，输入本地或远程数据文件以创建表格。

将数据文件采集到 watsonx.data时，将在运行查询时生成并推断表模式。 要摄取的文件必须具有相同的格式类型和模式。watsonx.data会根据要摄取的源文件自动发现模式。

以下是数据摄取的一些要求或行为：

• 不支持模式演进。
• 目标表必须是冰山格式表。
• 支持 IBM Storage Ceph、IBM Cloud Object Storage (COS)、AWS S3 和 MinIO 对象存储。
• 不支持对象存储器的 pathStyleAccess 属性。
• 支持 Parquet、CSV、JSON、ORC 和 AVRO 文件格式作为源数据文件。
• 本地摄取文件的累计大小最大限制必须在 500 MB 以内。
• 无法预览超过 2 MB 的 Parquet、JSON、AVRO 和 ORC 文件，但仍可成功摄取。
• 用户界面不应预览具有复杂嵌套对象和数组的 JSON 文件。
• 复杂的 JSON 文件应按原样摄取，以数组作为表项。 为了优化数据可视化和分析，不建议使用这种方法。
• JSON 文件中的键必须用引号括起来，以便正确解析和解释。