使用 IBM cpdctl 维护 Spark 表
适用于:火花机
您可以借助 IBM Cloud Pak for Data 命令行界面( IBM cpdctl)提交 Spark 应用程序,执行冰山表维护操作。 IBM cpdctl 中的 tablemaint 实用程序允许你提交、列出和获取 Spark 应用程序的详细信息。
准备工作
- watsonx.data 配置了本地 Spark 引擎的实例。
- 下载并安装 IBM cpdctl。 有关信息,请参阅 安装 IBM cpdctl。
- 在 IBM cpdctl 中配置 watsonx.data 环境。 有关信息,请参阅 配置 IBM cpdctl。
表格维护
您可以使用 tablemaint 实用程序中的可用资源执行以下表格维护活动。
-
快照管理
- rollback_too_snapshot - 将表回滚至特定快照 ID。
- rollback_to_timestamp - 将表回滚到特定日期和时间的快照。
- set_current_snapshot - 设置表的当前快照 ID。
- cherrypick_snapshot - 将快照中的更改筛选到当前表状态中。
-
元数据管理
- expire_snapshots - 删除不再需要的旧快照及其文件。
- remove_orphan_files - 用于删除冰山表的元数据文件中没有引用的文件。
- rewrite_data_files - 将小文件合并为大文件,以减少元数据开销和运行时文件打开成本。
- rewrite_manifests - 重写表的清单,以优化扫描规划。
-
表格迁移
- register_table - 为存在但没有相应目录标识符的 metadata.json 文件创建目录条目。
有关信息,请参阅 如何使用 wx-data 命令 --help (-h) 部分。