使用 IBM cpdctl 维护 Spark 表

适用于火花机

您可以借助 IBM Cloud Pak for Data 命令行界面( IBM cpdctl)提交 Spark 应用程序,执行冰山表维护操作。 IBM cpdctl 中的 tablemaint 实用程序允许你提交、列出和获取 Spark 应用程序的详细信息。

准备工作

  • watsonx.data 配置了本地 Spark 引擎的实例。
  • 下载并安装 IBM cpdctl。 有关信息,请参阅 安装 IBM cpdctl
  • 在 IBM cpdctl 中配置 watsonx.data 环境。 有关信息,请参阅 配置 IBM cpdctl

表格维护

您可以使用 tablemaint 实用程序中的可用资源执行以下表格维护活动。

  • 快照管理

    • rollback_too_snapshot - 将表回滚至特定快照 ID。
    • rollback_to_timestamp - 将表回滚到特定日期和时间的快照。
    • set_current_snapshot - 设置表的当前快照 ID。
    • cherrypick_snapshot - 将快照中的更改筛选到当前表状态中。
  • 元数据管理

    • expire_snapshots - 删除不再需要的旧快照及其文件。
    • remove_orphan_files - 用于删除冰山表的元数据文件中没有引用的文件。
    • rewrite_data_files - 将小文件合并为大文件,以减少元数据开销和运行时文件打开成本。
    • rewrite_manifests - 重写表的清单,以优化扫描规划。
  • 表格迁移

    • register_table - 为存在但没有相应目录标识符的 metadata.json 文件创建目录条目。

有关信息,请参阅 如何使用 wx-data 命令 --help (-h) 部分。