Spark SQL と外部メタストアの操作 

Spark SQL は、 Hive メタストアを使用して、ユーザーのアプリケーション表、列、パーティション情報のメタデータを管理します。

デフォルトでは、このメタストアを強化するデータベースは、Spark クラスターに付属する組み込み Derby インスタンスです。  IBM Cloud Databases for PostgreSQL または IBM Cloud Data Engine (以前の SQL Query) インスタンスのように、このメタストア・データベースを外部データ・ストアに外部化することを選択できます。

メタデータを Spark クラスターの外部に配置すると、 IBM Analytics Engine インスタンス全体でさまざまなアプリケーションの表を参照できるようになります。 これは、 IBM Cloud Object Storageへのデータの保管と組み合わせて、データとメタデータの永続化を支援し、さまざまな Spark ワークロードにわたってこのデータをシームレスに処理できるようにします。