前提条件

以下のインスタンスを用意してください：

• IBM® watsonx.data インスタンス。
• IBM Analytics Engine インスタンス。

IBM® watsonx.data: から以下の情報を取り出します。

• データシートの URLは watsonx.dataから。データシートの資格情報の取得に関する詳細は、 メタデータサービス（MDS）の資格情報の取得を参照してください。
• watsonx.dataのデータシート資格情報。 データシートの資格情報の取得に関する詳細は、 メタデータサービス（MDS）の資格情報の取得を参照してください。

IBM Cloud® コンソールを使用した Analytics Engine インスタンスの構成

IBM Cloud® リソース・リストから Analytics Engine インスタンスを構成するには、以下の手順を実行します。

1. IBM Cloud® アカウントにログインします。

2. IBM Cloud®リソース・リストにアクセスします。

3. Analytics Engine インスタンスを検索し、そのインスタンスをクリックして詳細を表示します。

4. 「管理」>「構成」 をクリックして、構成を表示します。

5. 「デフォルト Spark 構成 (Default Spark configuration)」 セクションで、 「編集」 をクリックします。

6. 以下の構成を 「デフォルト Spark 構成 (Default Spark configuration)」 セクションに追加します。

   spark.sql.catalogImplementation = hive
   spark.sql.extensions = org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions
   spark.sql.iceberg.vectorization.enabled = false
   spark.sql.catalog.lakehouse = org.apache.iceberg.spark.SparkCatalog
   spark.sql.catalog.lakehouse.type = hive
   spark.sql.catalog.lakehouse.uri = <mds-thrift-endpoint-from-watsonx.data> for example (thrift://81823aaf-8a88-4bee-a0a1-6e76a42dc833.cfjag3sf0s5o87astjo0.databases.appdomain.cloud:32683)
   spark.hive.metastore.client.auth.mode = PLAIN
   spark.hive.metastore.client.plain.username = <mds-user-from-watsonx.data> (for example, ibmlhapikey)
   spark.hive.metastore.client.plain.password = <mds-password-from-watsonx.data>
   spark.hive.metastore.use.SSL = true
   spark.hive.metastore.truststore.type = JKS
   spark.hive.metastore.truststore.path = file:///opt/ibm/jdk/lib/security/cacerts
   spark.hive.metastore.truststore.password = changeit
   

パラメーター値:

• mds-thrift-endpoint-from-watsonx.Data: watsonx.data の認証情報を指定します。

• mds-user-from-watsonx.Data: watsonx.dataのユーザー名。

• mds-password-from-watsonx.Data: watsonx.dataのパスワード。

  watsonx.data バージョン 2.2.0 以降、 ibmlhapikey と ibmlhtoken をユーザー名として使用する認証は非推奨です。 これらのフォーマットは、将来のリリースで段階的に廃止される予定です。 今後のバージョンとの互換性を確保するため、新しいフォーマット ibmlhapikey_username および ibmlhtoken_username を使用してください。

Analytics Engine API を使用した Analytics Engine インスタンスの構成

Analytics Engine API から IBM Analytics Engine インスタンスを構成するには、以下の手順を実行します。

1. IBM Analytics Engine API に接続するための IAM トークンを生成します。 IAM トークンの生成方法について詳しくは、 IAM トークン を参照してください。

2. 以下の API コマンドを実行して、生成された IAM トークンを使用して Analytics Engine API を呼び出します。

curl -X PATCH --location --header "Authorization: Bearer {IAM_TOKEN}" --header "Accept: application/json" --header "Content-Type: application/merge-patch+json" --data '{
<CONFIGURATION_DETAILS>
}' "{BASE_URL}/v3/analytics_engines/{INSTANCE_ID/default_configs"

パラメーター値:

• IAM_TOKEN: Analytics Engine API 用に生成された API トークンを指定します。

• configuration_details：以下のコマンドをコピー＆ペーストする：

  {
  "spark.sql.catalogImplementation": "hive",
  "spark.sql.extensions": "org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions",
  "spark.sql.iceberg.vectorization.enabled": "false",
  "spark.sql.catalog.lakehouse": "org.apache.iceberg.spark.SparkCatalog",
  "spark.sql.catalog.lakehouse.type": "hive",
  "spark.sql.catalog.lakehouse.uri": "<mds-thrift-endpoint-from-watsonx.data> for example (thrift://81823aaf-8a88-4bee-a0a1-6e76a42dc833.cfjag3sf0s5o87astjo0.databases.appdomain.cloud:32683) ",
  "spark.hive.metastore.client.auth.mode": "PLAIN",
  "spark.hive.metastore.client.plain.username": "<mds-user-from-watsonx.data> (for example, ibmlhapikey)",
  "spark.hive.metastore.client.plain.password": "<mds-password-from-watsonx.data>",
  "spark.hive.metastore.use.SSL": "true",
  "spark.hive.metastore.truststore.type": "JKS",
  "spark.hive.metastore.truststore.path": "file:///opt/ibm/jdk/lib/security/cacerts",
  "spark.hive.metastore.truststore.password": "changeit"
  }
  

• BASE_URL：インスタンスをプロビジョニングしたリージョンの Analytics Engine URL 。 例えば、 api.region.ae.ibmcloud.com。

• INSTANCE_ID: Analytics Engine インスタンス ID。 インスタンス ID を取得する方法について詳しくは、 サービス・エンドポイントの取得 を参照してください。

• mds-thrift-endpoint-from-watsonx.data: watsonx.dataの認証情報を指定します。

• mds-user-from-watsonx.data: watsonx.dataのユーザー名。

• mds-password-from-watsonx.data: watsonx.data パスワード。

  watsonx.data バージョン 2.2.0 以降、 ibmlhapikey と ibmlhtoken をユーザー名として使用する認証は非推奨です。 これらのフォーマットは、将来のリリースで段階的に廃止される予定です。 今後のバージョンとの互換性を確保するため、新しいフォーマット ibmlhapikey_username および ibmlhtoken_username を使用してください。

Analytics Engine CLI を使用した Analytics Engine インスタンスの構成

CLI から IBM Analytics Engine インスタンスの構成設定を指定するには、以下の手順を実行します。

以下のコマンドを実行する：

ibmcloud analytics-engine-v3 instance default-configs-update [--id INSTANCE_ID] --body BODY

パラメーター値:

• BODY: 以下の構成情報をコピーして貼り付けます。

  {
  "spark.sql.catalogImplementation": "hive",
  "spark.sql.extensions": "org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions",
  "spark.sql.iceberg.vectorization.enabled": "false",
  "spark.sql.catalog.lakehouse": "org.apache.iceberg.spark.SparkCatalog",
  "spark.sql.catalog.lakehouse.type": "hive",
  "spark.sql.catalog.lakehouse.uri": "<mds-thrift-endpoint-from-watsonx.data> for example (thrift://81823aaf-8a88-4bee-a0a1-6e76a42dc833.cfjag3sf0s5o87astjo0.databases.appdomain.cloud:32683) ",
  "spark.hive.metastore.client.auth.mode": "PLAIN",
  "spark.hive.metastore.client.plain.username": "<mds-user-from-watsonx.data> (for example, ibmlhapikey)",
  "spark.hive.metastore.client.plain.password": "<mds-password-from-watsonx.data>",
  "spark.hive.metastore.use.SSL": "true",
  "spark.hive.metastore.truststore.type": "JKS",
  "spark.hive.metastore.truststore.path": "file:///opt/ibm/jdk/lib/security/cacerts",
  "spark.hive.metastore.truststore.password": "changeit"
  }
  

• INSTANCE_ID: Analytics Engine インスタンス ID。 インスタンス ID の取得方法について詳しくは、 サービス・エンドポイントの取得 を参照してください。

• mds-thrift-endpoint-from-watsonx.data: watsonx.dataの認証情報を指定します。 データシートの資格情報の取得に関する詳細は、 メタデータサービス（MDS）の資格情報の取得を参照してください。

• mds-user-from-watsonx.data: watsonx.dataのユーザー名。 データシートの資格情報の取得に関する詳細は、 メタデータサービス（MDS）の資格情報の取得を参照してください。

• mds-password-from-watsonx.data: watsonx.data パスワード。 データシートの資格情報の取得に関する詳細は、 メタデータサービス（MDS）の資格情報の取得を参照してください。

  watsonx.data バージョン 2.2.0 以降、 ibmlhapikey と ibmlhtoken をユーザー名として使用する認証は非推奨です。 これらのフォーマットは、将来のリリースで段階的に廃止される予定です。 今後のバージョンとの互換性を確保するため、新しいフォーマット ibmlhapikey_username および ibmlhtoken_username を使用してください。

IBM Analytics Engine で実行された Spark アプリケーションのログを表示するには、ロギングを有効にする必要があります。 詳しくは、 ログの構成および表示を参照してください。