Data Engine の非推奨

2024 年 1 月 18 日現在、 IBM Cloud® Data Engine は非推奨になっており、2024 年 2 月 18 日以降、新規インスタンスを作成したり購入したりすることはできません。 2025 年 1 月 18 日以降、このサービスは IBM Cloud® でサポートされなくなります。サポート終了日に、以下のインスタンスがあるとします。まだ実行中の Data Engine は完全に無効になり、プロビジョン解除されます。

重要なスケジュール

表 1. 非推奨の予定表
ステージ	日付	説明
非推奨の発表	2024 年 1 月 18 日	Data Engine の非推奨の発表。既存のインスタンスは引き続き実行されます。
マーケティングの終了	2024 年 2 月 18 日	Data Engine の新規インスタンスを作成したり購入したりすることはできません。既存のインスタンスは引き続き実行されます。
サポート終了	2025 年 1 月 18 日	サポートは利用できなくなりました。 Data Engine の実行中のインスタンスは永続的に無効になり、プロビジョン解除されます。

非推奨の詳細

Data Engine の非推奨について、以下の詳細を確認してください。

このサービスは 2024 年 2 月 18 日に IBM Cloud カタログから削除され、その日以降に新規インスタンスを作成することはできません。この日付より前に作成された既存のインスタンスは、2025 年 1 月 18 日まで引き続き実行されます。
この非推奨は、2025 年 1 月 18 日以降、製品の更新、バグ修正、および技術サポートを含むサポートが利用できなくなることを意味します。
残りのすべてのインスタンスは、ユーザー・データを含め、2025 年 1 月 18 日以降、完全に無効になり、削除されます。
2025 年 1 月 18 日以降、サポート Case をオープンすることはできません。
今日からマイグレーションを開始するために、同等の製品を使用できます。詳しくは、IBM® Analytics Engineへのマイグレーションを参照してください。

現行ユーザーのための次のステップ

現在のユーザーは、 Data Engine が非推奨になっても、 Data Engine の既存のインスタンスを引き続き使用できます。 2025 年 1 月 18 日にサポートが廃止されるため、ユーザーは使用を中止し、ワークロードを IBM Analytics Engineに即時にマイグレーションすることをお勧めします。 2025 年 1 月 18 日以降、実行中のすべてのインスタンス (ユーザー・データを含む) が削除されます。

この非推奨についてさらに質問がある場合は、2025 年 1 月 18 日のサポート終了日までに IBM Cloud サポートにお問い合わせください。

IBM Analytics Engine へのマイグレーション

Analytics Engine サービスが使用可能であり、代替ソリューションとして使用できます。すべての Data Engine インスタンスおよびデータをマイグレーションおよび削除する際に、 Analytics Engine サービスの使用を開始できます。 Analytics Engine について詳しくは、Analytics Engine の概要を参照してください。

Data Engine 照会形式が Analytics Engine で受け入れられないため、 Spark SQL 構文に従って SQL 形式を適宜準備する必要があります。

Spark の実行

バッチ照会スクリプトは、Cloud Object Storage バケットからデータを読み取り、照会を実行し、それを Cloud Object Storage バケットに書き戻すのに役立ちます。ストリーミング・スクリプトは、 Event Streams トピックから Cloud Object Storage バケットにリアルタイム・データをストリーミングするのに役立ちます。バッチ・ジョブおよびストリーミング・ジョブ用のサンプル Python スクリプトは、要件に基づいて更新または変更できます。

始めに:

Analytics Engine のインスタンスを作成します。
クラウド Object Storage のインスタンスと、データと必要なスクリプトをアップロードするためのバケットを作成します。

SQL バッチ照会を実行します。

Analytics Engine インスタンスで実行する Python スクリプトを見つけます。
Python スクリプトとデータ・ファイルを Cloud Object Storage バケットにアップロードします。

照会を実行する Analytics Engine API を見つけます。

UI で、 Analytics Engine の詳細に移動します。
**「サービス資格情報」**をクリックします。

application_api エンドポイントを取得します。
例えば、 https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_id>/spark_applications です。

Method: POST
Authorization: Pass bearer token

Headers: Content-type application/JSON

   ``` {: codeblock}
   "application_details": {

   "conf": {

   "spark.hadoop.fs.cos.service.endpoint": < Get the direct endpoint from cos bucket configuration Endpoints. It should be similer to --> "s3.direct.us-     south.cloud-object-storage.appdomain.cloud">,

   "spark.hadoop.fs.cos.service.iam.api.key": <Changeme_with_api_key>

     },

   "application": <chamge_me_with_cos_bucket_path_with_data_file similar to --> "cos://cos-de-test.service/de_sql_query_app.py">,

   "runtime": {

   "spark_version": <change_me_with_runtime like --> "3.3">

   ```

API 応答の構造:

 "id": "a678f50b-dfb6-45a3-b8a1-4***89ca***c",

 "state": "accepted"

GET エンドポイントを呼び出して、ジョブの状態を確認します。 API エンドポイントは、ジョブのリストを取得するために同じままになります。あるいは、最後に jobID を組み込んで、特定のジョブの状態を取得することもできます。
- Method: GET
- 許可: ベアラー・トークンを渡す
- ヘッダー: Content-type application/JSON

応答構造体の Get 呼び出し:

"applications": [

     {

         "id": "a678f50b-dfb6-45a3-b8a1-4***89ca***c",

         "state": "accepted",

         "submission_time": "2024-01-25T10:16:01.522Z",

         "runtime": {

             "spark_version": "3.3"

         }

     },

     {

         "id": "c93d4b3a-ef47-4d98-bab0-***f39****5a",

         "spark_application_id": "spark-application-1706173131046",

         "spark_application_name": "read-write-data-to-cos-bucket",

         "state": "finished",

         "start_time": "2024-01-25T08:58:52Z",

         "finish_time": "2024-01-25T08:58:52Z",

         "end_time": "2024-01-25T08:58:52Z",

         "submission_time": "2024-01-25T08:57:48.425Z",

         "auto_termination_time": "2024-01-28T08:58:52Z",

         "runtime": {

             "spark_version": "3.3"

         }

     }

 ]

SQL 照会を実行するための CURL コマンド:

アプリケーションをサブミットする例:

curl -X POST --location --header "Authorization: Bearer $token"   --header "Accept: application/json"   --header "Content-Type: application/json"   --data '{

 "application_details": {

  "conf": {

    "spark.hadoop.fs.cos.service.endpoint": "s3.direct.us-south.cloud-object-storage.appdomain.cloud",

    "spark.hadoop.fs.cos.service.iam.api.key": "changeme_with_apikey"

  },

  "application": "cos://cos-de.service/de_sql_query_app.py",

  "runtime": {

    "spark_version": "3.3"

アプリケーションを取得する例:

curl -X GET --location --header "Authorization: Bearer $token"   --header "Accept: application/json"   --header "Content-Type: application/json" "https://api.us-      south.ae.cloud.ibm.com/v3/analytics_engines/<instance_id>/spark_applications/<application_id>"

SQL ストリーミング照会を実行します。

Analytics Engine インスタンスで実行する Python スクリプトを見つけます。
Python スクリプトを Cloud Object Storage バケットにアップロードします。

照会を実行する Analytics Engine API を見つけます。

UI で、 Analytics Engine の詳細に移動します。
**「サービス資格情報」**をクリックします。
application_api エンドポイントを取得します。
例えば、 https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_id>/spark_applications です。

メソッド: POST
許可: ベアラー・トークンを渡す

ヘッダー: Content-Type application/json

       ``` {: codeblock}

       {

           "application_details": {

         "application": <chamge_me_with_cos_bucket_path_with_data_file similer to --> "cos://cos-de-test.service/streaming-query-test.py">,

         "conf": {

             "spark.cos.url": <chamge_me_with_cos_bucket_path --> "cos://cos-de-test.service">,

             "spark.hadoop.fs.cos.service.endpoint": < Get the direct endpoint from cos bucket configuration Endpoints. It should be similer to --> "s3.direct.us-south.cloud-object-storage.appdomain.cloud">,

             "spark.hadoop.fs.cos.service.iam.api.key": <Changeme_with_api_key>,

             "spark.kafka_bootstrap_servers": <chamge_me_with_beroker_server_list --> "broker-5-4j8ch21jxy0k5y6q.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-0-4j8ch21jxy0k5y6q.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-3-4j8ch21jxy0k5y6q.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-2-4j8ch21jxy0k5y6q.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-4-4j8ch21jxy0k5y6q.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-1-4j8ch21jxy0k5y6q.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093">,

             "spark.kafka_topic": <Changeme_with_topic_name>,

             "spark.trigger_time_ms": "30000"

         },

         "packages": "org.apache.spark:spark-sql-kafka-0-10_2.12:3.3.2"

           }

       }
       ```

API 応答の構造:

{

    "id": "8fad0b9d-72a4-4e5f-****-fa1f9dc***bc",

    "state": "accepted"

}

GET エンドポイントを呼び出して、ジョブの状態を確認します。 API エンドポイントは、ジョブのリストを取得するために同じままになります。あるいは、最後に jobID を組み込んで、特定のジョブの状態を取得することもできます。
- Method: GET
- 許可: ベアラー・トークンを渡す
- ヘッダー: Content-type application/json

呼び出し応答構造体の取得:

	"applications": [

		{

		    "id": "8fad0b9d-72a4-4e5f-****-fa1f9dc***bc",

		    "spark_application_id": "spark-application-******33082**",

		    "spark_application_name": "es-spark",

		    "state": "running",

		    "start_time": "2024-02-28T12:28:29Z",

		    "spark_ui": "https://spark-console.us-south.ae.cloud.ibm.com/v3/analytics_engines/e27f8478-a944-4b08-8cf4-a477883d623e/spark_applications/8fad0b9d-72a4-4e5f-****-fa1f9dc***bc/spark_ui/",

		    "submission_time": "2024-02-28T12:27:17.202Z",

		    "auto_termination_time": "2024-03-02T12:28:29Z",

		    "runtime": {

			"spark_version": "3.3"

		    }

		}

	    ]
	    ```

SQL 照会を実行するための CURL コマンド:

アプリケーションをサブミットする例:

 curl -X POST --location --header "Authorization: Bearer $token"   --header "Accept: application/json"   --header "Content-Type: application/json"   --data '{

     "application_details": {

   "application": <chamge_me_with_cos_bucket_path_with_data_file similer to --> "cos://cos-de-test.service/streaming-query-test.py">,

   "conf": {

       "spark.cos.url": <chamge_me_with_cos_bucket_path --> "cos://cos-de-test.service">,

       "spark.hadoop.fs.cos.service.endpoint": < Get the direct endpoint from cos bucket configuration Endpoints. It should be similer to --> "s3.direct.us-south.cloud-object-storage.appdomain.cloud">,

       "spark.hadoop.fs.cos.service.iam.api.key": <Changeme_with_api_key>,

       "spark.kafka_bootstrap_servers": <chamge_me_with_beroker_server_list --> "broker-5-4j8ch21jxy0k5y6q.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-0-4j8ch21jxy0k5y6q.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-3-4j8ch21jxy0k5y6q.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-2-4j8ch21jxy0k5y6q.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-4-4j8ch21jxy0k5y6q.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-1-4j8ch21jxy0k5y6q.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093">,

       "spark.kafka_topic": <Changeme_with_topic_name>,

       "spark.trigger_time_ms": "30000"

   },

   "packages": "org.apache.spark:spark-sql-kafka-0-10_2.12:3.3.2"

     }

   }'   "https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_id>/spark_applications"

アプリケーションを取得する例:

 curl -X GET --location --header "Authorization: Bearer $token"   --header "Accept: application/json"   --header "Content-Type: application/json" "https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_id>/spark_applications/<application_id>"

詳しくは、 IBM Analytics Engine API および IBM Analytics Cloud CLI を参照してください。

Data Engine のインスタンスとデータの削除

Data Engine の既存のインスタンスは、2025 年 1 月 18 日まで引き続き使用できます。準備ができたら、サービス・インスタンスと関連データの削除を開始できます。このプロセスに従うことで、サービスに保管されているすべてのインスタンスおよびユーザー情報が完全に削除されます。

2025 年 1 月 18 日より前にインスタンスとデータを手動で削除しないと、それらはこの日付に削除されます。

データ削除ポリシーについて詳しくは、データの保護を参照してください。