IBM Cloud Data Engine インスタンスの作成

標準プランを使用して IBM Cloud Data Engine インスタンスを作成します。  Data Engine を参照してください。

Data Engine インスタンスをプロビジョンした後、以下を実行します。

1. インスタンスの CRN を書き留めます。
2. インスタンスへのアクセス権限を持つアカウント・レベルの API キーまたはサービス ID レベルの API キーを作成します。
3. このサービス ID には、 Data Engine インスタンスと IBM Cloud Object Storage バケットの両方に対するアクセス権限を付与する必要があります。

その後、必要に応じて、インスタンス・レベルまたはアプリケーション・レベルでデフォルトのメタストア構成を使用するように IBM Analytics Engine インスタンスを構成できます。

IBM Cloud Data Engine は、さまざまなエンドポイント (ロケーション) のインスタンスの作成をサポートします。 1 つのインスタンス内に、データを保管するためのさまざまな IBM Cloud Object Storage バケットが作成されます。 データ・バケットは、さまざまなエンドポイント (リージョン) に対して作成できます。 データ・エンジン・インスタンス (Thrift) とデータ・バケットのエンドポイントが異なります。 システムでサポートされている正しいエンドポイントを選択していることを確認してください。
• インスタンスの作成時にリージョンに適用できるエンドポイント (Thrift) について詳しくは、 Thrift エンドポイント を参照してください。
• 現在サポートされているデータ・エンジン・エンドポイントについて詳しくは、 データ・エンジン・エンドポイント を参照してください。

Cloud Object Storage

データを生成してクラウド・オブジェクト・ストレージに保管します。 以下の通常の PySpark アプリケーション (この例では generate-and-store-data.py という名前) を実行します。このアプリケーションは、 IBM Cloud Object Storage上のいずれかの場所に Parquet データを保管します。

例:

次のように入力します。

from pyspark.sql import SparkSession

def init_spark():
    spark = SparkSession.builder.appName("dataengine-generate-store-parquet-data").getOrCreate()
    sc = spark.sparkContext
    return spark,sc

def generate_and_store_data(spark,sc):
    data =[("India","New Delhi"),("France","Paris"),("Lithuania","Vilnius"),("Sweden","Stockholm"),("Switzerland","Bern")]
    columns=["Country","Capital"]
    df=spark.createDataFrame(data,columns)
    df.write.mode("overwrite").parquet("cos://mybucket.mycosservice/countriescapitals.parquet")

def main():
    spark,sc = init_spark()
    generate_and_store_data(spark,sc)
if __name__ == '__main__':
    main()

スキーマの作成

データ・エンジンでメタストア・テーブル・スキーマ定義を作成します。 Data Engine をメタストアとして使用している場合、標準の Spark SQL 構文を使用して表を作成することはできません。 表を作成するには、以下の 2 つの方法があります。

• Data Engine ユーザー・インターフェースから、または標準の Data Engine API ( Data Engine サービス REST V3 API を参照) または Python SDK ( ibmcloudsql を参照)。

  例:

  次のように入力します。

      CREATE TABLE COUNTRIESCAPITALS (Country string,Capital string) 
      USING PARQUET 
      LOCATION cos://us-south/mybucket/countriescapitals.parquet
  

  上記の例では、COS バケットの場所 (//us-south/mybucket/countriescapitals.parquet) は us-south(地域バケット) と見なされます。 他のリージョンを使用している場合は、 データ・エンジン・エンドポイント から対応する別名を選択します。

• PySpark アプリケーション内からプログラマチックに行うには、 create_table_data_engine.py という PySpark の以下のコード・スニペットを使用します。

  例:

  次のように入力します。

      import requests
      import time
      def create_data_engine_table(api_key,crn):
          headers = {
          'Authorization': 'Basic Yng6Yng=',
          }
          data = {
          'apikey': api_key,
          'grant_type': 'urn:ibm:params:oauth:grant-type:apikey',
          }
          response = requests.post('https://iam.cloud.ibm.com/identity/token', headers=headers, data=data)
          token = response.json()['access_token']
  
          headers_token = {
          'Accept': 'application/json',
          'Authorization': f"Bearer {token}",
          }
          params = {
          'instance_crn': crn,
          }
          json_data = {
          'statement': 'CREATE TABLE COUNTRIESCAPITALS (Country string,Capital string) USING PARQUET LOCATION cos://us-south/mybucket/countriescapitals.parquet',
          }
          response = requests.post('https://api.dataengine.cloud.ibm.com/v3/sql_jobs', params=params, headers=headers_token, json=json_data)
          job_id = response.json()['job_id']
          time.sleep(10)
          response = requests.get(f'https://api.dataengine.cloud.ibm.com/v3/sql_jobs/{job_id}', params=params, headers=headers_token)
          if(response.json()['status']=='completed'):
              print(response.json())
  

  上記の例では、COS バケットの場所 (cos://us-south/mybucket/countriescapitals.parquet) は us-south(地域バケット) と見なされます。 他のリージョンを使用している場合は、 データ・エンジン・エンドポイント から対応する別名を選択します。

  上記のアプリケーションのペイロード create_table_data_engine_payload.json も、正確な標準 Data Engine 別名 (この場合は「us-south」) を使用して Data Engine 資格情報を提供する必要があります。

  例:

  次のように入力します。

      {
          "application_details": {
              "conf": {
                  "spark.hadoop.fs.cos.us-south.endpoint": "CHANGEME",
                  "spark.hadoop.fs.cos.us-south.access.key": "CHANGEME",
                  "spark.hadoop.fs.cos.us-south.secret.key": "CHANGEME"
              },
          "application": "cos://mybucket.us-south/create_table_data_engine.py",
          "arguments": ["<CHANGEME-CRN-DATA-ENGINE-INSTANCE>","<APIKEY-WITH-ACCESS-TO-DATA-ENGINE-INSTANCE>"]
          }
      }
  

  パラメーター値:

  上記の例では、 us-south の Regional COS バケットが考慮されます。 他のリージョンを使用している場合は、 データ・エンジン・エンドポイント から対応する別名を選択します。

  標準別名を選択していることを確認してください。

クラウド Object Storage エンドポイント

Cloud Object Storage インスタンスに、サポートされているエンドポイントの 1 つがあります。Data Engine は、すべてのパブリックとプライベートの Object Storage エンドポイントをサポートします。 スペースを節約するために、記載している別名を完全なエンドポイント名の代わりに使用することができます。

テザリング・エンドポイントの別名 (dal-us-geo など、クロス・リージョン・ドメイン内の特定のエンドポイント) はレガシーと見なされます。 追って通知があるまでは機能しますが、いずれ非推奨になる予定です。 その準備として、対応するクロス・リージョン・エンドポイントの別名 (us-geo など) が使用されるようにアプリケーションを更新してください。

Data Engine は、外部エンドポイントが照会で指定された場合でも、常に内部エンドポイントを使用して Object Storageと対話します。 照会の結果ロケーションは、常に、外部エンドポイント名を指しています。 API を使用してプログラムで Data Engine と対話する場合は、API から返される外部エンドポイント名の代わりに、内部エンドポイント名を使用して結果を読み取ることができます。

以下の表に、現在サポートされている Data Engine エンドポイントの例をいくつか示します。