IBM Cloud Docs
Sparkノートブックの実行Watson Studioの上Cloud Pak for Data

Sparkノートブックの実行Watson Studioの上Cloud Pak for Data

このトピックでは、サンプルSparkアプリケーションを実行する手順を説明します。Watson Studioノートブック。 ノートブックは、 IBM Cloud Pak for Data （CPD）クラスタで利用可能な Watson Studio プロジェクト内にあります。

Sparkユースケースサンプルをダウンロードして実行できます。Watson Studio以下の機能を調べるにはwatsonx.data:

  • テーブルへのアクセス
  • データのロード
  • スキーマの変更
  • テーブルメンテナンス活動の実行

Watson Studioデータを処理する小さなコードを実行し、計算結果をすぐに表示できるサンプル ノートブックを提供します。 ノートブックには、ユーザーがすぐにダウンロードして作業を開始できるサンプルのユースケースが含まれています。

前提条件

  • インストールWatson StudioCPD クラスター上。

  • 取得watsonx.data資格

    以下の情報を入手するwatsonx.data:

    • <wxd_hms_endpoint> : Thrift エンドポイント。 例えば、thrift://81823aaf-8a88-4bee-a0a1-6e76a42dc833.cfjag3sf0s5o87astjo0.databases.appdomain.cloud:32683 。 詳細を確認するには、watsonx.dataたとえば、インフラストラクチャ マネージャーから Iceberg データ カタログをクリックします。 [詳細] タブで、<wxd_hms_endpoint> である Metastore ホストをコピーします。

    • <wxd_hms_username> : これはデフォルトです ibmlhapikey。

    • <wxd_hms_パスワード>:Hiveメタストア (HMS) パスワード。 パスワードを取得するにはwatsonx.data管理者。

  • ソース バケットの詳細: 独自の Jupiter ノートブックを使用する場合は、データが存在するソース バケットの次の詳細を要求する必要があります。

    • <source_bucket_endpoint> : ソースバケットのエンドポイント。 たとえば、ダラス地域のソースバケットの場合、エンドポイントはs3.direct.us-south。cloud-object-storage.appdomain.cloud 。 パブリックエンドポイントを使用します。

    • <source_bucket_access_key> : ソースバケットのアクセスキー。

    • <source_bucket_secret_key> : ソースバケットの秘密キー。

  • ダウンロード サンプルノート。

手順

Spark サンプル ノートブックを実行するには、次の手順に従います。

  1. IBM Cloud Pak for Data クラスターの Watson Studio アカウントにログインしてください。

  2. プロジェクトを作成します。 詳細については、プロジェクトの作成。

  3. プロジェクトを選択して、Jupyter Notebook。

  4. クリック新しい資産新しい資産を作成するJupyter Notebook。 New Assets ページが開きます。 詳細については、ノートブックの作成。

  5. クリックコードエディタ。

  6. 検索して選択 Jupyter Notebook編集者。 新しいノートブックのページが開きます。

  7. 以下の詳細を指定します。

    • 名前: ノートブックの名前を入力します。

    • Sparkランタイムを選択する。 それは、 3.4、 Python、 3.10、または 3.11 のSparkでなければなりません。 その他のサポート対象のSparkバージョンについては、 サポート対象のSparkバージョン をご覧ください。

  8. アップロードして実行 IBM公開されたSparkノートブック。 以下の手順に従います。

    • 左側のウィンドウで、ローカルファイル。

    • の中にノートブックファイルフィールドをドラッグしてIBM Sparkノートブックファイル（IBM ) をローカル コンピューターから実行します。

    • ノートブックの 「 IBM Analytics Engine の設定」セクションで、 watsonx.data の認証情報、ソースバケット、およびカタログバケットの詳細を更新します。

  9. 「作成」 をクリックします。 アップロードされたノートブックが開きます。

  10. ノートブックの実行をセルごとに実行するには、Shift + Enter キーまたは、クリックしてノートブック全体を実行することもできますすべて実行メニューから。