Sparkクエリサーバーの管理

適用対象 ： スパークエンジン

Sparkクエリサーバーは、Sparkエンジンからすべてのレイクハウスデータを収集、保存、クエリ、分析するためのインターフェースを提供する、Spark Hive ベースのThriftサーバーを起動することを可能にします。

Spark クエリ サーバー機能はさまざまな方法で活用できます。 統合を 参照してください。

開始前に

  • watsonx.data をインストールする。
  • watsonx.data でネイティブ・スパーク・エンジンを提供する。

Sparkクエリー・サーバーの作成

Sparkエンジンをdbtツールと統合し、クエリーエンジンとして動作させるには、Sparkクエリーサーバーを作成する必要がある。

  1. インスタンス watsonx.data にログインしてください。

  2. インフラストラクチャー マネージャーに移動します。 スパークエンジンをクリックします。

  3. クエリサーバー タブをクリックします。

  4. Create query serversをクリックします。 Create query servers ］ページが開きます。

  5. 以下の詳細を指定します。

    • 名前：作成するクエリ・サーバの名前を入力します。

    • バージョン 2.3 以降を使用する watsonx.data 際には、以下の情報を提供する必要があります。

      容量タイプを選択してください。 専用 （設定済みの場合）またはオンデマンドを選択できます。 リストから容量を選択し、ドライバーとエグゼキュータのCPUコア数とメモリの詳細を指定してください。

    • ドライバとエクゼキュータのコアとメモリ。 バージョン 2.3 より前のバージョンを watsonx.data 使用している場合は、このフィールドを指定してください。

    • Username： watsonx.data ログインユーザー名。

    • APIキー: あなたのAPIキー。 APIキーを生成するには、 APIキーの生成を 参照してください。

    • 構成および環境変数とその値を指定してください。

  6. 「作成」 をクリックします。 クエリーサーバーが作成され、ACCEPTEDステータスになる。 ステータスがACTIVEになると、サーバーの使用を開始できます。

クエリサーバーの詳細（名前、ID、ステータス、サーバーの開始時刻と終了時刻、接続など URL ）を確認できます。

クエリサーバー接続の詳細を取得する

dbtツールでプロファイルファイルを設定するには、クエリーサーバー接続の詳細を保存する必要があります。

  1. クエリ・サーバ］ タブで、ACTIVE状態のクエリ・サーバを選択します。

  2. 選択したクエリーサーバーに対してオーバーフローメニューをクリックする。

  3. 接続の詳細を表示をクリックしてください。 接続の詳細ページがプロファイル構成とともに開きます。

  4. 接続の詳細をコピーする。

    または、接続情報ページから接続の詳細を取得することもできます。 ナビゲーションメニューから、[ビルドツール ( ConfigurationsConnectioninformationData DBT)] に移動します。

Sparkクエリサーバーの停止

  1. クエリ・サーバ・タブでは、クエリ・サーバの一覧を表示できます。
  2. 選択したクエリーサーバーに対してオーバーフローメニューをクリックする。
  3. 停止をクリックしてください。

サポートされる統合