学習目標

チュートリアルを終了する前に、以下のサンプル・アプリケーションの使用方法を学習します。

• Regex: 正規表現を使用したエンティティー抽出、文書分類、およびセンテンス分類の場合
• Granite：watsonx.ai Graniteモデルを使用して電子メールからエンティティを抽出します
• Slate: Watson Discoveryのエンティティー抽出ワークスペースからエクスポートされたラベル付きデータで微調整された watsonx.ai Slate モデルを使用したエンティティー抽出の場合。

Regex-正規表現を使用したエンティティー抽出、文書分類、およびセンテンス分類

このサンプルでは、Webhook エンリッチを適用するためのインフラストラクチャー環境として IBM Cloud Code Engine を使用します。 ただし、他の環境にアプリケーションをデプロイすることはできます。

1. Webhook エンリッチ・アプリケーションを IBM Cloud Code Engineにデプロイします。

   1. IBM Cloud Code Engine でプロジェクトを作成します。 詳しくは、 プロジェクトの作成を参照してください。

   2. プロジェクトに秘密を作成します。 詳しくは、 秘密の作成を参照してください。

      このシークレットには、以下のキーと値のペアが含まれている必要があります。

      • WD_API_URL: Discovery インスタンスの API エンドポイント URL。
      • WD_API_KEY: ご使用の Discovery インスタンスの API キー。
      • WEBHOOK_SECRET: アプリケーションでの認証に使用できる、要求と共に渡す鍵。 例えば、purple_unicornなどです。

   3. サンプル・リポジトリー・ソース・コードからアプリケーションをデプロイします。 詳しくは、 リポジトリー・ソース・コードからのアプリのデプロイを参照してください。

      *「アプリケーションの作成」*で、 「ビルドの詳細を指定」 をクリックし、以下の詳細を入力します。

      • ソースの場合は、以下を指定します。

        • サンプルコードリポジトリ URL のコードレポジトリ URL ： Discovery doc-tutorial-downloadsページ
        • コードリポジトリへのアクセス： None
        • 支店名: master
        • コンテキスト・ディレクトリー: discovery-data/webhook-enrichment-sample/regex

      • strategy: Dockerfile

      • 出力: コンテナー・イメージ・レジストリー情報を入力します

      • 「環境変数 (オプション)」 を開き、以下の環境変数を追加します。

        • 以下のように定義します。 Reference to full secret
        • シークレット: 前のステップでプロジェクトに作成したシークレットの名前

      「インスタンスの最小数」 を 1 に設定できます。

   4. アプリケーションの状況が 「準備完了」 に変更されていることを確認します。

2. Discovery Webhook エンリッチを構成します。 詳細については 、「ウェブフック強化の設定 」を参照してください。

3. 文書を Discovery に取り込み、結果を確認します。

   1. nhtsa.csv を Discovery doc-tutorial-downloads からコレクションにアップロードします。
   2. 文書処理の完了後に照会結果をプレビューして、Webhook エンリッチ結果を見つけます。

Granite- watsonx.aiの基盤モデルを使用したエンティティ抽出

このサンプルでは、watsonx.ai Granite モデルを使って、メールからエンティティを抽出しています。 私たちは、IBM Cloud Code Engineを、Webhookエンリッチメントを適用するためのインフラ環境として使用しています。 ただし、他の環境にアプリケーションをデプロイすることはできます。

1. Webhook エンリッチ・アプリケーションを IBM Cloud Code Engineにデプロイします。

   1. IBM Cloud Code Engine でプロジェクトを作成します。 詳しくは、 プロジェクトの作成を参照してください。

   2. プロジェクトに秘密を作成します。 詳しくは、 秘密の作成を参照してください。

      このシークレットには、以下のキーと値のペアが含まれている必要があります。

      • WD_API_URL: Discovery インスタンスの API エンドポイント URL。
      • WD_API_KEY: ご使用の Discovery インスタンスの API キー。
      • WEBHOOK_SECRET: アプリケーションでの認証に使用できる、要求と共に渡す鍵。 例えば、purple_unicornなどです。
      • IBM_CLOUD_API_KEY: IBM Cloudの API キー。 これは、 Watson Machine Learning API にアクセスするために使用されます。
      • WML_ENDPOINT_URL: お客様の Watson Machine Learning のAPIエンドポイント URL。 詳細については 、 Machine Learning のドキュメントを参照してください。
      • WML_INSTANCE_CRN: Watson Machine Learning のインスタンスの CRN。 ibmcloud コマンド ibmcloud resources を使用して、インスタンスと CRN を見つけることができます。

   3. サンプル・リポジトリー・ソース・コードからアプリケーションをデプロイします。 詳しくは、 リポジトリー・ソース・コードからのアプリのデプロイを参照してください。

      *「アプリケーションの作成」*で、 「ビルドの詳細を指定」 をクリックし、以下の詳細を入力します。

      • ソースの場合は、以下を指定します。

        • サンプルコードリポジトリ URL のコードレポジトリ URL ： Discovery doc-tutorial-downloadsページ
        • コードリポジトリへのアクセス： None
        • 支店名: master
        • コンテキスト・ディレクトリー: discovery-data/webhook-enrichment-sample/granite

      • strategy: Dockerfile

      • 出力: コンテナー・イメージ・レジストリー情報を入力します

      • 「環境変数 (オプション)」 を開き、以下の環境変数を追加します。

        • 以下のように定義します。 Reference to full secret
        • シークレット: 前のステップでプロジェクトに作成したシークレットの名前

      「インスタンスの最小数」 を 1 に設定できます。

   4. アプリケーションの状況が 「準備完了」 に変更されていることを確認します。

2. Discovery Webhook エンリッチを構成します。 詳細については 、「ウェブフック強化の設定 」を参照してください。

3. 文書を Discovery に取り込み、結果を確認します。

   1. Discovery doc-tutorial-downloads からコレクションに email.txt をアップロードします。
   2. 文書処理の完了後に照会結果をプレビューして、Webhook エンリッチ結果を見つけます。

Watson Discoveryのエンティティー抽出ワークスペースからエクスポートされたラベル付きデータで微調整された Watsonx.ai Slate モデルを使用した Slate エンティティー抽出。

スレート・モデルには、生成されないユース・ケースで最高のコスト・パフォーマンス・トレードオフがあります。 微調整のためには、タスク固有のラベル付きデータが必要です。 Watson Discoveryでラベル付きデータを準備し、 Watson Studioで Slate モデルを微調整し、 Watson Machine Learningでモデルをデプロイできます。 微調整されたモデルをデプロイすると、 Watson Discoveryでそのモデルを使用して文書をエンリッチする Webhook エンリッチメントを作成できます。

1. Watson Discoveryでラベル付きデータを準備します。

   1. エンティティー抽出プログラム・ワークスペースを作成し、データにラベルを付けます。 詳しくは、 カスタム・エンティティーの定義 を参照してください。

   2. エンティティー抽出ワークスペースからラベル付きデータをダウンロードします。 詳しくは、 エンティティー抽出のラベル付きデータのエクスポート を参照してください。

      このチュートリアルでは、 Discovery doc-tutorial-downloads からのサンプル・ラベル付きデータを後続のステップで使用できます。

2. Watson Studio で slate モデルを微調整し、そのモデルを Watson Machine Learningにデプロイします。

   1. Watson Studio でプロジェクトを作成します。 詳しくは、 プロジェクトの作成を参照してください。

   2. Watson Machine Learningでデプロイメント・スペースを作成します。 詳しくは、 デプロイメント・スペースの作成 を参照してください。

   3. プロジェクトに環境テンプレートを作成します。 詳しくは、 環境テンプレートの作成を参照してください。 以下のオプションで作成できます

      • タイプ: Default
      • ハードウェア構成
        • リザーブ vCPU: 2
        • RAM 予約 (GB): 8
      • ソフトウェアのバージョン: Runtime 23.1 on Python 3.10

   4. ノートブック・ファイルからランタイムとして環境テンプレートを使用して、プロジェクト内にノートブックを作成します。 ノートブックの cxreating について詳しくは、 ノートブックの作成を参照してください。 ノートブック・ファイルは Discovery doc-tutorial-downloadsにあります。

   5. ノートブックでラベル付きデータをアップロードします。 詳しくは、 ローカル・ファイルからのデータのロードを参照してください。

   6. ノートブックをステップバイステップで実行し、特定の変数を置き換えることで、Slate モデルを微調整してデプロイします。

3. Webhook エンリッチ・アプリケーションを IBM Cloud Code Engineにデプロイします。

   1. IBM Cloud Code Engine でプロジェクトを作成します。 詳しくは、 プロジェクトの作成を参照してください。

   2. プロジェクトに秘密を作成します。 詳しくは、 秘密の作成を参照してください。

      このシークレットには、以下のキーと値のペアが含まれている必要があります。

      • WD_API_URL: Discovery インスタンスの API エンドポイント URL。
      • WD_API_KEY: ご使用の Discovery インスタンスの API キー。
      • WEBHOOK_SECRET: アプリケーションでの認証に使用できる、要求と共に渡す鍵。 例えば、purple_unicornなどです。
      • SCORING_API_HOSTNAME: 微調整されたスレート・モデルを提供する Watson Machine Learning スコアリング・デプロイメントの API ホスト名。
      • SCORING_DEPLOYMENT_ID: 微調整された slate モデルを提供する Watson Machine Learning スコアリング・デプロイメントの ID。
      • SCORING_API_TOKEN: 微調整された Slate モデルに役立つ Watson Machine Learning スコアリング・デプロイメントを使用するためのベアラー許可で使用される API トークン。 以下のコマンドを使用するとトークンを取得できます

      curl -X POST {auth} \
      SCORING_API_TOKEN=$(
      curl -k -X POST 'https://{hostname of your cp4d instance}/icp4d-api/v1/authorize' \
                      --header "Content-Type: application/json"
                      -d "{\"username\":\"admin\",\"api_key\":\"{api key of your cp4d instance}\"}" \
      | jq .token
      )
      

4. サンプル・リポジトリー・ソース・コードからアプリケーションをデプロイします。 詳しくは、 リポジトリー・ソース・コードからのアプリのデプロイを参照してください。

   1. *「アプリケーションの作成」*で、 「ビルドの詳細を指定」 をクリックし、以下の詳細を入力します。

      • ソースの場合は、以下を指定します。

        • サンプルコードリポジトリ URL のコードレポジトリ URL ： Discovery doc-tutorial-downloadsページ
        • コードリポジトリへのアクセス： None
        • 支店名: master
        • コンテキスト・ディレクトリー: discovery-data/webhook-enrichment-sample/slate

      • strategy: Dockerfile

      • 出力: コンテナー・イメージ・レジストリー情報を入力します

      • 「環境変数 (オプション)」 を開き、以下の環境変数を追加します。

        • 以下のように定義します。 Reference to full secret
        • シークレット: 前のステップでプロジェクトに作成したシークレットの名前

      「インスタンスの最小数」 を 1 に設定できます。

   2. アプリケーションの状況が 「準備完了」 に変更されていることを確認します。

5. Discovery Webhook エンリッチを構成します。 詳細については 、「ウェブフック強化の設定 」を参照してください。

6. 文書を Discovery に取り込み、結果を確認します。

   1. Discovery doc-tutorial-downloads から年間レポートのページをコレクションにアップロードします。
   2. 文書処理の完了後に照会結果をプレビューして、Webhook エンリッチ結果を見つけます。