今後のリリースで、クローラープラグインとカスタマーコネクター機能用のバンドルJVMは、 IBM Semeru Runtimes, Version 21に移行する予定です。 クローラープラグインまたはカスタムコネクタが、 IBM SDK、 Java Technology Edition、バージョン8と IBM Semeru Runtimes、バージョン21の間で互換性のない機能を使用している場合は、Discovery 5.2.x 以降のリリースとの互換性を確保するためにコードを修正する必要があります。

JVMマイグレーションについては、以下のページを参照のこと：

カスタムクローラープラグインの構築

Discovery は、 SDKを使用して独自のクローラープラグインを構築するオプションを備えています。 Java クローラー・プラグインを使用することで、ユース・ケースに適したソリューションを素早く開発できるようになりました。 インストールした Discovery クラスターから SDK をダウンロードできます。 詳しくは、クローラー・プラグイン SDK パッケージの入手を参照してください。

IBM Cloud Pak for Data IBM Software Hub

この情報は、インストール済みデプロイメントにのみ適用されます。

IBM Watson® Discovery で使用するカスタム・コードについての責任を負うのは開発者です。開発者が作成するカスタム・コードは IBM Support のサポートの対象外です。

クローラー・プラグインは、以下の機能をサポートします。

  • クロールされた文書のメタデータ・リストの更新
  • クロールされた文書の内容の更新
  • クロールされた文書の除外
  • 参考クローラー設定、パスワード値のマスキング
  • Discovery ユーザー・インターフェースで通知メッセージを表示します
  • crawler ポッドコンソールにログメッセージを出力する

ただし、 crawler プラグインは以下の機能をサポートできません：

  • クロールされた文書を複数の文書に分割する
  • 複数の文書の内容を 1 つの文書に結合する
  • アクセス制御リストの変更

クローラー・プラグインの要件

この SDK を使用して crawler プラグインの開発に使用する予定の開発サーバーに、以下の項目がインストールされていることを確認します。

  • Java SE Development Kit (JDK) 1.8 以上
  • Gradle
  • cURL
  • sed (ストリーム・エディター)

クローラー・プラグイン SDK パッケージの入手

  1. Discovery クラスターにログインします。

  2. 以下のコマンドを入力して、 crawler ポッド名を取得する：

    oc get pods | grep crawler

    以下の例は、出力例を示しています。

    wd-discovery-crawler-57985fc5cf-rxk89     1/1     Running     0          85m

  3. 以下のコマンドを入力してSDKパッケージ名を取得し、 {crawler-pod-name} を手順2で取得した crawler ポッド名に置き換えます：

    oc exec {crawler-pod-name} -- ls -l /opt/ibm/wex/zing/resources/ | grep wd-crawler-plugin-sdk

    以下の例は、出力例を示しています。

    -rw-r--r--. 1 dadmin dadmin 35575 Oct  1 16:51 wd-crawler-plugin-sdk-${build-version}.zip

  4. 以下のコマンドを入力して SDK パッケージをホスト・サーバーにコピーします ({build-version} は、前のステップで取得したビルド・バージョン番号に置き換えます)。

    oc cp {crawler-pod-name}:/opt/ibm/wex/zing/resources/wd-crawler-plugin-sdk-${build-version}.zip wd-crawler-plugin-sdk.zip

  5. 必要に応じて、SDK パッケージを開発サーバーにコピーします。

クローラー・プラグイン・パッケージの構築

  1. SDK圧縮ファイルを解凍します。
  2. プラグイン・ロジックを src/ に実装します。 依存関係が build.gradle で書かれていることを確認してください。
  3. gradle packageCrawlerPlugin と入力して、プラグイン・パッケージを作成します。 パッケージは、build/distributed/wd-crawler-plugin-sample.zip として生成されます。