Dans une prochaine version, la JVM intégrée pour le plug-in crawler et les fonctionnalités du connecteur client sera transférée vers IBM Semeru Runtimes, version 21. Si votre plug-in crawler ou vos connecteurs personnalisés utilisent des fonctionnalités incompatibles avec IBM SDK, Java Technology Edition, Version 8 et IBM Semeru Runtimes, Version 21, vous devez réviser votre code pour garantir la compatibilité avec les versions ultérieures, telles que Discovery 5.2.x et les versions ultérieures.
Pour la migration de la JVM, voir les pages suivantes :
- https://www.ibm.com/support/pages/semeru-runtimes-migration-guide
- https://www.ibm.com/support/pages/semeru-runtimes-security-migration-guide
Création d'un plug-in personnalisé pour crawler
Discovery offre la possibilité de créer son propre plug-in de crawler à l'aide d'un SDK Java. Grâce aux plug-ins de moteur d'exploration, vous pouvez désormais développer rapidement des solutions pertinentes pour vos cas d'utilisation. Vous pouvez télécharger le logiciel SDK à partir de votre cluster Discovery installé. Pour plus d'informations, voir Obtention du package SDK du plug-in de moteur d'exploration.
IBM Cloud Pak for Data IBM Software Hub
Ces informations s'appliquent uniquement aux déploiements installés.
Tout code personnalisé que vous utilisez avec IBM Watson® Discovery relève de la responsabilité du développeur. Le support IBM ne prend pas en charge le code personnalisé créé par le développeur.
Les plug-in de moteur d'exploration prennent en charge les fonctions suivantes :
- Mettre à jour la liste de métadonnées d'un document exploré
- Mettre à jour le contenu d'un document exploré
- Exclure un document exploré
- Configurations du crawler de référence, masquage des valeurs des mots de passe
- Afficher les messages d'avis dans l'interface utilisateur Discovery
- Sortie des messages de log sur la console du pod
crawler
Cependant, les plug-ins crawler ne peuvent pas prendre en charge les fonctions suivantes :
- Fractionner un document exploré en plusieurs documents
- Combiner le contenu de plusieurs documents en un seul document
- Modifier les listes de contrôle d'accès
Configuration requise pour le plug-in de moteur d'exploration
Assurez-vous que les éléments suivants sont installés sur le serveur de développement que vous prévoyez d'utiliser pour développer un plug-in crawler à l'aide de ce SDK:
- Java SE Development Kit (JDK) 1.8 ou version ultérieure
- Gradle
- cURL
- sed (éditeur de flux)
Obtention du package SDK du plug-in de moteur d'exploration
-
Connectez-vous à votre cluster Discovery.
-
Entrez la commande suivante pour obtenir le nom de votre pod
crawler:oc get pods | grep crawlerL'exemple suivant montre un exemple de sortie.
wd-discovery-crawler-57985fc5cf-rxk89 1/1 Running 0 85m -
Entrez la commande suivante pour obtenir le nom du paquet SDK, en remplaçant
{crawler-pod-name}par le nom du podcrawlerque vous avez obtenu à l'étape 2 :oc exec {crawler-pod-name} -- ls -l /opt/ibm/wex/zing/resources/ | grep wd-crawler-plugin-sdkL'exemple suivant montre un exemple de sortie.
-rw-r--r--. 1 dadmin dadmin 35575 Oct 1 16:51 wd-crawler-plugin-sdk-${build-version}.zip -
Entrez la commande suivante pour copier le package SDK sur le serveur hôte, en remplaçant
{build-version}par le numéro de version obtenu à l'étape précédente :oc cp {crawler-pod-name}:/opt/ibm/wex/zing/resources/wd-crawler-plugin-sdk-${build-version}.zip wd-crawler-plugin-sdk.zip -
Si besoin, copiez le package SDK sur le serveur de développement.
Création d'un package de plug-in de moteur d'exploration
- Extraire le fichier compressé du SDK.
- Implémentez la logique de plug-in dans
src/. Assurez-vous que la dépendance est écrite enbuild.gradle. - Entrez
gradle packageCrawlerPluginpour créer le package du plug-in. Le package est généré en tant quebuild/distributed/wd-crawler-plugin-sample.zip.