Paramètres de déclaration

Les paramètres déclarés sont représentés par l'élément « <declare /> ». Cet élément comporte les attributs suivants :

Dans la version actuelle, les attributs required et hidden ne sont pas appliqués dans l'interface utilisateur du produit Discovery.

Exemples de paramètres de déclaration

Pour déclarer un type d' enum, utilisez un code similaire à l'extrait suivant :

<declare type="enum" name="type" enum-values="PROXY|BASIC|NTLM" initial-value="BASIC"/>

Pour déclarer une variable cachée ( string ) avec une valeur initiale, utilisez un code similaire à l'extrait suivant :

<declare type="string" name="custom_config_class" hidden="true" initial-value="com.example.ExampleCrawlerConfig" />

Pour déclarer un attribut obligatoire ( long ), utilisez un code similaire à l'extrait suivant :

<declare type="long" name="port" required="required" initial-value="22"/>

Paramètres conditionnels

Les paramètres conditionnels sont représentés par l'élément « <condition /> ». Un paramètre conditionnel est affiché uniquement si la condition est remplie. Cet élément comporte les attributs suivants :

Dans l'édition actuelle, les paramètres conditionnels ne sont pas appliqués dans l'interface utilisateur du produit Discovery.

Exemples de paramètres conditionnels

Pour activer une section à l'aide d'une condition d' boolean, utilisez un code similaire à l'extrait suivant :

<declare type="boolean" name="use_key" initial-value="true" />

<condition name="use_key" enabled="true">
  <declare type="string" name="key" hidden="false" />
</condition>

Pour activer une section à l'aide d'une condition d' enum, utilisez un code similaire à l'extrait suivant :

<declare type="enum" name="type" enum-values="PROXY|BASIC|NTLM" initial-value="BASIC"/>

<condition name="type" in="BASIC|NTLM|PROXY">
</condition>

<condition name="type" in="PROXY">

Section : general_settings

L'expression XPath est /function/prototype/proto-section[@section="general_settings"]. Il inclut des paramètres communs à tous les robots d'indexation, y compris les paramètres suivants :

<declare type="string" name="crawler_name" />
<declare type="string" name="description" />
<declare type="long" name="fetch_interval" initial-value="0" />
<declare type="long" name="number_of_max_threads" initial-value="10" />
<declare type="long" name="number_of_max_documents" initial-value="2000000000" />
<declare type="long" name="max_page_length" initial-value="32768" />

Le moteur d'exploration personnalisé est initialisé avec les paramètres suivants dans la section general_settings. Pour plus d'informations sur les interfaces, voir Développement de code de connecteur personnalisé.

Pour spécifier les interfaces, utilisez un code similaire à l'extrait suivant :

  <declare type="string" name="custom_config_class" hidden="true" initial-value="com.ibm.es.ama.custom.crwler.sample.sftp.SftpCrawler" />

  <declare type="string" name="custom_crawler_class" hidden="true" initial-value="com.ibm.es.ama.custom.crwler.sample.sftp.SftpCrawler" />

  <declare type="string" name="custom_security_class" hidden="true" initial-value="com.ibm.es.ama.custom.crwler.sample.sftp.SftpCrawler" />

  <declare type="boolean" name="document_level_security_supported" initial-value="true" hidden="true"/>

Si vous avez généré un connecteur personnalisé avec un package SDK fourni avec la version 2.2.1 ou une version antérieure, document_level_security_supported doit être désactivé (défini sur false). La sécurité de niveau document n'est pas prise en charge dans 2.2.1 et les versions antérieures. Toutefois, l'option Activer la sécurité au niveau du document est affichée dans Discovery même lorsque la sécurité au niveau du document n'est pas prise en charge. Ne sélectionnez pas cette option lorsque vous créez une nouvelle collection.

Pour masquer l'option Activer la sécurité au niveau du document dans Discovery si le connecteur personnalisé a été généré avec un package SDK fourni avec la version 2.2.1 ou une version antérieure, procédez comme suit:

1. Modifiez le paramètre document_level_security_supported dans le fichier config/template.xml comme suit:

   <declare type="boolean" name="document_level_security_supported" hidden="true" initial-value="false"/>
   

2. Régénérez le package de connecteur, puis téléchargez-le à nouveau.

Section : datasource_settings

L'expression XPath est /function/prototype/proto-section[@section="datasource_settings"]. Elle inclut des paramètres spécifiques à la source de données.

  <proto-section section="datasource_settings">

      <declare type="string" name="host" required="required" initial-value="localhost"/>
      <declare type="long" name="port" required="required" initial-value="22"/>
      <declare type="string" name="user" required="required" />

      <declare type="boolean" name="use_key" initial-value="true" />

      <condition name="use_key" enabled="true">
        <declare type="string" name="key" hidden="false" />
        <declare type="password" name="passphrase" hidden="false" />
      </condition>

      <condition name="use_key" enabled="false">
        <declare type="password" name="secret_key" hidden="false" />
      </condition>
  </proto-section>

Section : crawlspace_settings

L'expression XPath est /function/prototype/proto-section[@section="crawlspace_settings"]. La section ne contient qu'un seul élément d' <declare />, qui permet de spécifier le chemin d'accès. La valeur du chemin est fournie par le code du connecteur.

  <proto-section section="crawlspace_settings" cardinality="multiple">
    <declare type="string" name="path" hidden="true" />
  </proto-section>

Prérequis

Pour compiler un connecteur personnalisé, vous devez disposer des éléments suivants sur votre système local. Voir Exemple de connecteur personnalisé pour plus de détails.

• Java SDK 1.8 ou version ultérieure

• Gradle

• Fichier custom-crawler-docs.zip issu d'une instance Discovery installée

• Package JSch

• Fichiers suivants pour l'exemple de connecteur personnalisé :

  • Code source Java (SftpCrawler.java et SftpSecurityHandler.java)
  • Fichier de définition XML (template.xml)
  • Fichier de propriétés (messages.properties)

  Ne modifiez pas les noms ou les chemins des exemples de fichiers de connecteur personnalisé. Cela peut entraîner des problèmes, notamment des échecs de construction.

Compilation et conditionnement du code source

1. Assurez-vous que vous vous trouvez dans le répertoire de développement du connecteur personnalisé sur votre système local :

   cd {local_directory}
   

2. Utilisez Gradle pour compiler votre code source d' Java, et créer un fichier compressé qui inclut tous les composants requis pour le connecteur personnalisé :

   gradle build packageCustomCrawler
   

Gradle crée un fichier dans {local_directory}/build/distributions/{built_connector_zip_file}, où le nom de {built_connector_zip_file} est basé sur la valeur rootProject.name de settings.gradle. Par exemple, si la ligne se lit comme suit, Gradle génère un fichier nommé {local_directory}/build/distributions/my-sftp-connector.zip.

rootProject.name = 'my-sftp-connector'

Etape suivante

Passez à l'étape Installation et désinstallation d'un connecteur personnalisé pour installer le connecteur personnalisé sur votre instance Discovery.