Suministro de Analytics Engine

Se aplica a: Motor de chispa

La opción de registrar motores Spark externos en watsonx.data está obsoleta en esta versión y se eliminará en la versión 2.3. watsonx.data ya incluye motores Spark integrados que puede aprovisionar y utilizar directamente, incluido el motor Spark acelerado por Gluten y el motor Spark nativo watsonx.data.

Para watsonx.data, se recomienda utilizar IBM Analytics Engine Spark para conseguir los siguientes casos de uso:

Ingestión de grandes volúmenes de datos en tablas de watsonx.data. También puede limpiar y transformar datos antes de la ingestión.
Operación de mantenimiento de tabla para mejorar el rendimiento de watsonx.data de la tabla
Carga de trabajo de analítica compleja que son difíciles de representar como consultas.

Puede crear una instancia de IBM Analytics Engine:

Utilización de la consola de IBM Cloud®
Utilizando la interfaz de la línea de mandatos IBM Cloud®
Utilizando la API REST de controlador de recursos

Debe tener acceso a IBM Cloud® us-south (Dallas) o a la región eu-de (Frankfurt). Cuando añada una región para suministrar una instancia de Analytics Engine, elija una que esté más cerca de la región donde ha suministrado watsonx.data para evitar problemas de latencia de datos.

Creación de una instancia de servicio desde la consola IBM Cloud®

Puede crear una instancia utilizando la consola IBM Cloud®.

Para crear una instancia de IBM Analytics Engine:

Inicie sesión en la consola deIBM Cloud®.
Haga clic en Servicios y seleccione la categoría Análisis.
Busque Analytics Engine y haga clic en el mosaico para abrir la página de creación de instancias de servicio.
Elija la ubicación que está más cerca de la región donde ha suministrado watsonx.data para desplegar la instancia de servicio. Actualmente, us-south y eu-de son las únicas regiones soportadas.
Seleccione un plan. Actualmente, Standard Serverless for Apache Spark es el único plan sin servidor soportado.
Configure la instancia especificando un nombre de su elección, seleccionando un grupo de recursos y añadiendo etiquetas.
Seleccione la última versión de tiempo de ejecución disponible (por ejemplo, 3.4 ). Para otras versiones compatibles de Spark, consulte Versión compatible de Spark.
Seleccione la instancia de IBM Cloud Object Storage de su cuenta que desea utilizar como Analytics Engine **** para almacenar datos relacionados con la instancia.
Pulse Crear para suministrar la instancia de servicio en segundo plano.

El servicio recién creado aparece en su lista de recursos IBM Cloud® en Servicios.

Creación de una instancia de servicio utilizando la interfaz de línea de mandatos IBM Cloud®

Para crear una instancia de servicio mediante la interfaz de comando IBM Cloud®:

Descargue y configure la CLI de IBM Cloud®. Siga las instrucciones de Iniciación a la CLI de IBM Cloud®.
Establezca el punto final de API para la región e inicie sesión:
```
ibmcloud api https://DOMAIN_NAME
ibmcloud login
```
Valor de parámetro:
- DOMAIN_NAME: El punto final de la API para su región. Por ejemplo, cloud.ibm.com
Obtenga la lista de los grupos de recursos de su cuenta y seleccione uno de los grupos de recursos devueltos como grupo de recursos de destino en el que crear la instancia sin servidor de IBM Analytics Engine:
```
ibmcloud resource groups
ibmcloud target -g <RESOURCE_GROUP_NAME>
```
Valor de parámetro:
- RESOURCE_GROUP_NAME: Proporcione el mismo nombre que ha especificado al suministrar watsonx.data para una organización eficiente.

Cree una instancia de servicio:

ibmcloud resource service-instance-create <SERVICE_INSTANCE_NAME> ibmanalyticsengine <PLAN_NAME> <REGION> -p @<PATH_to JSON file with cluster parameters>

Valor de parámetro:

SERVICE_INSTANCE_NAME: Especifique un nombre para la instancia.
PLAN_NAME: Especifique el nombre de plan como plan_name8afde05e-5fd8-4359-a597-946d8432dd45.
REGION: Especifique la región donde desea suministrar la instancia.

Tenga en cuenta que actualmente, standard-serverless-spark es el único plan serverless soportado y us-south y eu-de las únicas regiones soportadas. Elija una que esté más cerca de la región donde ha suministrado watsonx.data.

PATH_to Archivo JSON: Incluya la vía de acceso al archivo JSON que contiene los parámetros de suministro.

Por ejemplo, para la región de Dallas:

ibmcloud resource service-instance-create MyServiceInstance ibmanalyticsengine standard-serverless-spark us-south -p @provision.json

Puede dar a la instancia de servicio el nombre que prefiera. Tenga en cuenta que actualmente, standard-serverless-spark es el único plan serverless soportado y us-south y eu-de las únicas regiones soportadas.

El archivo provision.json contiene los parámetros de aprovisionamiento para la instancia que desea crear.

El punto final de la instancia de IBM Cloud® Object Storage en el archivo JSON de carga útil debe ser el punto final directo. Los puntos finales directos ofrecen mejor rendimiento que los públicos y no incurren en gastos por ancho de banda saliente o entrante.

A continuación se muestra un ejemplo de archivo provision.json.

{
  "default_runtime": {
    "spark_version": "3.4"
    },
  "instance_home": {
    "region": "us-south",
    "endpoint": "https://s3.direct.us-south.cloud-object-storage.appdomain.cloud",
    "hmac_access_key": "<your-hmac-access-key",
    "hmac_secret_key": "<your-hmac-secret-key"
    },
  "default_config": {
    "key1": "value1",
    "key2": "value2"
    }
}

La respuesta de IBM Cloud® al mandato de creación de instancia:

Creating service instance MyServiceInstance in resource group Default of account <your account name> as <your user name>...
OK
Service instance MyServiceInstance was created.

Name:                MyServiceInstance
ID:                  crn:v1:staging:public:ibmanalyticsengine:us-south:a/d628eae2cc7e4373bb0c9d2229f2ece5:1e32e***-afd9-483a-b1**-724ba5cf4***::
GUID:                1e32e***-afd9-483a-b1**-724ba5cf4***
Location:            us-south
State:               provisioning
Type:                service_instance
Sub Type:
Service Endpoints:   public
Allow Cleanup:       false
Locked:              false
Created at:          2021-11-29T07:20:40Z
Updated at:          2021-11-29T07:20:42Z
Last Operation:
                    Status    create in progress
                    Message   Started create instance operation

La respuesta de ejemplo al comando crear instancia es:

Creating service instance MyServiceInstance in resource group Default of account <your account name> as <your user name>...
OK
Service instance MyServiceInstance was created.

Name:                MyServiceInstance
ID:                  crn:v1:staging:public:ibmanalyticsengine:us-south:a/d628eae2cc7e4373bb0c9d2229f2ece5:1e32e***-afd9-483a-b1**-724ba5cf4***::
GUID:                1e32e***-afd9-483a-b1**-724ba5cf4***
Location:            us-south
State:               provisioning
Type:                service_instance
Sub Type:
Service Endpoints:   public
Allow Cleanup:       false
Locked:              false
Created at:          2021-11-29T07:20:40Z
Updated at:          2021-11-29T07:20:42Z
Last Operation:
                Status    create in progress
                Message   Started create instance operation

Anote el ID de instancia de la salida. Necesitará el ID de instancia cuando llame a las API de gestión de aplicaciones de Spark o de gestión de instancias. Consulte API REST de aplicación de Spark.

Realizar seguimiento de preparación de instancia.

Creación de una instancia de servicio mediante la API REST del controlador de recursos

Una instancia sin servidor de IBM Analytics Engine debe residir en un grupo de recursos de IBM Cloud®. Como primer paso para crear una instancia sin servidor de IBM Analytics Engine a través de la API REST del controlador de recursos, debe tener a mano el ID del grupo de recursos y el ID del plan sin servidor.

Para crear una instancia de servicio mediante la API REST del controlador de recursos:

Para obtener el ID del grupo de recursos, inicie sesión en la CLI de IBM Cloud® y ejecute el siguiente comando :

ibmcloud resource groups

Resultado de ejemplo:

Retrieving all resource groups under account <Account details..>
OK
Name      ID      Default Group   State
Default   XXXXX   true            ACTIVE

Utilice el siguiente ID de plan de recursos para el plan Standard Serverless for Apache Spark:
```
8afde05e-5fd8-4359-a597-946d8432dd45
```
Obtenga la señal de IAM. Para obtener instrucciones, consulte pasos.

Cree una instancia utilizando la API REST del controlador de recursos:

curl -X POST https://resource-controller.cloud.ibm.com/v2/resource_instances/
--header "Authorization: Bearer $token" -H 'Content-Type: application/json' -d @provision.json

El archivo provision.json contiene los parámetros de aprovisionamiento para la instancia que desea crear. Consulte Arquitectura y conceptos en instancias sin servidor para obtener una descripción de los parámetros de suministro en la carga útil.

A continuación se muestra un ejemplo del archivo provision.json.

{
  "name": "your-service-instance-name",
  "resource_plan_id": "8afde05e-5fd8-4359-a597-946d8432dd45",
  "resource_group": "resource-group-id",
  "target": "us-south",
  "parameters": {
    "default_runtime": {
      "spark_version": "3.4"
        },
        "instance_home": {
          "region": "us-south",
          "endpoint": "s3.direct.us-south.cloud-object-storage.appdomain.cloud",
          "hmac_access_key": "your-access-key",
          "hmac_secret_key": "your-secret-key"
          }
    }
}

Realizar seguimiento de preparación de instancia.

Para obtener más información sobre la API REST del controlador de recursos para crear una instancia, consulte Crear (suministrar) una nueva instancia de recurso.

Seguimiento de preparación de instancias

Para ejecutar aplicaciones en una instancia sin servidor recién creada, la instancia debe estar en estado activo.

Para realizar un seguimiento de la preparación de la instancia:

Escriba el mandato siguiente:

curl -X GET https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/{instance_id} -H "Authorization: Bearer $token"

Respuesta de ejemplo:

{
  "id": "dc0e****-eab2-4t9e-9441-56620949****",
  "state": "created",
  "state_change_time": "2021-04-21T04:24:01Z",
  "default_runtime": {
    "spark_version": "3.4",
    "instance_home": {
      "provider": "ibm-cos",
      "type": "objectstore",
      "region": "us-south",
      "endpoint": "https://s3.direct.us-south.cloud-object-storage.appdomain.cloud",
      "bucket": "ae-bucket-do-not-delete-dc0e****-eab2-4t**-9441-566209499546",
      "hmac_access_key": "eH****g=",
      "hmac_secret_key": "4d********76"
    },
    "default_config": {
      "spark.driver.memory": "4g",
      "spark.driver.cores": 1
    }
  }
}

Comprueba el valor del atributo state. Debe estar activa antes de poder empezar a ejecutar aplicaciones en la instancia.

Más información

Al suministrar instancias sin servidor, siga las Prácticas recomendadasrecomendadas.