Provisionamento de um mecanismo Spark

IBM® watsonx.data permite adicionar motores Spark. Você pode provisionar um mecanismo Spark nativo.

O mecanismo Spark nativo é um mecanismo de computação que reside em IBM® watsonx.data.

O suporte para o Spark 3.3 runtime está obsoleto e a versão padrão será alterada para Spark 3.4 runtime. Para garantir uma experiência perfeita e aproveitar os recursos e melhorias mais recentes, mude para o Spark 3.4. Para outras versões compatíveis do Spark, consulte Versão compatível do Spark.

Para adicionar um mecanismo Spark, execute as seguintes etapas.

1. Efetue login no console do watsonx.data.

2. No menu de navegação, selecione Gerenciador de infraestrutura.

3. Para adicionar um mecanismo Spark, clique em Adicionar componente e clique em Próximo.

4. Na página Adicionar componente, na seção Engines, selecione IBM Spark.

5. Na página Add component - IBM Spark, escolha o tipo de motor na lista Type (Tipo ). Você pode selecionar Spark ou Gluten accelerated Spark. Configure os seguintes detalhes:

   a. Na janela Adicionar componente - IBM Spark, digite o Nome de exibição do seu mecanismo Spark.

   c. Configure os seguintes detalhes:

   Provisionamento do mecanismo Spark

   Campo	Descrição
   Versão padrão do Spark	Selecione a versão de tempo de execução do Spark que deve ser considerada para processar os aplicativos. Para conhecer as versões compatíveis do Spark, consulte Versão compatível do Spark.
   Balde de casa do motor	Selecione o bucket registrado do Cloud Object Storage na lista para armazenar os eventos e logs do Spark que são gerados durante a execução de aplicativos Spark. Observação Certifique-se de não selecionar o IBM como a base do Spark Engine. Se você selecionar um bucket gerenciado pela IBM, não poderá acessá-lo para visualizar os registros. Para obter mais informações, consulte Antes de iniciar.
   Capacidade de reserva (Condicional)	Especifique este campo se estiver usando uma versão anterior à 2.3 1 watsonx.data. Selecione o Node Tipo. 2. Insira o número de nós no campo Número de nós.
   Catálogos associados (opcional)	Selecione os catálogos que devem ser associados ao mecanismo.

   Nota O tempo de provisionamento do mecanismo Spark nativo varia de acordo com o número e o tipo de nós que você adiciona ao mecanismo.

6. Clique em Criar. O mecanismo é provisionado e exibido na página Infrastructure Manager.

Para enviar aplicativos Spark usando o mecanismo Spark nativo, consulte Envio de um aplicativo Spark.