Arquitetura e conceitos em instâncias serverless

IBM Analytics Engine instância de serviço

Um serviço IBM Cloud® é uma extensão de nuvem que fornece funcionalidade pronta para uso, como banco de dados, sistema de mensagens e software da Web para executar código ou recursos de gerenciamento ou monitoramento de aplicativo.. Os serviços geralmente não requerem instalação ou manutenção e podem ser combinados para criar aplicativos. Uma instância de um serviço é uma entidade que consiste em recursos que são reservados para um determinado aplicativo ou um serviço.

Quando você cria um IBM Analytics Engine a partir do catálogo, você dará à instância de serviço um nome de sua escolha, selecione o tempo de execução padrão do Spark que deseja associar à instância e forneça a configuração padrão do Spark para usar com a instância. Adicionalmente, é necessário ter que especificar o Instance home, que é o armazenamento anexado à instância por dados relacionados somente a instância.

Nota:

• Quando você cria uma instância de serviço IBM Analytics Engine, nenhum custo é incorrido a menos que você tenha aplicativos Spark em execução ou o servidor de histórico Spark é acessado.
• Os custos são incorridos se IBM Cloud Object Storage se acessado por meio de terminais públicos, e quando você ativar o encaminhamento IBM Analytics Engine logs para IBM Log Analysis.
• Há um limite padrão sobre o número de instâncias de serviço permitidas por IBM Cloud® e sobre a quantidade de CPU e memória que podem ser usadas em qualquer instância de serviço IBM Analytics Engine. Veja Limites e cotas para instâncias Analytics Engine. Se você precisar ajustar esses limites, abra um chamado de Suporte IBM.
• Não há limite no número de aplicativos Spark que podem ser executados em uma instância de serviço IBM Analytics Engine.

Tempo de execução do Spark padrão

No momento do fornecimento da instância, é possível selecionar a versão do Spark a ser usada Atualmente, é possível escolher entre o Spark 3.3 e o Spark 3.4. O Spark 3.3 é considerado como a versão padrão

O tempo de execução inclui binários do Spark de software livre e a configuração ajuda a continuar rapidamente com a criação da instância e executar aplicativos Spark na instância. Além dos binários do Spark, o tempo de execução também inclui as bibliotecas de criptografia modular geoespacial, data skipping e Parquet.

Em toda a versão de tempo de execução do Spark, é possível enviar aplicativos Spark gravados nos idiomas a seguir:

• Escala
• Python
• R

A tabela a seguir mostra a versão de tempo de execução do Spark e a versão do idioma de execução.

As versões de idioma são atualizadas periodicamente para manter o tempo de execução livre de quaisquer vulnerabilidades de segurança Você sempre pode substituir a versão de tempo de execução do Spark quando enviar um aplicativo. Para obter detalhes sobre o que adicionar à carga útil, veja Passando a versão Spark do tempo de execução ao enviar um aplicativo.

Início da instância

Início da instância é o armazenamento conectado à instância apenas para dados relacionados a ela, tais como bibliotecas de aplicativos customizados e eventos de histórico do Spark. Atualmente, apenas IBM Cloud Object Storage é aceito como início de instância. Essa instância pode ser uma instância na conta IBM Cloud® ou de uma conta diferente.

Ao provisionar uma instância usando o console IBM Cloud, as instâncias IBM Cloud Object Storage na conta IBM Cloud® são descobertas automaticamente e exibidas em uma lista para seleção. Se nenhuma instância IBM Cloud Object Storage for localizada na conta, será possível usar as APIs de REST para atualizar o início de instância após a criação dela.

Não é possível mudar a instância inicial após a criação da instância. Só é possível editar as chaves de acesso.

Configuração padrão do Spark

É possível especificar configurações padrão do Spark no momento do fornecimento de uma instância do Analytics Engine (consulte Provisionando uma IBM Analytics Engine instância sem servidor). As configurações são automaticamente aplicadas aos aplicativos do Spark enviados na instância Também é possível atualizar as configurações após a criação da instância É possível editar a configuração na seção Configuração na página Analytics Engine Detalhes da instância Analytics Engine APIs de REST ou CLI do IAE.. Valores especificados como padrões de nível de instância podem ser substituídos no momento de envio de aplicativos Spark.

Para saber mais sobre as várias configurações do Apache Spark, consulte Configuração do Spark.