定制概述

您可以专门定制无服务器实例,以满足您的应用程序需求,而不是缺省配置的实例。

例如,您可能想要安装定制分析第三方库,或者您可能想要对一些集群配置 (例如,Spark 缺省配置) 进行微调。

您可以在实例生命周期的任何时间点定制实例。 定制仅应用于在添加定制后提交的那些应用程序。 它们不会应用于当前正在运行的应用程序。

定制选项

您可以通过以下方法定制实例:

  • 指定实例中运行的所有 Spark 应用程序继承的配置值
  • 使 Python,R,Scala 或定制库可供 Spark 应用程序使用

创建实例时,可以执行以下操作:

  • 指定 Apache Spark 配置支持的配置属性和环境变量的缺省值。 您可以将配置属性和环境变量指定为在实例级别保存并传递到实例中运行的所有 Spark 应用程序的“名称/值”对。 这些缺省配置参数可以简化提交 Spark 应用程序时传递的有效内容。 您还可以在提交 Spark 应用程序时覆盖这些值。

    有关缺省 Spark 配置和环境变量的列表,请参阅 Spark 配置

  • 在创建实例后,使用 Spark 应用程序所需的库来定制实例。 您可以创建一个库集,该库集打包要提供给实例中运行的所有 Spark 应用程序的所有库,然后在提交 Spark 应用程序时引用此定义的库集。

    要创建库集,请参阅 创建库集

  • 定制库集的最大大小限制为 2 GB。
  • Spark 应用程序的开始时间或在自动缩放方案中添加其他执行程序所花费的时间与定制库集的大小成正比。 因此,最佳实践是将库集限制为仅包含特定应用程序所需的文件。 如果其他应用程序需要不同的文件集,那么最好使用不同的库集。