自訂作業概觀
您可以專門自訂無伺服器實例,以符合您的應用程式需求,高於預設佈建的實例。
例如,您可能想要安裝自訂分析協力廠商程式庫,或者您可能想要細部調整部分叢集配置,例如 Spark 預設配置。
您可以在實例生命週期的任何點自訂實例。 自訂作業只會套用至在您新增自訂作業之後所提交的那些應用程式。 它們不會套用至目前執行中的應用程式。
自訂作業選項
您可以透過下列方式自訂實例:
- 指定實例中執行的所有 Spark 應用程式所繼承的配置值
- 讓 Python、R、Scala 或自訂程式庫可供 Spark 應用程式使用
當您建立實例時,可以執行下列動作:
-
指定 Apache Spark 配置所支援的配置內容和環境變數的預設值。 您可以將配置內容及環境變數指定為名稱/值配對,這些名稱/值配對儲存在實例層次,並傳遞至實例中執行的所有 Spark 應用程式。 這些預設配置參數可以簡化提交 Spark 應用程式時所傳遞的有效負載。 您也可以在提交 Spark 應用程式時置換這些值。
如需預設 Spark 配置和環境變數的清單,請參閱 Spark 配置。
-
在建立實例之後,使用 Spark 應用程式所需的程式庫自訂實例。 您可以建立程式庫集,將所有程式庫包裝成可供實例中執行的所有 Spark 應用程式使用,然後在提交 Spark 應用程式時參照這個已定義的程式庫集。
若要建立程式庫集,請參閱 建立程式庫集。
附註:
- 自訂作業程式庫集的大小上限是 2 GB。
- Spark 應用程式的開始時間或在自動調整實務範例中新增其他執行程式所花費的時間,與自訂程式庫集的大小成正比。 因此,最佳作法是將程式庫集限制為特定應用程式所需的檔案。 如果其他應用程式需要不同的檔案集,最好使用不同的程式庫集。