서버가 없는 인스턴스를 위한 IBM Analytics Engine CLI 플러그인
IBM Analytics Engine v3 CLI는 Standard Serverless Spark 인스턴스와 상호작용하기 위한 명령행 옵션을 제공합니다. CLI를 사용하여 인스턴스 및 Spark 애플리케이션을 관리할 수 있습니다. 서버가 없는 Analytics Engine 인스턴스에 관한 자세한 정보는 서버가 없는 인스턴스의 아키텍처 및 개념을
참조하십시오.
IBM Analytics Engine v3 CLI 명령을 실행하려면 ibmcloud analytics-engine-v3 또는 ibmcloud ae-v3을(를) 사용하십시오.
전제조건
로컬 시스템에 IBM Cloud CLI를 다운로드하여 설치하십시오. CLI를 설치하려면 IBM Cloud CLI를 참조하십시오.
IBM Analytics Engine v3 CLI 설치
다음 명령을 실행하여 IBM Analytics Engine v3 CLI를 설치하십시오.
ibmcloud plugin install analytics-engine-v3
다음 도움말 CLI 명령은 v3 CLI가 다음에 대한 CLI 명령을 지원함을 표시합니다.
$ ibmcloud ae-v3 --help
NAME:
analytics-engine-v3 - Manage serverless Spark instances and run applications.
USAGE:
ibmcloud analytics-engine-v3 [command] [options]
ALIASES:
analytics-engine-v3, ae-v3
COMMANDS:
history-server Commands for HistoryServer resource.
instance Commands for Instance resource.
log-forwarding-config Commands for LogForwardingConfig resource.
spark-app Commands for SparkApp resource.
target All commands run after setting a target will be run on the target instance
OPTIONS:
-h, --help Show help
-j, --jmes-query string Provide a JMESPath query to customize output.
--output string Choose an output format - can be 'json', 'yaml', or 'table'. (default "table")
-q, --quiet Suppresses verbose messages.
-v, --version version for analytics-engine-v3
Use "ibmcloud analytics-engine-v3 service-command --help" for more information about a command.
대상 인스턴스 설정
다음 명령을 사용하면 이후의 모든 CLI 명령이 실행될 대상 인스턴스를 설정할 수 있습니다.
참고: v3 CLI 명령어에서 인스턴스 ID를 명시적으로 전달하는 경우, 대상로 설정된 인스턴스 ID보다 이 ID가 우선 적용됩니다.
ibmcloud analytics-engine-v3 target [--instance-id INSTANCE-ID] [--unset-instance]
명령 옵션
- -i, --instance-id
- 대상 Analytics Engine 인스턴스의 식별자입니다. 이후의 모든 명령은 대상 인스턴스에 대해 실행됩니다.
- --unset-instance
- 대상 인스턴스 설정 취소
예제
다음 예는 대상 인스턴스를 설정하는 방법을 보여줍니다.
$ ibmcloud ae-v3 target --instance-id d2189b-b729-61f-adc0-987001da52e3
...
Target instance d0f582f7-cbf4-4c64-bf7f-72efd21c9f32
Subsequent commands will be run against the target instance
다음 예는 대상 인스턴스를 취소하는 방법을 보여줍니다.
$ ibmcloud ae-v3 target --unset-instance
...
Target instance d0f582f7-cbf4-4c64-bf7f-72efd21c9f32 revoked
No target instance is set
인스턴스 관리 명령
인스턴스 관리에는 이 명령을 사용합니다.
ibmcloud analytics-engine-v3 instance --help
ibmcloud analytics-engine-v3 instance show
단일 Analytics Engine 인스턴스의 세부 정보를 가져옵니다.
ibmcloud analytics-engine-v3 instance show [--id ID]
명령 옵션
-i,--id(문자열)-
검색할 Analytics Engine 서비스 인스턴스의 GUID입니다. 지정하면 대상 인스턴스 ID가 설정된 경우 이를 재정의합니다. 대상 인스턴스가 설정되지 않은 경우 필수입니다.
값은 정규 표현식
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/과 일치해야 합니다.
예제
다음 예는 인스턴스 ID 없이 show 명령을 사용하는 방법을 보여줍니다. 요청된 작업이 대상 인스턴스에서 수행됩니다.
ibmcloud analytics-engine-v3 instance show --output json
다음 예는 정의된 경우 대상 인스턴스 ID를 재정의하는 인스턴스 ID와 함께 show 명령을 사용하는 방법을 보여줍니다:
ibmcloud analytics-engine-v3 instance show \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
출력 예
출력은 다음과 같습니다.
{
"id" : "dc0e9889-eab2-4t9e-9441-566209499546",
"state" : "active",
"state_change_time" : "2021-04-21T04:24:01Z",
"default_runtime" : {
"spark_version" : "3.3"
},
"instance_home" : {
"guid" : "30d5c4a7-9fb7-4712-9039-a79417dec87b",
"provider" : "ibm-cos",
"type" : "objectstore",
"region" : "us-south",
"endpoint" : "s3.direct.us-south.cloud-object-storage.appdomain.cloud",
"bucket" : "ae-bucket-do-not-delete-dc0e9889-eab2-4t9e-9441-566209499546",
"hmac_access_key" : "eH****g=",
"hmac_secret_key" : "4d********76"
},
"default_config" : {
"spark.driver.memory" : "4g",
"spark.driver.cores" : 1
}
}
ibmcloud analytics-engine-v3 instance state
단일 Analytics Engine 인스턴스의 상태를 검색합니다.
ibmcloud analytics-engine-v3 instance state [--id ID]
명령 옵션
-i,--id(문자열)-
상태를 검색할 Analytics Engine 서비스 인스턴스의 GUID입니다. 지정하면 대상 인스턴스 ID가 설정된 경우 이를 재정의합니다. 대상 인스턴스가 설정되지 않은 경우 필수입니다.
값은 정규 표현식
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/과 일치해야 합니다.
예제
ibmcloud analytics-engine-v3 instance state --output json
ibmcloud analytics-engine-v3 instance state \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
출력 예
{
"id" : "dc0e9889-eab2-4t9e-9441-566209499546",
"state" : "active"
}
ibmcloud analytics-engine-v3 instance home-set
Analytics Engine 인스턴스와 연결할 Cloud Object Storage 인스턴스의 세부 정보를 제공하고 '인스턴스 홈'이 아직 설정되지 않은 경우 '인스턴스 홈'으로 사용합니다.
참고: 인스턴스가 '인스턴스 홈'을 다시 설정할 수 있는 상태는 '인스턴스 홈_생성_실패' 상태인 경우입니다.
ibmcloud analytics-engine-v3 instance home-set [--id ID] [--instance-home-id INSTANCE-HOME-ID] [--endpoint ENDPOINT] [--hmac-access-key HMAC-ACCESS-KEY] [--hmac-secret-key HMAC-SECRET-KEY]
명령 옵션
-i,--id(문자열)-
'인스턴스 홈'을 설정할 Analytics Engine 인스턴스의 ID입니다. 지정하면 대상 인스턴스 ID가 설정된 경우 이를 재정의합니다. 대상 인스턴스가 설정되지 않은 경우 필수입니다.
값은 정규 표현식
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/과 일치해야 합니다. --instance-home-id(문자열)-
인스턴스 홈 스토리지 인스턴스의 UUID입니다.
--endpoint(문자열)-
Cloud Object Storage 인스턴스에 액세스하는 엔드포인트입니다.
기본값은
s3.direct.us-south.cloud-object-storage.appdomain.cloud입니다. --hmac-access-key(문자열)-
Cloud Object Storage 액세스 키. 필수.
--hmac-secret-key(문자열)-
Cloud Object Storage 비밀 키. 필수.
예제
ibmcloud analytics-engine-v3 instance home-set \
--hmac-access-key=821**********0ae \
--hmac-secret-key=03e****************4fc3 \
--output json
ibmcloud analytics-engine-v3 instance home-set \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--instance-home-id=701549e6-ab7e-43f2-8b7e-742698c53db8 \
--hmac-access-key=821**********0ae \
--hmac-secret-key=03e****************4fc3 \
--output json
출력 예
출력은 다음과 같습니다.
{
"instance_id" : "701549e6-ab7e-43f2-8b7e-742698c53db8",
"region" : "us-south",
"endpoint" : "https://s3.direct.us-south.cloud-object-storage.appdomain.cloud",
"hmac_access_key" : "b9**********4b",
"hmac_secret_key" : "fa******************8a"
}
ibmcloud analytics-engine-v3 instance default-configs
인스턴스의 모든 애플리케이션에 적용될 기본 Spark 구성 속성을 가져옵니다.
ibmcloud analytics-engine-v3 instance default-configs [--id ID]
명령 옵션
-i,--id(문자열)-
Analytics Engine 인스턴스의 ID입니다. 지정하면 대상 인스턴스 ID가 설정된 경우 이를 재정의합니다. 대상 인스턴스가 설정되지 않은 경우 필수입니다.
값은 정규 표현식
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/과 일치해야 합니다.
예제
ibmcloud analytics-engine-v3 instance default-configs --output json
ibmcloud analytics-engine-v3 instance default-configs \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
출력 예
출력은 다음과 같습니다.
{
"spark.driver.memory" : "4G",
"spark.driver.cores" : "1"
}
ibmcloud analytics-engine-v3 instance default-configs-replace
인스턴스의 모든 애플리케이션에 적용될 기본 Spark 구성 속성을 교체합니다.
ibmcloud analytics-engine-v3 instance default-configs-replace [--id ID] --body BODY
명령 옵션
-i,--id(문자열)-
Analytics Engine 인스턴스의 ID입니다. 지정하면 대상 인스턴스 ID가 설정된 경우 이를 재정의합니다. 대상 인스턴스가 설정되지 않은 경우 필수입니다.
값은 정규 표현식
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/과 일치해야 합니다. --body( [맵스트링] )-
기존 인스턴스 기본 스파크 구성을 대체하는 스파크 구성 속성입니다. 필수.
예제
ibmcloud analytics-engine-v3 instance default-configs-replace \
--body='{"spark.driver.memory" : "8G", "spark.driver.cores" : "2"}' \
--output json
ibmcloud analytics-engine-v3 instance default-configs-replace \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--body='{"spark.driver.memory" : "8G", "spark.driver.cores" : "2"}' \
--output json
출력 예
출력은 다음과 같습니다.
{
"spark.driver.memory" : "8G",
"spark.driver.cores" : "2"
}
ibmcloud analytics-engine-v3 instance default-configs-update
인스턴스의 모든 애플리케이션에 적용될 기본 Spark 구성 속성을 업데이트합니다.
ibmcloud analytics-engine-v3 instance default-configs-update [--id ID] --body BODY
명령 옵션
-i,--id(문자열)-
Analytics Engine 인스턴스의 ID입니다. 지정하면 대상 인스턴스 ID가 설정된 경우 이를 재정의합니다. 대상 인스턴스가 설정되지 않은 경우 필수입니다.
값은 정규 표현식
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/과 일치해야 합니다. --body(일반 지도)-
업데이트할 스파크 구성 속성입니다. 속성은 기존 구성 속성과 병합됩니다. 속성 값을 설정 해제하려면
null으로 설정합니다. 필수.
예제
ibmcloud analytics-engine-v3 instance default-configs-update \
--body='{"ae.spark.history-server.cores" : "1", "ae.spark.history-server.memory" : "4G"}' \
--output json
ibmcloud analytics-engine-v3 instance default-configs-update \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--body='{"ae.spark.history-server.cores" : "1", "ae.spark.history-server.memory" : "4G"}' \
--output json
출력 예
출력은 다음과 같습니다.
{
"ae.spark.history-server.cores" : "1",
"ae.spark.history-server.memory" : "4G",
"spark.driver.memory" : "8G",
"spark.driver.cores" : "2"
}
ibmcloud analytics-engine-v3 instance default-runtime
인스턴스의 모든 워크로드가 실행될 기본 런타임 환경을 가져옵니다.
ibmcloud analytics-engine-v3 instance default-runtime [--id ID]
명령 옵션
-i,--id(문자열)-
Analytics Engine 인스턴스의 ID입니다. 지정하면 대상 인스턴스 ID가 설정된 경우 이를 재정의합니다.
값은 정규 표현식
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/과 일치해야 합니다.
예제
ibmcloud analytics-engine-v3 instance default-runtime --output json
ibmcloud analytics-engine-v3 instance default-runtime \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
출력 예
출력은 다음과 같습니다.
{
"spark_version" : "3.3"
}
ibmcloud analytics-engine-v3 instance default-runtime-replace
인스턴스의 모든 워크로드가 실행될 기본 런타임 환경을 바꿉니다.
ibmcloud analytics-engine-v3 instance default-runtime-replace [--id ID] --runtime-spark-version RUNTIME-SPARK-VERSION
명령 옵션
-i,--id(문자열)-
Analytics Engine 인스턴스의 ID입니다. 지정하면 대상 인스턴스 ID가 설정된 경우 이를 재정의합니다. 대상 인스턴스가 설정되지 않은 경우 필수입니다.
값은 정규 표현식
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/과 일치해야 합니다. --runtime-spark-version(문자열)-
런타임 환경의 Spark 버전입니다. 필수.
허용되는 값은 다음과 같습니다:
3.1,3.3,3.4.
예제
ibmcloud analytics-engine-v3 instance default-runtime-replace \
--runtime-spark-version=3.3 \
--output json
ibmcloud analytics-engine-v3 instance default-runtime-replace \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--runtime-spark-version=3.3 \
--output json
출력 예
출력은 다음과 같습니다.
{
"spark_version" : "3.3"
}
ibmcloud analytics-engine-v3 instance current-resource-consumption
이 시점에 서비스 인스턴스에서 실행 중인 모든 애플리케이션에 할당된 총 메모리 및 가상 프로세서 코어를 제공합니다. 자동 확장 애플리케이션이 실행 중일 때 할당된 리소스는 애플리케이션의 요구 사항에 따라 시간이 지남에 따라 변경됩니다.
참고: 이 소비량은 Spark 프로세스의 실제 리소스 소비량을 나타내는 것이 아닙니다. 신청서 제출 시 현재 실행 중인 애플리케이션에 할당된 리소스의 합계입니다.
ibmcloud analytics-engine-v3 instance current-resource-consumption [--id ID]
명령 옵션
-i,--id(문자열)-
Analytics Engine 인스턴스의 ID입니다. 지정하면 대상 인스턴스 ID가 설정된 경우 이를 재정의합니다. 대상 인스턴스가 설정되지 않은 경우 필수입니다.
값은 정규 표현식
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/과 일치해야 합니다.
예제
ibmcloud analytics-engine-v3 instance current-resource-consumption --output json
ibmcloud analytics-engine-v3 instance current-resource-consumption \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
출력 예
출력은 다음과 같습니다.
{
"cores" : "2",
"memory" : "8G"
}
ibmcloud analytics-engine-v3 instance resource-consumption-limits
특정 시점에 서비스 인스턴스에서 실행 중인 모든 애플리케이션에 할당된 최대 총 메모리 및 가상 프로세서 코어를 반환합니다.
ibmcloud analytics-engine-v3 instance resource-consumption-limits [--id ID]
명령 옵션
-i,--id(문자열)-
Analytics Engine 인스턴스의 ID입니다. 지정하면 대상 인스턴스 ID가 설정된 경우 이를 재정의합니다. 대상 인스턴스가 설정되지 않은 경우 필수입니다.
값은 정규 표현식
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/과 일치해야 합니다.
예제
ibmcloud analytics-engine-v3 instance resource-consumption-limits --output json
ibmcloud analytics-engine-v3 instance resource-consumption-limits \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
출력 예
출력은 다음과 같습니다.
{
"max_cores" : "150",
"max_memory" : "600G"
}
Spark 애플리케이션 명령
Spark 애플리케이션 CLI 명령을 사용하여 다음 조작을 수행할 수 있습니다.
ibmcloud analytics-engine-v3 spark-app --help
ibmcloud analytics-engine-v3 spark-app submit
지정된 서버리스 Spark 인스턴스에 Spark 애플리케이션을 배포합니다.
ibmcloud analytics-engine-v3 spark-app submit [--instance-id INSTANCE-ID] [--app APP] [--runtime RUNTIME] [--jars JARS] [--packages PACKAGES] [--repositories REPOSITORIES] [--files FILES] [--archives ARCHIVES] [--name NAME] [--class CLASS] [--arg ARG] [--conf CONF] [--env ENV]
명령 옵션
-i,--instance-id(문자열)-
스파크 애플리케이션과 연결된 Analytics Engine 인스턴스의 식별자입니다. 지정하면 대상 인스턴스 ID가 설정된 경우 이를 재정의합니다. 대상 인스턴스가 설정되지 않은 경우 필수입니다.
값은 정규 표현식
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/과 일치해야 합니다. --app(문자열)-
실행할 애플리케이션의 경로입니다. 필수.
--runtime(Runtime)-
애플리케이션 및 기타 워크로드를 위한 런타임 환경.
--jars(문자열)-
애플리케이션이 포함된 jar 파일의 경로입니다.
--packages(문자열)-
패키지 이름.
--repositories(문자열)-
리포지토리 이름.
--files(문자열)-
파일 이름.
--archives(문자열)-
아카이브 이름.
--name(문자열)-
애플리케이션의 이름입니다.
--class(문자열)-
'.jar' 파일로 번들로 제공되는 Spark 애플리케이션의 진입점입니다. 이는 Java 또는 Scala 애플리케이션에만 적용됩니다.
값은 정규 표현식
/([\\p{L}_$][\\p{L}\\p{N}_$]*\\.)*[\\p{L}_$][\\p{L}\\p{N}_$]*/과 일치해야 합니다. --arg([]문자열)-
애플리케이션에 전달할 인수의 배열입니다.
--conf(일반 지도)-
인스턴스 수준에서 지정된 값을 재정의하는 애플리케이션 구성입니다. 지원되는 변수 목록은 Spark 환경 변수를 참조하세요.
--env(일반 지도)-
사용할 애플리케이션 환경 구성. 지원되는 변수 목록은 Spark 환경 변수를 참조하세요.
예제
ibmcloud analytics-engine-v3 spark-app submit \
--arg "/opt/ibm/spark/examples/src/main/resources/people.txt" \
--app "/opt/ibm/spark/examples/src/main/python/wordcount.py" \
--runtime='{"spark_version": "3.3"}' \
--output json
ibmcloud analytics-engine-v3 spark-app submit \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--arg "/opt/ibm/spark/examples/src/main/resources/people.txt" \
--app "/opt/ibm/spark/examples/src/main/python/wordcount.py" \
--runtime='{"spark_version": "3.3"}' \
--output json
출력 예
출력은 다음과 같습니다.
{
"id" : "87e63712-a823-4aa1-9f6e-7291d4e5a113",
"state" : "accepted"
}
ibmcloud analytics-engine-v3 spark-app list
지정된 Analytics Engine 인스턴스에 제출된 모든 스파크 애플리케이션의 목록을 반환합니다. 쿼리 매개변수를 지정하여 결과를 필터링할 수 있습니다. limit 쿼리 매개변수를 지정하여 반환되는 애플리케이션 수를 제한할 수 있습니다. start 와 limit 를 함께 사용하여 결과의 다음 페이지 또는 이전 페이지를 불러옵니다.
ibmcloud analytics-engine-v3 spark-app list [--instance-id INSTANCE-ID] [--state STATE] [--limit LIMIT] [--start START]
명령 옵션
-i,--instance-id(문자열)-
스파크 애플리케이션과 연결된 Analytics Engine 인스턴스의 식별자입니다. 필수.
값은 정규 표현식
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/과 일치해야 합니다. --state([]문자열)-
응답을 필터링하는 데 사용할 스파크 애플리케이션 상태 목록입니다.
허용되는 목록 항목은 다음과 같습니다:
finished,running,failed,accepted,stopped,auto_terminated,ops_terminated. --limit(int64)-
응답에 포함될 애플리케이션 항목 수입니다.
최대값은
1000입니다. 최소값은1입니다. --start(문자열)-
애플리케이션 목록의 다음 페이지 또는 이전 페이지를 가져오는 데 사용되는 토큰입니다.
--all-pages(bool)-
spark-app-list 컬렉션의 모든 페이지를 표시하려면 여러 요청을 실행하십시오.
예제
ibmcloud analytics-engine-v3 spark-app list \
--state=finished \
--limit=25
ibmcloud analytics-engine-v3 spark-app list \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--state=finished \
--limit=25
출력 예
출력은 다음과 같습니다.
{
"applications" : [ {
"id" : "db933645-0b68-4dcb-80d8-7b71a6c8e542",
"spark_application_id" : "app-20211009103247-0000",
"spark_application_name" : "PythonWordCount",
"state" : "finished",
"submission_time" : "2021-04-21T04:23:50Z",
"start_time" : "2021-04-21T04:24:01Z",
"end_time" : "2021-04-21T04:25:18Z",
"finish_time" : "2021-04-21T04:25:18Z",
"auto_termination_time" : "2021-04-24T04:24:01Z"
}, {
"id" : "a2a2b23f-0929-4c49-9cc0-bd4c2bf953d9",
"spark_application_id" : "app-20211009103147-0000",
"spark_application_name" : "PythonWordCount",
"state" : "finished",
"submission_time" : "2021-04-21T04:21:50Z",
"start_time" : "2021-04-21T04:22:01Z",
"end_time" : "2021-04-21T04:23:18Z",
"finish_time" : "2021-04-21T04:23:18Z",
"auto_termination_time" : "2021-04-24T04:22:01Z"
} ],
"first" : {
"href" : "https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/e64c907a-e82f-46fd-addc-ccfafbd28b09/spark_applications?limit=25"
},
"next" : {
"href" : "https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/e64c907a-e82f-46fd-addc-ccfafbd28b09/spark_applications?limit=25&start=QiwyMDIyLTA5LTI2IDA4OjE4OjU2LjE4MiwxMDAyYTVlZC0xZWU4LTQwZWItOWUyNC00OTMyNTcxZjgzYzE",
"start" : "QiwyMDIyLTA5LTI2IDA4OjE4OjU2LjE4MiwxMDAyYTVlZC0xZWU4LTQwZWItOWUyNC00OTMyNTcxZjgzYzE"
},
"limit": 25
}
ibmcloud analytics-engine-v3 spark-app show
지정된 Spark 애플리케이션의 세부 정보를 가져옵니다.
ibmcloud analytics-engine-v3 spark-app show [--instance-id INSTANCE-ID] --app-id APP-ID
명령 옵션
-i,--instance-id(문자열)-
애플리케이션이 속한 인스턴스의 식별자입니다. 지정하면 대상 인스턴스 ID가 설정된 경우 이를 재정의합니다. 대상 인스턴스가 설정되지 않은 경우 필수입니다.
값은 정규 표현식
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/과 일치해야 합니다. --app-id(문자열)-
세부 정보가 요청되는 애플리케이션의 식별자입니다. 필수.
값은 정규 표현식
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/과 일치해야 합니다.
예제
ibmcloud analytics-engine-v3 spark-app show \
--app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b \
--output json
ibmcloud analytics-engine-v3 spark-app show \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b \
--output json
출력 예
출력은 다음과 같습니다.
{
"application_details" : {
"application" : "/opt/ibm/spark/examples/src/main/python/wordcount.py",
"arguments" : [ "/opt/ibm/spark/examples/src/main/resources/people.txt" ],
"runtime": {
"spark_version": "3.3"
}
},
"id" : "a9a6f328-56d8-4923-8042-97652fff2af3",
"spark_application_id" : "app-20210908112356-0000",
"spark_application_name" : "PythonWordCount",
"state" : "finished",
"submission_time" : "2021-04-21T04:23:55Z",
"start_time" : "2021-04-21T04:24:01Z",
"end_time" : "2021-04-21T04:28:15Z",
"finish_time" : "2021-04-21T04:28:15Z",
"auto_termination_time" : "2021-04-24T04:24:01Z"
}
ibmcloud analytics-engine-v3 spark-app stop
app_id 식별자로 지정된 실행 중인 애플리케이션을 중지합니다. 이는 멱등 오퍼레이션입니다. 요청된 애플리케이션이 이미 중지되거나 완료된 경우 조치를 수행하지 않습니다.
ibmcloud analytics-engine-v3 spark-app stop [--instance-id INSTANCE-ID] --app-id APP-ID
명령 옵션
-i,--instance-id(문자열)-
애플리케이션이 속한 인스턴스의 식별자입니다. 지정하면 대상 인스턴스 ID가 설정된 경우 이를 재정의합니다. 대상 인스턴스가 설정되지 않은 경우 필수입니다.
값은 정규 표현식
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/과 일치해야 합니다. --app-id(문자열)-
중지해야 하는 애플리케이션의 식별자입니다. 필수.
값은 정규 표현식
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/과 일치해야 합니다.
예제
ibmcloud analytics-engine-v3 spark-app stop \
--app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b
ibmcloud analytics-engine-v3 spark-app stop \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b
ibmcloud analytics-engine-v3 spark-app status
지정된 스파크 애플리케이션의 상태를 반환합니다.
ibmcloud analytics-engine-v3 spark-app status [--instance-id INSTANCE-ID] --app-id APP-ID
명령 옵션
-i,--instance-id(문자열)-
애플리케이션이 속한 인스턴스의 식별자입니다. 지정하면 대상 인스턴스 ID가 설정된 경우 이를 재정의합니다. 대상 인스턴스가 설정되지 않은 경우 필수입니다.
값은 정규 표현식
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/과 일치해야 합니다. --app-id(문자열)-
세부 정보가 요청되는 애플리케이션의 식별자입니다. 필수.
값은 정규 표현식
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/과 일치해야 합니다.
예제
ibmcloud analytics-engine-v3 spark-app status \
--app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b \
--output json
ibmcloud analytics-engine-v3 spark-app status \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b \
--output json
출력 예
출력은 다음과 같습니다.
{
"id" : "9da32aaf-df69-4e61-bdb8-1b2772c0f677",
"state" : "finished",
"start_time" : "2021-04-21T04:24:01Z",
"end_time" : "2021-04-21T04:28:15Z",
"finish_time" : "2021-04-21T04:28:15Z",
"auto_termination_time" : "2021-04-24T04:24:01Z"
}
로그 전달 구성
이 명령어를 사용하면 서버리스 인스턴스에서 IBM Log Analysis 서비스로 로그 전달을 활성화하거나 비활성화할 수 있으며, 로그 전달 구성 상태를 확인할 수 있습니다.
ibmcloud analytics-engine-v3 log-forwarding-config --help
ibmcloud analytics-engine-v3 log-forwarding-config replace
Analytics Engine 인스턴스에서 IBM Log Analysis 서버로 로그를 전달하도록 구성을 수정합니다. 이 엔드포인트를 사용하여 로그 전달을 사용하거나 사용하지 않도록 설정합니다.
ibmcloud analytics-engine-v3 log-forwarding-config replace [--instance-id INSTANCE-ID] --enabled ENABLED [--sources SOURCES] [--tags TAGS]
명령 옵션
-i,--instance-id(문자열)-
Analytics Engine 인스턴스의 ID입니다. 지정하면 대상 인스턴스 ID가 설정된 경우 이를 재정의합니다. 대상 인스턴스가 설정되지 않은 경우 필수입니다.
값은 정규 표현식
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/과 일치해야 합니다. --enabled(bool)-
로그 전달을 사용하거나 사용하지 않도록 설정합니다. 필수.
--sources([]문자열)-
전달할 로그의 소스 목록입니다. 기본적으로 '스파크 드라이버' 로그만 전달됩니다.
--tags([]문자열)-
전달되는 로그에 적용할 태그 목록입니다. IBM Log Analysis 서버에서 로그를 필터링하는 데 사용할 수 있습니다.
예제
ibmcloud analytics-engine-v3 log-forwarding-config replace \
--enabled=true \
--sources=spark-driver,spark-executor \
--tags=<tag_1>,<tag_2>,<tag_n> \
--output json
ibmcloud analytics-engine-v3 log-forwarding-config replace \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--enabled=true \
--sources=spark-driver,spark-executor \
--tags=<tag_1>,<tag_2>,<tag_n> \
--output json
출력 예
출력은 다음과 같습니다.
{
"sources" : [ "spark-driver", "spark-executor" ],
"log_server" : {
"type" : "ibm-log-analysis"
},
"enabled" : true
}
ibmcloud analytics-engine-v3 log-forwarding-config show
Analytics Engine 인스턴스의 로그 포워딩 구성을 검색합니다.
ibmcloud analytics-engine-v3 log-forwarding-config show [--instance-id INSTANCE-ID]
명령 옵션
-i,--instance-id(문자열)-
Analytics Engine 인스턴스의 ID입니다. 지정하면 대상 인스턴스 ID가 설정된 경우 이를 재정의합니다. 대상 인스턴스가 설정되지 않은 경우 필수입니다.
값은 정규 표현식
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/과 일치해야 합니다.
예제
ibmcloud analytics-engine-v3 log-forwarding-config show --output json
ibmcloud analytics-engine-v3 log-forwarding-config show \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
출력 예
출력은 다음과 같습니다.
{
"sources" : [ "spark-driver", "spark-executor" ],
"log_server" : {
"type" : "ibm-log-analysis"
},
"enabled" : true
}
스파크 기록 서버
다음 명령을 사용하여 인스턴스의 Spark 기록 서버를 시작하거나 중지할 수 있습니다.
ibmcloud analytics-engine-v3 history-server --help
ibmcloud analytics-engine-v3 history-server start
지정된 Analytics Engine 인스턴스에 대한 Spark 기록 서버를 시작합니다.
ibmcloud analytics-engine-v3 history-server start [--instance-id INSTANCE-ID]
명령 옵션
-i,--instance-id(문자열)-
스파크 기록 서버가 속한 Analytics Engine 인스턴스의 ID입니다. 지정하면 대상 인스턴스 ID가 설정된 경우 이를 재정의합니다. 대상 인스턴스가 설정되지 않은 경우 필수입니다.
값은 정규 표현식
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/과 일치해야 합니다.
예제
ibmcloud analytics-engine-v3 history-server start --output json
ibmcloud analytics-engine-v3 history-server start \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
출력 예
출력은 다음과 같습니다.
{
"state" : "started",
"cores" : "1",
"memory" : "4G",
"start_time" : "2022-02-21T07:37:47Z",
"auto_termination_time" : "2022-02-24T07:37:47Z"
}
ibmcloud analytics-engine-v3 history-server show
지정된 Analytics Engine 인스턴스의 스파크 기록 서버에 대한 세부 정보를 가져옵니다.
ibmcloud analytics-engine-v3 history-server show [--instance-id INSTANCE-ID]
명령 옵션
-i,--instance-id(문자열)-
스파크 기록 서버가 속한 Analytics Engine 인스턴스의 ID입니다. 지정하면 대상 인스턴스 ID가 설정된 경우 이를 재정의합니다. 대상 인스턴스가 설정되지 않은 경우 필수입니다.
값은 정규 표현식
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/과 일치해야 합니다.
예제
ibmcloud analytics-engine-v3 history-server show --output json
ibmcloud analytics-engine-v3 history-server show \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
출력 예
출력은 다음과 같습니다.
{
"state" : "started",
"cores" : "1",
"memory" : "4G",
"start_time" : "2022-02-21T07:37:47Z",
"auto_termination_time" : "2022-02-24T07:37:47Z"
}
ibmcloud analytics-engine-v3 history-server stop
지정된 Analytics Engine 인스턴스의 Spark 기록 서버를 중지합니다.
ibmcloud analytics-engine-v3 history-server stop [--instance-id INSTANCE-ID]
명령 옵션
-i,--instance-id(문자열)-
스파크 기록 서버가 속한 Analytics Engine 인스턴스의 ID입니다. 지정하면 대상 인스턴스 ID가 설정된 경우 이를 재정의합니다. 대상 인스턴스가 설정되지 않은 경우 필수입니다.
값은 정규 표현식
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/과 일치해야 합니다.
예제
ibmcloud analytics-engine-v3 history-server stop --output json
ibmcloud analytics-engine-v3 history-server stop \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
로그 구성
참고: 사용되지 않습니다. 대신 로그 전달-config 명령 그룹의 동등한 명령을 사용합니다.
ibmcloud analytics-engine-v3 log-config --help
ibmcloud analytics-engine-v3 log-config update
IBM Analytics Engine 에서 IBM Log Analysis 서버로 로그 전달을 활성화 또는 비활성화합니다.
참고: 사용되지 않습니다. 대신 log-forwarding-config 명령 그룹에서 replace 을 사용합니다.
ibmcloud analytics-engine-v3 log-config update [--instance-id INSTANCE-ID] [--enable ENABLE]
명령 옵션
-i,--instance-id(문자열)-
로그 포워딩을 구성할 인스턴스 세부정보의 GUID입니다. 지정하면 대상 인스턴스 ID가 설정된 경우 이를 재정의합니다. 대상 인스턴스가 설정되지 않은 경우 필수입니다.
값은 정규 표현식
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/과 일치해야 합니다. --enable(bool)-
로그 전달을 사용하거나 사용하지 않도록 설정합니다. 필수.
예제
ibmcloud analytics-engine-v3 log-config update \
--enable=true \
--output json
ibmcloud analytics-engine-v3 log-config update \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--enable=true \
--output json
출력 예
출력은 다음과 같습니다.
{
"components" : [ "spark-driver", "spark-executor" ],
"log_server" : {
"type" : "ibm-log-analysis"
},
"enable" : true
}
ibmcloud analytics-engine-v3 log-config show
지정된 Analytics Engine 인스턴스의 로깅 구성을 검색합니다.
참고: 사용되지 않습니다. 대신 log-forwarding-config 명령 그룹에서 show 을 사용합니다.
ibmcloud analytics-engine-v3 log-config show [--instance-id INSTANCE-ID]
명령 옵션
-i,--instance-id(문자열)-
로그 구성을 검색할 Analytics Engine 서비스 인스턴스의 GUID입니다. 지정하면 대상 인스턴스 ID가 설정된 경우 이를 재정의합니다. 대상 인스턴스가 설정되지 않은 경우 필수입니다.
값은 정규 표현식
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/과 일치해야 합니다.
예제
ibmcloud analytics-engine-v3 log-config show --output json
ibmcloud analytics-engine-v3 log-config show \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
출력 예
출력은 다음과 같습니다.
{
"components" : [ "spark-driver", "spark-executor" ],
"log_server" : {
"type" : "ibm-log-analysis"
},
"enable" : true
}
스키마 예
다음 스키마 예시는 명령 옵션을 지정하는 데 필요한 데이터를 나타냅니다. 이 예제들은 데이터 구조를 보여주고, 예상되는 값의 유형에 대한 자리 표시자 값을 포함하고 있습니다. 명령을 실행할 때 이러한 값을 해당 환경에 적용되는 값으로 바꾸십시오.
런타임
다음 예제는 Runtime 객체의 형식을 보여줍니다.
{
"spark_version" : "3.3"
}