전제조건

IBM Cloud watsonx.ai 구독.

프로시저

watsonx.data 스파크 엔진에서 Jupyter Notebook 실행하려면 다음과 같이 하세요:

1. watsonx.ai 프로젝트를 만듭니다. watsonx.ai 프로젝트를 만들려면 프로젝트 만들기를 참조하세요.

2. 스파크 엔진 환경을 만듭니다. Jupyter Notebook 실행하려면 런타임 환경 템플릿을 만들어야 합니다.

   이렇게 하려면 UI에서 watsonx. ai 프로젝트에 액세스합니다. 관리 탭으로 이동합니다. 템플리트를 작성하십시오. 환경 템플릿 만들기에 대한 자세한 내용은 환경 템플릿 만들기를 참조하세요. 템플릿을 생성하는 동안 유형을 Spark로 선택하고 Spark 엔진 목록에서 watsonx.data 인스턴스에서 프로비저닝한 기본 Spark 엔진을 선택합니다.

3. Jupyter Notebook 에셋을 만들고 Jupyter Notebook 편집기 도구에서 액세스합니다. 노트북 편집기에서 노트북 파일을 만들려면 노트북 편집기에서 노트북 파일 만들기를 참고하세요.

   노트북을 만들 때 watsonx.data 스파크 엔진용으로 생성한 런타임 환경을 지정합니다.

   노트북이 편집 모드로 열립니다. 작업을 시작할 수 있습니다. 자세한 내용은 노트북 편집기에서 노트북 파일 만들기를 참고하세요.

watsonx.data 카탈로그에 액세스하기

노트북 셀에 다음 코드 스니펫을 추가하고 실행합니다. 코드 스니펫에는 연결된 watsonx.data 카탈로그에 연결하는 데 필요한 구성이 포함되어 있습니다.

conf=spark.sparkContext.getConf()
spark.stop()

from pyspark.sql import SparkSession
from pyspark.sql.functions import col, to_utc_timestamp
import base64,getpass

wxd_username=getpass.getpass("Please enter your username with hms access:").strip() #Prompt for username
wxd_hms_username="ibmlhapikey_"+wxd_username
wxd_hms_password=getpass.getpass("Please enter your api key with hms access:").strip() #Prompt for api key
string_to_encode= wxd_hms_username+":"+wxd_hms_password
wxd_encoded_apikey="Basic " + base64.b64encode(string_to_encode.encode("utf-8")).decode("utf-8")

conf.setAll([("spark.hive.metastore.client.plain.username", wxd_hms_username), \
    ("spark.hive.metastore.client.plain.password", wxd_hms_password), \
    ("spark.hadoop.wxd.apikey", wxd_encoded_apikey)
])

spark = SparkSession.builder.config(conf=conf).enableHiveSupport().getOrCreate()

Shift-Enter를 선택해 노트북 실행 셀을 단계별로 이동하거나 전체 노트북을 실행할 수 있습니다. 사용자 아이디와 비밀번호를 입력하라는 메시지가 표시됩니다. 사용자 이름은 데이터 버킷에 액세스하는 데 API 키를 사용하는 사용자의 IBM Cloud ID입니다. 여기서 API 키는 오브젝트 저장소에 액세스하는 사용자의 API 키입니다. API 키를 생성하려면 watsonx.data 콘솔에 로그인하고 프로필 > 프로필 및 설정 > API 키로 이동하여 새 API 키를 생성하세요.

사용 사례에 따라 코드 스니펫을 더 추가하고 계속할 수 있습니다. 자세한 내용은 노트북 편집기에서 노트북 파일 만들기를 참고하세요.