아키텍처 개요 및 NFS 파일 시스템 설정

HPC 클러스터는 로그인 노드, 블록 스토리지 볼륨이 연결된 스토리지 노드, 1-3개의 LSF 관리 노드 및 다수의 LSF 작업자 노드로 구성됩니다.

• 로그인 노드는 점프 호스트로 제공되며 공용 IP 주소가 있는 유일한 노드입니다. 다른 노드에는 개인용 IP 주소만 있으며 이러한 노드에 도달하는 유일한 방법은 로그인 노드를 통하는 것입니다. 기본 LSF 관리 호스트에 로그인하여 LSF 관리 호스트에서 대부분의 조작을 수행할 수 있습니다. 기본적으로 lsfadmin 는 클러스터에서 작성된 유일한 사용자 ID입니다. SSH 비밀번호 없는 설정은 LSF 관리 호스트와 작업자 간에 구성됩니다. LSF 1차에서 lsfadmin 사용자 ID를 사용하여 다른 작업자 노드에 도달할 수 있습니다.

• 작업자 노드는 정적 리소스일 수 있습니다. 이 경우 해당 라이프사이클은 Schematics에 의해 관리됩니다. 다수의 정적 작업자 노드를 요청할 수 있으며 이러한 작업자는 Schematics-destroy 조치가 수행될 때까지 LSF 클러스터에서 사용 가능한 상태로 유지됩니다. LSF 자원 커넥터 기능은 작업을 실행하기에 충분한 용량이 없을 때 추가 작업자를 작성하고 수요가 감소할 때 작업자를 영구 삭제합니다. 이러한 동적 작업자의 라이프사이클은 LSF 자원 커넥터에 의해 관리됩니다. Schematics를 통해 전체 VPC 클러스터를 영구 삭제하기 전에 이러한 동적 리소스가 클라우드에 리턴될 때까지 기다리십시오.

• IBM Cloud File Storage for VPC 는 파일 공유에 사용됩니다. 기본적으로 두 개의 파일 공유 볼륨이 있습니다. 각 볼륨은 100GB입니다. 이 구성을 변경하려면 custom_file_shares 배치 값을 설정 하십시오.

HPC 클러스터 솔루션은 LSF 설치를 포함하는 기본 사용자 정의 이미지를 제공합니다. 기본 이미지 위에 사용자 정의 이미지를 작성할 수 있습니다. 자세한 정보는 사용자 정의 이미지 작성 을 참조하십시오. VPC의 이미지 서비스는 이를 수행하는 방법을 제공합니다. 그런 다음 LSF 관리 노드 및 작업자 노드에 대해 Schematics 에서 사용할 사용자 정의 이미지를 지정할 수 있습니다. 로그인 노드 및 스토리지 노드에서 사용하는 이미지는 현재 구성할 수 없습니다 (기본적으로CentOS 7).

SSH 키 작성

SSH키를 작성하려면 다음 단계를 완료하십시오.

1. 다음 명령을 실행하여 시스템에서 SSH키를 생성하십시오.

   ssh-keygen -t rsa
   

2. .ssh/id_rsa.pub 에서 모든 컨텐츠를 복사하고 저장하십시오.

VPC 인프라에 SSH키 추가

1. 고유 인증 정보를 사용하여 IBM Cloud® 콘솔 에 로그인하십시오.
2. 대시보드에서 메뉴 아이콘 > VPC 인프라 > SSH키를 클릭하십시오.
3. 작성을 클릭하십시오.
4. SSH키 이름 (예: po-ibm-ssh-key) 을 입력하고, 기본 리소스 그룹을 선택하고, 태그를 추가하고, 지역을 선택하십시오.
5. 공개 키 필드 ( .ssh/id_rsa.pub 에서 저장한 컨텐츠) 에 공개 키를 복사하여 붙여넣으십시오.
6. SSH 키 추가를 클릭하십시오.

API 키 작성

API키를 작성하려면 다음 단계를 완료하십시오.

1. IBM Cloud 콘솔에서 관리 > 액세스 (IAM) > API키로 이동하십시오.
2. IBM Cloud API 키 작성을 클릭하십시오.
3. API 키의 이름과 설명을 입력하십시오.
4. 작성을 클릭하십시오.
5. 그런 다음 표시 를 클릭하여 API키를 표시하거나 복사 를 클릭하여 나중에 복사하고 저장하거나 다운로드를 클릭하십시오.

IBM Cloud 카탈로그에서 HPC 클러스터 작성 및 구성

IBM Cloud 카탈로그에서 HPC 클러스터를 작성하고 구성하려면 다음 단계를 완료하십시오.

1. IBM Cloud 카탈로그에서 HPC 또는 _Spectrum LSF_를 검색한 후 IBM Spectrum LSF 를 선택하십시오.

   

2. 배치 값 설정 섹션에서 필수 값 ( api_key, ibm_customer_number, remote_allowed_ips, ssh_key_name 및 zone) 을 제공하십시오.

3. 라이센스 계약을 확인한 후 다른 매개변수의 기본값을 사용하고 설치를 클릭할 수 있습니다. HPC 클러스터가 작성되고 기본 구성으로 5분내에 완료됩니다.

HPC 클러스터에 액세스

HPC 클러스터에 액세스하려면 다음 단계를 완료하십시오.

1. 메뉴 아이콘 > 활동 > 적용된 계획 > 로그 보기로 이동하십시오.

2. ssh-command 를 복사하여 클러스터에 액세스하십시오.

   • ssh -J root@ip-jumphost lsfadmin@ip-managementhost

   • ip-jumphost 은 public 인 반면, ip-managementhost 는 그렇지 않습니다.

   • -J flag: 점프 호스트에 연결하고 최종 대상 (관리 호스트) 에 TCP 전달을 설정합니다.

자동 스케일링

최소 수의 작업자 노드 (worker_node_min_count) 가 있습니다. 클러스터가 작성될 때 프로비저닝되는 작업자 노드의 수입니다. 그러나 worker_node_max_count 에서 정의한 Spectrum LSF 클러스터에 추가해야 하는 최대 작업자 노드 수를 사용할 수 있습니다. 이는 자동 스케일링 구성이 사용될 때 Spectrum LSF 클러스터에 추가할 수 있는 머신 수를 제한하기 위한 것입니다. 이 특성을 사용하여 Spectrum LSF 클러스터 인스턴스와 연관된 비용을 관리할 수 있습니다.

다음 예제는 worker_node_min_count=2 및 worker_node_max_count=10 를 표시합니다.

1. 두 개의 작업자 노드를 확인하려면 다음 명령을 실행하십시오.

   bhosts -w
   

   출력 예:

   

2. 자동 스케일링 기능을 시도하려면 세 개 이상의 노드가 필요한 작업을 실행하십시오. 예를 들어, 이 작업에는 10초동안 휴면 상태에 있는 5개의 작업이 필요합니다.

   bsub -n 5 -R "span[ptile=1]" sleep 10
   

3. 작업이 제출됩니다.

4. 1분후에 다음 명령을 실행하여 노드를 확인하십시오.

   bhosts -w
   

   이제 5개의 노드가 클러스터에 추가되었음을 확인할 수 있습니다.

   

5. 자동 스케일링 기능으로 작성된 노드의 차이는 10분이 사용되지 않으면 자동으로 영구 삭제됩니다.

워크로드에 맞게 HPC 클러스터 사용자 정의

클러스터에서 워크로드에 대한 소프트웨어 패키지를 추가하는 두 가지 옵션이 있습니다. 모든 계산 노드에 표시되는 NFS 공유 파일 시스템 (예: LSF 관리 호스트의 /home/lsfadmin/shared ) 에 추가 소프트웨어를 설치할 수 있습니다. NSF 공유 파일 시스템에 추가하는 파일은 스토리지 노드에 연결된 블록 스토리지에 저장됩니다. 전체 HPC 클러스터가 영구 삭제되면 데이터가 유실됩니다. 클러스터를 영구 삭제하기 전에 보존할 데이터를 저장해야 합니다.

다른 옵션은 HPC 클러스터 솔루션에서 사용하는 기본 이미지 위에 사용자 정의 이미지를 빌드하는 것입니다. HPC 클러스터를 작성하기 전에 사용자 정의 이미지 작성을 준비해야 합니다. 새 사용자 정의 이미지가 VPC에서 작성되면 이름이 이 이미지와 연관됩니다. image_name 매개변수에서 이 이름을 사용해야 합니다. 자세한 정보는 기본 이미지 확장 및 새 사용자 정의 이미지 작성을 참조하십시오.

(선택사항) 하이브리드 연결 설정

VPN을 사용하여 하이브리드 연결 환경을 설정하려면 HPC 클러스터에 VPN 설치 지시사항을 참조하십시오.

Direct Link를 사용하려면 HPC 클러스터에 Direct Link 설치 에 대한 지시사항을 참조하십시오.

IBM Spectrum LSF 와 함께 OpenLDAP 사용

IBM Spectrum LSF의 OpenLDAP 에 대해 자세히 알려면 IBM Spectrum LSF 를 사용한 OpenLDAP 정보 의 내용을 참조하십시오.

배치 중에 enable_ldap,ldap_basedns, ldap_server, ldap_admin_password, ldap_user_name 및 ldap_user_password 배치 입력 값을 설정하여 IBM Spectrum LSF 클러스터와 함께 OpenLDAP 를 사용으로 설정합니다.

OpenLDAP 를 IBM Spectrum LSF 클러스터와 통합하는 방법에 대해 자세히 알려면 OpenLDAP 를 IBM Spectrum LSF 클러스터와 통합 을 참조하십시오.

DNS 구역 및 DNS 사용자 정의 분석기 작성

dns_instance_id 배치 입력 값을 널 (null) 로 두면 배치 프로세스가 각 DNS 구역에 새 DNS 서비스 인스턴스 ID를 작성합니다. 또는 dns_instance_id 배치 입력 값에 대해 기존 IBM Cloud® DNS 서비스 인스턴스 ID 를 제공하십시오.

dns_custom_resolver_id 배치 입력 값을 널로 두면 배치 프로세스에서 새 VPC를 작성하고 클러스터에 대해 새 사용자 정의 분석기를 사용으로 설정합니다. 또는 기존 VPC를 사용하여 DNS 사용자 정의 분석기를 작성하려면 dns_custom_resolver_id 배치 입력 값에 대한 분석기 ID를 제공하십시오. 자세한 정보는 IBM Spectrum LSF 클러스터의 DNS 사용자 정의 분석기 를 참조하십시오.

IBM Key Protect 인스턴스를 사용하여 데이터 암호화 관리

가상 서버 인스턴스에 대한 데이터 암호화를 관리하려면 IBM Spectrum LSF 클러스터를 통해 IBM Key Protect 인스턴스를 사용하십시오. Key Protect 및 암호화 키에 대한 자세한 정보는 IBM® Key Protect 및 암호화 키 를 참조하십시오.