Red Hat® AI InstructLab on IBM Cloud® 는 비즈니스에 바로 사용할 수 있는 개인용 보안 생성 AI 솔루션으로, Red Hat Enterprise Linux AI에서 제공합니다.

Red Hat AI InstructLab on IBM Cloud 시작하기

Red Hat® AI InstructLab on IBM Cloud® 으로 AI에예측, 추천 또는 의사 결정을 내리기 위해 지식의 형태를 모델로 획득, 처리, 생성 및 적용하는 능력. 뛰어들 준비를 하세요!

InstructLab 는 IBM 및 Red Hat 의 오픈 소스 프로젝트로, 머신 러닝의인공지능(AI)과 컴퓨터 과학의 한 분야로, 인간이 학습하는 방식을 모방하기 위해 데이터와 알고리즘을 사용하는 데 중점을 두고 있으며, AI 모델의 정확도를 점진적으로 향상시킵니다. 세계에 비용 효율적으로 입문할 수 있는 기회를 제공합니다. InstructLab 을 사용하여 하드웨어 인프라를 소유하고 운영할 필요 없이 대규모 언어 모델에 기여할 수 있습니다.

자세히 알아보기 InstructLab.

Red Hat AI InstructLab의 개념

InstructLab 을 사용하려면 기존 지식이 없어도 됩니다. 아직 무엇을 만들 것인지에 대한 아이디어가 없어도 됩니다. 먼저 개념에 익숙해지는 것부터 시작하겠습니다.

InstructLab 은 기계 학습 기술을 사용하여 인간의 언어를 생성하는 AI 모델인 대규모 언어 모델(LLM)을 향상시키기 위한 프로젝트입니다. 비즈니스에 가장 중요한 지식과 기술을 분류법 또는 데이터 디렉토리에 제공하는 것부터 시작합니다. 분류법은 합성 데이터를 생성하는 데 사용되며, 이 데이터는 여러 단계의 미세 조정을 통해 모델을 학습시키는 데 사용됩니다. 이 과정은 일반적인 지식뿐만 아니라 고유한 비즈니스 요구 사항에 가장 중요한 특정 기술과 맥락을 제공함으로써 LLM을 목표에 맞게 조정합니다.

자세한 내용은 작동 방식을 참조하세요. 또는 첫 번째 분류법을 준비하고 업로드하여 바로 시작하세요.

IBM Cloud® 계정 설정

계속하기 전에 다음 사항이 준비되어 있는지 확인하세요.

종량제 또는 구독 IBM Cloud® 계정. 평가판 계정은 지원되지 않습니다. 자세한 내용을 알아보거나 계정을 업그레이드하려면 계정 유형을 참조하세요.
InstructLab 프로젝트입니다.
InstructLab 및 Object Storage 에 액세스합니다.
선택 사항: 비공개 리포지토리를 사용하여 분류 지식 문서를 저장하는 경우 Secrets Manager 인스턴스를 만드세요.
CLI를 설치합니다.

선택 사항입니다: 분류법 준비

IBM Cloud 분류 체계를 포크하거나 직접 만들 수 있습니다.
- 분류 체계가 아직 없는 경우 IBM Cloud 분류 체계 리포지토리를 포크하여 로컬 머신에 복제할 수 있습니다. 이 분류 체계에는 올바른 파일 구조가 이미 생성되어 있습니다. 해당 디렉토리에 지식과 기술을 추가할 수 있습니다.
- 대신 나만의 분류법을 만들려면 분류법 준비하기에서 자세한 내용을 참조하세요.
IBM Cloud 커뮤니티 Jupyter 노트북을 사용하여 분류법을 만들 수도 있습니다. 자세한 내용은 redhat-ai-instructlab-jupyter-notebooks GitHub repo를 참조하세요
분류 체계를 업데이트합니다. 다음 예는 언어학 디렉토리에 운율이 맞는 질문을 추가하는 예입니다.

a. 포크의 compositional_skills/linguistics 디렉터리에서 qna.yaml 파일을 만듭니다.

b. qna.yml (단어 맞추기) 파일에 운율 단어와 관련된 질문을 추가합니다.
```
- answer: 'Here are two rhyming words for "cave":
    1\. Brave

    2\. Gave'
  question: 'Give me two words that rhyme with cave'
```
c. 추가에 웹 문서나 Github의 파일과 같은 참조 문서가 포함된 경우 이 예제에서와 같이 공개 GitHub 리포지토리와 파일의 SHA를 참조할 수 있습니다.
```
document:
repo: https://github.com/<organization>/<repository>
commit: <commit_sha>
patterns:
    - <filename>.md
```
d. 변경 사항을 저장하고 포크에 변경 사항을 푸시합니다.

f. 선택 사항: 업데이트된 분류 체계를 검증합니다.
브라우저에서 Github 저장소의 릴리즈 페이지를 엽니다. 예: https://github.com/<my-org>/taxonomy/releases.
릴리스 만들기를 클릭합니다.
태그를 만들고, 대상 브랜치를 선택한 다음, 릴리스 이름을 입력합니다.
릴리스 게시를 클릭합니다.
소스 코드( tar.gz )를 클릭하여 릴리스에서 자동으로 생성된 패키지된 tar.gz 파일을 다운로드합니다.
선택 사항: 분류 지식 문서에 비공개 리포지토리를 사용하는 경우 다음 단계를 완료하세요.
1. GitHub 설명서에 따라 클래식 개인 액세스 토큰(PAT)을 생성 하세요.
2. 리포지토리 액세스 섹션에서 PAT의 범위를 분류 리포지토리로 지정합니다.
3. 리포지토리 권한 섹션에서 콘텐츠 > read-only 및 메타데이터 > read-only 을 선택합니다.

콘솔을 사용하여 분류법 업로드하기

다음 단계를 완료하여 분류법을 Object Storage 에 저장합니다.

프로젝트 페이지에서 프로젝트를 선택합니다.
분류 체계를 클릭합니다.
업로드를 클릭하고 다음 세부 정보를 입력합니다.

택소노미 파일

.tar.gz 파일을 선택합니다.

택소노미 이름

분류 체계에 영숫자 이름을 지정합니다.

개인용 저장소 액세스

분류 지식 문서가 비공개 리포지토리에 있는 경우 이 옵션을 사용 설정하세요.

Secrets Manager 서비스 인스턴스를 선택합니다: 기존 인스턴스를 선택하거나 인스턴스를 만듭니다.

Secrets Manager 비밀: 기존 비밀을 선택하거나 새로 만듭니다. 비밀번호를 만드는 경우 키-값 비밀번호 유형을 선택하고 다음 형식으로 개인 액세스 토큰을 추가합니다. github_url 값에는 https:// 이 포함되어야 합니다. URL 주소는 분류 문서 참조의 repo 섹션에서 사용한 URL 주소와 동일합니다.
```
{
"github_url": "https://...",
"github_pat": "xxxxx"
}
```
자세한 내용은 키-값 비밀 생성하기를 참조하세요.

클라우드 스토리지

Object Storage 인스턴스와 버킷을 선택하여 사용하거나 인스턴스와 버킷을 생성합니다.

서비스 권한

확인란을 선택하여 InstructLab 에서 분류법을 다음 주소로 작성하도록 허용합니다 Object Storage

선택적 저장소 설정

Object Storage 에 tar.gz 분류 체계를 저장할 경로를 지정합니다.
클릭 업로드

CLI를 사용하여 Object Storage 에 분류 체계를 추가합니다

다음 단계를 완료하여 분류법을 Object Storage 에 저장합니다.

set 명령을 사용하여 Object Storage 버킷 세부 정보 및 자격 증명 등을 저장할 수 있습니다. 이렇게 하면 앞으로 명령이 더 간단해질 수 있습니다. set 명령을 사용할 때는 각 값을 개별적으로 설정해야 합니다. 자세한 내용은 구성 명령 참조를 참조하세요.

CLI에서 IBM Cloud 계정에 로그인합니다.

ibmcloud login -a https://cloud.ibm.com --sso -r us-east

InstructLab 에서 IBM Cloud® Object Storage 인스턴스 리소스를 만들 수 있도록 허용하려면 리소스 그룹을 대상으로 지정하세요.
```
ibmcloud target -g <resource_group>
```
예:
```
ibmcloud target -g Default
```

InstructLab 및 Object Storage 에 대한 권한 부여 정책을 만듭니다.

ibmcloud iam authorization-policy-create Writer --source-service-name instructlab --target-service-name cloud-object-storage

선택 사항: 비공개 리포지토리를 사용하여 분류 지식 문서를 저장하는 경우 다음 단계를 완료하세요.

Secrets Manager 인스턴스 및 비밀 번호에 액세스할 수 있도록 InstructLab 서비스 권한을 생성합니다.
```
ibmcloud iam authorization-policy-create Reader --source-service-name instructlab --target-service-name secrets-manager
```

키-값 비밀을 생성하여 Secrets Manager 에 개인 액세스 토큰(PAT)을 추가합니다. 키-값 세부 정보가 다음 형식으로 저장되어 있는지 확인하세요.

{
"github_url": "https://...",
"github_pat": "xxxxx"
}

키-값 비밀을 만들기 위한 명령 예제입니다.

ibmcloud secrets-manager secret-create --secret-prototype='{"name": "my-secret","description": "Description of my key-value secret.","secret_type": "kv","secret_group_id": "67d025e1-0248-418f-83ba-deb0ebfb9b4a","labels": ["dev","us-south"],"data": {"github_url": "https://...","github_pat": "xxxxx"},"custom_metadata": {"metadata_custom_key": "metadata_custom_value"},"version_custom_metadata": {"custom_version_key": "custom_version_value"}}'

자세한 내용은 키-값 비밀 생성하기를 참조하세요.

Secrets Manager 인스턴스를 나열합니다.

ibmcloud resource service-instances --service-name secrets-manager

인스턴스 세부 정보를 가져옵니다.
```
ibmcloud resource service-instance INSTANCE
```

taxonomy add --help 명령을 실행하고 명령 옵션을 검토합니다.
```
ibmcloud ilab taxonomy add --help
```
선택 사항 사용하려는 기존 Object Storage 인스턴스가 있는 경우 서비스 인스턴스 세부 정보를 가져옵니다.
1. Object Storage 인스턴스를 나열합니다.
```
ibmcloud resource service-instances --service-name cloud-object-storage
```
2. 인스턴스 세부 정보를 가져옵니다.
```
ibmcloud resource service-instances INSTANCE
```

Object Storage 버킷에 분류법을 추가하세요. 다음 예제 명령을 검토하세요.

빠른 시작 예제 명령은 계정에 Object Storage 인스턴스와 버킷을 자동으로 생성하고 ./taxonomy 폴더의 분류법을 이 인스턴스와 버킷에 업로드합니다.

ibmcloud ilab taxonomy add \
--name example-taxonomy-1 \
--taxonomy-path "./taxonomy"

컴퓨터의 taxonomy 폴더에서 기존 Object Storage 인스턴스 및 버킷으로 분류법을 업로드하는 명령 예시입니다.

ibmcloud ilab taxonomy add \
	--name example-taxonomy-name-1 \
	--taxonomy-path-cos "taxonomies/taxonomy.tar.gz" \
	--taxonomy-path "./taxonomy" \
	--cos-bucket example-cloud-object-storage-bucket-1 \
	--cos-endpoint https://s3.us-east.cloud-object-storage.appdomain.cloud

기존 Object Storage 인스턴스와 버킷 및 Secrets Manager 자격 증명을 사용하는 예제 명령입니다.

ibmcloud ilab taxonomy add \
--name example-taxonomy-1 \
--taxonomy-path-cos taxonomies/taxonomy.tar.gz \
--taxonomy-path "./taxonomy" \
--cos-endpoint https://s3.us-east.cloud-object-storage.appdomain.cloud \
--secrets-manager-git-id SEC-MGR-ID
--secrets-manager-git-url https://URL

/Users/USER/instructlab-taxonomy 폴더에서 자동으로 생성된 새 버킷으로 분류법을 업로드하는 명령 예시입니다.

ibmcloud ilab taxonomy add \
--name test \
--taxonomy-path "/Users/USER/instructlab-taxonomy" \
--cos-endpoint https://s3.us-east.cloud-object-storage.appdomain.cloud \
--cos-id 628e4348-2183-42fa-a03a-6f0f78453530

다음에 수행할 작업

이제 분류법을 업로드했으니 다음 단계는 분류법에서 데이터를 생성하는 것입니다