watsonx Code Assistant 사용 로컬 IBM Granite 모델을 사용하는 개인

watsonx Code Assistant 개인

개인 사용자의 경우, watsonx Code Assistant 는 대규모 언어 모델에 널리 사용되는 로컬 추론 엔진인 Ollama를 통해 로컬 모델에 액세스할 수 있습니다. 올라마는 기본 모델을 제공하는 프로젝트 llama.cpp 래핑합니다.

조직을 위한 향상된 성능과 전체 기능 세트를 원한다면 IBM Cloud watsonx Code Assistant 평가판을 프로비저닝하세요. 자세한 내용은 IBM Cloud watsonx Code Assistant 서비스 설정하기를 참조하세요.

watsonx Code Assistant 확장 프로그램 설치

Microsoft Visual Studio Code 내에서 사용하도록 Ollama를 설정할 수 있습니다.

Eclipse IDE 플러그인에서는 이 설정을 사용할 수 없습니다. Visual Studio Code 확장 프로그램에서만 사용할 수 있습니다.

열기 watsonx Code Assistant 페이지로 이동합니다.
마켓플레이스 페이지에서 설치를 클릭합니다.
Visual Studio Code 확장 프로그램 설치를 클릭합니다.
확장 프로그램 설정에서 Wca: 백엔드 공급자를 ollama로 설정합니다.

IBM 직원을 위한 참고 사항 내부 WCA@IBM 확장자를 사용하는 IBM 또는 Red Hat 직원인 경우 백엔드 공급업체를 변경하면 항상 wcaCore 으로 되돌아갑니다. 백엔드 공급업체 변경을 활성화합니다:
- WCA@IBM 확장 설정에서 watsonx Code Assistant 에 대해 WCA@IBM 모드 사용을 선택 취소합니다.
- 또는 WCA@IBM 확장자를 비활성화하세요

Ollama 설치

올라마 설치 관리자를 다운로드하여 실행합니다.
macOS, 에서 홈브라우저를 사용하여 올라마를 설치할 수도 있습니다:
```
brew install ollama
```

올라마 추론 서버 시작

콘솔 창에서 실행합니다:

ollama serve

올라마를 사용하는 동안 해당 창을 열어 두세요.

' Error: listen tcp 127.0.0.1:11434: bind: address already in use 이라는 메시지가 표시되면 올라마 서버가 이미 시작된 것입니다.

IBM Granite 코드 모델 설치

Ollama 라이브러리에서 제공되는 ' granite-code:8b 모델을 설치하여 시작하세요.

새 콘솔 창을 엽니다.

명령줄에 ' ollama run granite-code:8b '을 입력하여 모델을 다운로드하고 배포합니다. 다음 예제와 유사한 출력이 표시됩니다:

pulling manifest
pulling 8718ec280572... 100% ▕███████████████████████ 4.6 GB
pulling e50df8490144... 100% ▕███████████████████████ ▏  123 B
pulling 58d1e17ffe51... 100% ▕███████████████████████▏  11 KB
pulling 9893bb2c2917... 100% ▕███████████████████████▏  108 B
pulling 0e851433eda0... 100% ▕███████████████████████▏  485 B
verifying sha256 digest
writing manifest
removing any unused layers
success
>>>

' >>>' 뒤에 ' /bye '을 입력하여 Ollama 명령 셸을 종료합니다.

입력하여 모델을 사용해 보세요:

ollama run granite-code:8b "How do I create a python class?"

다음과 유사한 응답이 표시되어야 합니다.

To create a Python class, you can define a new class using the "class" keyword followed by the name of the class and a colon. Inside the class definition, you can specify the methods and attributes that the class will have. Here is an example: ...

올라마 호스트 구성

기본적으로 Ollama 서버는 IP 주소 127.0.0.1, 포트 11434, 프로토콜로 http를 사용합니다. Ollama를 사용할 수 있는 IP 주소 또는 포트를 변경하는 경우:

Visual Studio Code watsonx Code Assistant 확장 설정을 엽니다.
Wca > 로컬: API 호스트에서 호스트 IP와 포트를 추가합니다.

사용할 Granite 모델 구성

기본적으로 watsonx Code Assistant 채팅과 코드 완성 모두에 ' granite-code:8b ' 모델을 사용합니다. 사용 중인 환경의 용량이 충분하다면 ' granite-code:8b-base 모델을 설치하세요.

다른 모델을 사용하려면

' granite-code:8b-base 모델을 설치합니다. IBM Granite 코드 모델 설치를 참조하세요.
Visual Studio Code watsonx Code Assistant 확장 설정을 엽니다.
Wca > 로컬: 코드 생성 모델에' granite-code:8b-base'을 입력합니다.

설정 보안

기본적으로 올라마 서버는 로컬 디바이스에서 http를 프로토콜로 사용하여 IP 주소 127.0.0.1, 포트 11434에서 실행됩니다. Https를 대신 사용하거나 프록시 서버를 통과하려면 Ollama 문서를 참조하십시오.

로컬 모델에서 IBM Cloud 전환합니다

로컬 모델에서 IBM Cloud 서비스 인스턴스를 사용하도록 전환할 수 있습니다. 그런 다음 로컬 모델에서 IBM Cloud 전환하도록 Visual Studio Code 구성할 수 있습니다.

자세한 내용은 IBM Cloud watsonx Code Assistant 서비스 설정하기를 참조하세요.

Ollama 대신 IBM Cloud 사용하도록 Visual Studio Code 에디터를 업데이트하려면 다음과 같이 하세요:

종료 Visual Studio Code.
올라마 애플리케이션을 종료합니다.
Visual Studio Code 시작한 다음 watsonx Code Assistant 엽니다. ' Ollama is not running in your IDE. 메시지가 표시될 것입니다
Switch to watsonx Code Assistant on IBM Cloud을(를) 클릭하십시오.

다른 방법으로는 확장 프로그램 설정을 변경할 수 있습니다:

Visual Studio Code watsonx Code Assistant 확장 설정을 엽니다.
Wca: 백엔드 공급자에서' ollama '에서 ' wcaCore'로 전환합니다.
확장 프로그램을 다시 시작하여 변경 사항을 적용합니다.