watsonx Code Assistantをローカルな'IBM'Graniteモデルで使用する

watsonx Code Assistant個人

個々のユーザーの場合、 watsonx Code Assistant は、大規模言語モデルで広く使用されているローカル推論エンジンである Ollama を通じてローカル モデルにアクセスできます。 Ollamaは、基礎となるモデル提供プロジェクト llama.cpp をラップしている。

IBM Cloud のwatsonx Code Assistantのトライアルをご利用ください。 詳細については、IBM Cloudでのwatsonx Code Assistantサービスの設定 を参照してください。

watsonx Code Assistant 拡張機能をインストールする

OllamaをMicrosoftVisual Studio Codeで使用するように設定することができます。

この設定は、 Eclipse IDE プラグインではご利用いただけません。 Visual Studio Code 拡張機能でのみ利用可能です。

  1. watsonx Code Assistant Visual Studio Marketplaceのページを開きます。

  2. マーケットプレイスのページでインストールをクリックします。

  3. Visual Studio Codeで、拡張機能のインストールをクリックします。

  4. 拡張機能の設定で、Wca: Backend Provider を ollama に設定する。

    IBM ： IBM または Red Hat の従業員で、社内の WCA@IBM 拡張機能を使用している場合、バックエンドプロバイダを変更すると、常に wcaCore に戻ります。 バックエンドのプロバイダーを変更できるようにする：

    • WCA@IBM 拡張機能の設定で、 watsonx Code Assistant の WCA@IBM モードを有効にするをオフにします。
    • 別の方法として、 WCA@IBM 拡張機能を無効にする

Ollamaをインストールする

Ollama推論サーバーの起動

コンソール・ウィンドウで実行する：

ollama serve

Ollamaを使っている間、そのウィンドウは開いたままにしておく。

Error: listen tcp 127.0.0.1:11434: bind: address already in use メッセージが表示された場合、Ollamaサーバーはすでに起動しています。

IBM Graniteコードモデルをインストールする

Ollamaライブラリ にある'granite-code:8b モデルをインストールして始めよう。

  1. 新しいコンソールウィンドウを開く。

  2. コマンドラインで'ollama run granite-code:8b と入力し、モデルをダウンロードしてデプロイする。 次の例のような出力が表示されます。

    pulling manifest
pulling 8718ec280572... 100% ▕███████████████████████ 4.6 GB
pulling e50df8490144... 100% ▕███████████████████████ ▏  123 B
pulling 58d1e17ffe51... 100% ▕███████████████████████▏  11 KB
pulling 9893bb2c2917... 100% ▕███████████████████████▏  108 B
pulling 0e851433eda0... 100% ▕███████████████████████▏  485 B
verifying sha256 digest
writing manifest
removing any unused layers
success
>>>

  3. >>> 後に'/bye と入力してOllamaコマンドシェルを終了する。

  4. と入力してモデルを試してみてください：

    ollama run granite-code:8b "How do I create a python class?"

  5. 以下のような応答が表示されるはずです。

    To create a Python class, you can define a new class using the "class" keyword followed by the name of the class and a colon. Inside the class definition, you can specify the methods and attributes that the class will have. Here is an example: ...

Ollamaホストの設定

デフォルトでは、OllamaサーバーはIPアドレス 127.0.0.1 、ポート 11434 、プロトコルとしてhttpで動作します。 Ollamaが利用可能なIPアドレスやポートを変更した場合：

  1. Visual Studio Codeで、watsonx Code Assistantの拡張設定を開きます。

  2. Wca > Local：API Host ］で、ホストのIPとポートを追加します。

使用するGraniteモデルを設定する

デフォルトでは、watsonx Code Assistantはチャットとコード補完の両方に'granite-code:8b モデルを使用します。 環境に十分な容量がある場合は、「granite-code:8b-base モデルをインストールしてください。

別のモデルを使う

  1. granite-code:8b-base モデルをインストールする。 IBM Graniteコードモデルのインストール を参照してください。

  2. Visual Studio Codeで、watsonx Code Assistantの拡張設定を開きます。

  3. Wca > Local：Code Gen Model」に「granite-code:8b-base 入力する。

セットアップの安全性

デフォルトでは、Ollama サーバーはローカル・デバイス上の IP アドレス127.0.0.1、ポート 11434、プロトコルとして http を使用して実行されます。 httpsを使用するか、プロキシサーバーを経由する場合は、 Ollamaのドキュメントを参照してください。

ローカルモデルをIBM Cloudに切り替える

ローカルモデルからIBM Cloud上のサービスインスタンスを使用するように切り替えることを決定するかもしれません。 そして、ローカルモデルからIBM Cloudに切り替えるようにVisual Studio Codeを設定します。

詳細については、IBM Cloudでのwatsonx Code Assistantサービスの設定 を参照してください。

Ollamaの代わりにIBM Cloudを使用するようにVisual Studio Codeエディタを更新する：

  1. Visual Studio Code。

  2. Ollamaアプリケーションを終了する。

  3. Visual Studio Codeを起動し、watsonx Code Assistantを開きます。 Ollama is not running in your IDE. メッセージが表示されるはずです。

  4. Switch to watsonx Code Assistant on IBM Cloud をクリックします。

別の方法として、拡張機能の設定を変更することもできる：

  1. Visual Studio Codeで、watsonx Code Assistantの拡張設定を開きます。

  2. Wca: Backend Provider で、'ollama を'wcaCore に切り替える。

  3. 変更を適用するには、エクステンションを再起動します。