クリエイターの教科書

ChatGPT, Stable Diffusion, Visual Studio, Excelなど教科書

LM Studioの使い方 どのファイルをインストールする?

LM StudioはいろんなLLMを簡単に試せるプラットフォームです。

LM Studioとは?

自機でLLM、いわゆるAIチャットを試せるサービスです。

ハギングフェイスにあるLLMデータをすぐ試せるので便利です。

 

うちでもよくChatGPTを使っていますが「すぐリミットになる」「表現によってはすぐ違反と注意される」などストレスフルな場面も多々あります。

 

その点、自機で使い放題となると効率は結構上がると思います。

 

複数の言語モデルをすぐ切り替えられるのもいいですね。

 

 

 

LM Studioの使い方

セットアップ

以下よりウィンドウズ用を入手。

LM Studio - Discover, download, and run local LLMs

 

LLMのインストール

検索窓でモデル名を検索。

 

みつけたらDownload。

 

ダウンロードされたモデルデータは「C:\Users\[ユーザ名]\.cache\lm-studio\models\」に格納されます。

 

 

どのファイルをインストールすればいい?

複数のファイルがありますが、これは同じモデルで量子化の度合いが違ったりしているためです。

 

解説によれば、量子化の「ビット数」が高い(4ビット以上)ほど、一般的に品質が保たれますが、低いレベルではモデルがさらに圧縮されるため、品質が大きく損なわれる可能性があります。

 

シンプルに「ファイルの大きさが小さいほうが品質が落ちる」と考えていいのではないかと思います。

 

 

ただし大きいモデルは、PCの性能が影響します。「Likely too large for this machine」とでると、このPCで使うにはモデルが多きすぎることをあらわすので避けた方がよいでしょう。

 

チャット

ダウンロードが終わったらチャットしてみましょう。

左のメニューで吹き出しアイコンがチャット画面です。

「Select a model」にダウンロードしたファイルがあるので選択。

 

すると入力欄で「Loading model」となり

 

ちょっと待つと入力してAIチャットを楽しめるようになります。

 

モデルによってGPUに展開するデータが変わってきます。

うちのGPUメモリは12GBと多くありませんが、今回の「LightChatAssistant」だとまだ余裕があります。

 

あまり大きいデータですと、GPUのメモリをオーバーするため動作が一気に遅くなる可能性があります。

 

その際はタスクマネージャからチェックしてみるといいかもしれません。

 

 

モデルの削除

モデルの削除はファイルアイコンから。

 

このブログは、ネットや書籍上の情報、個人の体験や感想を中心にまとめたものです。 正確性を期していはいますが、間違い・誤訳等あるかもしれません。 当サイトの情報によって生じたいかなる損失について一切の責任を負わないものとします. あらかじめご了承ください。

プライバシーポリシー |〇利用規約 |〇問い合わせ