LM StudioはいろんなLLMを簡単に試せるプラットフォームです。
LM Studioとは？
自機でLLM、いわゆるAIチャットを試せるサービスです。
ハギングフェイスにあるLLMデータをすぐ試せるので便利です。
うちでもよくChatGPTを使っていますが「すぐリミットになる」「表現によってはすぐ違反と注意される」などストレスフルな場面も多々あります。
その点、自機で使い放題となると効率は結構上がると思います。
複数の言語モデルをすぐ切り替えられるのもいいですね。
LM Studioの使い方
セットアップ
以下よりウィンドウズ用を入手。
LM Studio - Discover, download, and run local LLMs
LLMのインストール
検索窓でモデル名を検索。
みつけたらDownload。
ダウンロードされたモデルデータは「C:\Users\[ユーザ名]\.cache\lm-studio\models\」に格納されます。
どのファイルをインストールすればいい？
複数のファイルがありますが、これは同じモデルで量子化の度合いが違ったりしているためです。
解説によれば、量子化の「ビット数」が高い（4ビット以上）ほど、一般的に品質が保たれますが、低いレベルではモデルがさらに圧縮されるため、品質が大きく損なわれる可能性があります。
シンプルに「ファイルの大きさが小さいほうが品質が落ちる」と考えていいのではないかと思います。
ただし大きいモデルは、PCの性能が影響します。「Likely too large for this machine」とでると、このPCで使うにはモデルが多きすぎることをあらわすので避けた方がよいでしょう。
チャット
ダウンロードが終わったらチャットしてみましょう。
左のメニューで吹き出しアイコンがチャット画面です。
「Select a model」にダウンロードしたファイルがあるので選択。
すると入力欄で「Loading model」となり
ちょっと待つと入力してAIチャットを楽しめるようになります。
モデルによってGPUに展開するデータが変わってきます。
うちのGPUメモリは12GBと多くありませんが、今回の「LightChatAssistant」だとまだ余裕があります。
あまり大きいデータですと、GPUのメモリをオーバーするため動作が一気に遅くなる可能性があります。
その際はタスクマネージャからチェックしてみるといいかもしれません。
モデルの削除
モデルの削除はファイルアイコンから。
