Pythonである程度チャットボット、画像AIが使えたとしてサービスとして実装させる場合のシステム構成を検討中。普通のレンサバでは厳しいのでGPU対応のVPNが必要そう。
GPU対応のVPNは？
Stable Diffusionのような画像生成AIや、トランスフォーマーを使ってチャットボットなんかをぶんまわしたら、誰もが使えるサービスととして使う場合何が必要か検討しています。
Pythonも使えます！というレンサバではおそらくパッケージのインストールなどで苦労しそうですし、そもそもGPUは使えなさそう。
で、GPU対応のVPNをさがしてみると現状は以下のようなところがありそうです。
GPU仮想サーバー「さくらのクラウド 高火力プラン」
さくらではGPU対応プランを提供。
これはあの画像生成サービス「Memeplex」へ提供され利用されているそうなので、そういう意味ではサービスの安定感？は実証済。
無料の｢画像生成AIサービス｣を国内最速で作ったら、クラウド料金が1日10万円になりかけた話【Stable Diffusion】 | Business Insider Japan
ただ料金はそれなりで、「4コア x 56GB + NVIDIA V100」で月当たり 231,000円となります。
１年運営予定のサービスとしてサーバ代だけで270万円ぐらいかかります。もちろん画像生成サービスのように高負荷なものは１台では厳しいでしょう。
WebARENA IndigoGPU
NTT系のGPU対応VPN.
料金は
「nvd5-wa1ul NVIDIA A4000 16GB 16GB」で31,000円/月
「nvd4-wa1ub NVIDIA A100 40GB 40GB」で223,133円/月
WebARENA IndigoGPU®（GPUクラウド） | 国内最安値GPUサーバー
AZURE
Microsoft Azure の GPU アクセラレーテッド コンピューティング | NVIDIA
料金ツールでカテゴリを「GPU」にするだけで月額料金$3,487.21＝約48万円となりました。
AWS
AWSでは料金計算ツールはみあたらず。
以下サイトでスポット＝１時間当たりの料金をチェックできます。
Cloud GPUs - The Full Stack (fullstackdeeplearning.com)
AWS・Azure・Cudoなどが提供するクラウドGPUが1時間あたり何ドルで利用できてどういう構成なのかの一覧表 - GIGAZINE
Lambda Labs
安いものだと2.40ドル/GPU/時間＝3336円。月当たり25万円ぐらい？
実際の利用例はこちら。
コスパ良いGPU Cloudを使いたい：Lambda Labs (zenn.dev)
Paperspace
Affordable & transparent pricing | Paperspace
月８ドルから使えるというGPU対応クラウドサーバ。
試しませんがGoogle Colabのようなイメージでしょうか。
Conoha
AIならConoHa for AI｜AIスタートアップ向け爆速GPUサーバー
NVIDIA L4 Tensor コア GPU 24GBメモリ搭載
NVIDIA H100 Tensor コア GPU 80GBメモリ搭載
の２種類。
トライアルなので３か月程度無料利用可。料金はおそらく未定。
感想は？
現状まだ高価で、LLMや画像生成のところだけ自前でサーバをたてるほうが安上がりかなという気がしないでもないです。
コスパでいえば、自前のLLMよりはChatGPTのAPIを、自前の画像生成よりはStable AIのAPIをたたく方が全然いいです。
レスポンスを気にしなければ、通常のVPSでCPUのみで使うこともできなくはなさそうです。
以下記事ではStable DiffusionをCPUのみで稼働をさせた例が紹介されています。
この方法でやる場合生成時間はかかりそうなので、完成したらメールで通知とかになるのかな。
ConoHa VPSでStable Diffusionを使う / 開発者向けブログ・イベント | GMO Developers
