はじめに
皆さんは日々AIを活用されていますでしょうか。何にどう使ったら良いかよくわからないという人も多いと思いますが、プログラマーやネット関係等のITに関わっている方であれば色々と活用されている事と思います。
しかし、活用を進めていくとAIに入力するデータ等について機密とか大丈夫なのか？といった問題がでてくるのではないでしょうか。あるいは、試験的に使うには良いがクラウド系のAIを本番で日常的に使いたいが特にAPIを使うような場合、幾ら掛かるか不安だという事もあるかもしれません。
そこで自身のローカル環境でAIを使えるならそんな不安は解消できるっという事で、最近ローカルLLMなるものが流行りのようで、ローカルでAIをどの様に使えるようになるのかについて紹介してみたいと思います。
ローカルLLM
ローカルLLM（Large Language Model）は個人レベルのPCなどでインターネットから隔離された環境で動作するAIモデルです。ローカルLLMは2025年初頭に登場したDeepSeekによってそれまでは高価なGPUを大量に使わないと実現できないと思われていたAIの巨大モデルが持つ思考プロセスを手元のPCで実現できる手法を公開した事から始まりました。それでもそれなりに動かすには、少々高価なGPUが必要な上に小型モデルでもここまで可能だという事を証明したに過ぎなかったものが、2026年2月にQwen3.5 9Bの登場によって実際に使えるAIとしての実用性を実現しました。
また、以前は動作させる為にはそれなりの専門知識が必要でしたが、OllamaやLM Studioの登場により誰でも簡単にモデルを導入できるようになりました。
LM Studioを使ったローカルLLMの導入
現在ローカルLLMを導入するはOllamaを使った方法とLM Studioを使った方法があります。Ollamaは基本的にコマンドを使った導入がベースでサーバー等のGUIが無い、使えないといった場合でも導入が出来ますが、非エンジニアには少々敷居が高いかもしれません。LM Studioは全てがGUIで視覚的な操作ができ、モデルの導入もマウスをポチポチと操作するだけで容易に使う事ができます。また、以前は商用利用が有料とされていましたが、2025年7月8日から個人・商用全て無料となりました。少し試して見たいという場合にはLM Studioを使った方が良いでしょう。
LM Stuido のインストール
LM Studioはこちらからダウンロードできます。ダウンロードして実行するとインストール先等を聞かれますので変更したい場合は変更してください。
インストールが完了すれば実行します。
進めると導入するモデルを聞いてきますが、目的のモデルでなければスキップで問題ありません。
1つ目は開発モードですが、使うだけならOFFのままでOKです。2つ目はPCを実行時に自動的に起動させるかどうかです。使いたい時だけであれば、こちらもOFFで良いでしょう
メイン画面が出てきましたが、このままでは使えないので赤丸からモデルを選択する事ができます。
左に利用可能なAIモデルの一覧がでてきます。色々選んでみると右側に「Full GPU Offload Possible」といったグリーンで表示されている所がありますが、これがグリーンならインストールしようとしているPCで使っているGPUのメモリーに収まるかどうかを知る事ができます。今回使っているPCには、NVIDIA 3070という2世代前のGPUでVRAM 8GBです。
では実際にお目当てのQwen3.5 9Bはどうでしょうか？
同じ9Bでもオプションによっては収まらないモデルもあるようですが、標準的なものであれば大丈夫なようですので、ダウンロードしてみます。
容量は6.55GB
ダウンロードが完了すると、使えるようになるので「Use in New Chat」でモデルを使えるようにします。
メッセージ入力の下に選択したモデルが表示されていれば使える状態です。必要な場合は幾つかモデルを導入して切替て試して見たりといった事も出来ます。
実際のパフォーマンスモニターの様子
見事にVRAM 8GB目一杯使われています。実際に問い合わせてみると、3DのGPU使用率が80～90%くらいで推移していました。
最後に
少し触ってみた感想としては、レスポンスは少し悪いが十分実用性があると思います。AIのレベルで言えば最新版には流石に及ばないレベルですが、１世代前の Chat GPT 4くらいはあるかも？それでも5年程前のGPUでこのレベルが動作する事は凄い事ではないでしょうか。確か当時はGPUだけだと6万前後だったと思います。
最近は Google が独自の推論用TPUを開発したり、元プレイステーション２のCPU開発者が推論用のチップ開発会社を立ち上げたりと学習したAIモデルを実行するだけの環境が整いつつあるように感じます。もちろんAIのモデルの学習には従来のNVIDIAなどのGPUが今後も使われAIの精度の更なる向上は必要ですが、現状の様に自社で作成したモデルを自社で動かし、それを使ってもらって収益を得るというビジネスモデルから自社で作成したモデルそのものを販売、あるい定額使用量を貰うといった形に変わるかもしれませね。
尚、今回LM Studioを使ってローカルPC上でAIを動かしてみましたが、これをサーバーとして他のPCやサーバーからAPIを使って使う事もできます。プログラマーならVS Codeからマーケットプレスから「Continue」を使って支援を受けるといったことも。機会があれば紹介してみたいと思います。
