LM StudioでローカルAI on Linux/Windows Ryzen 7 8845HS

LM StudioでローカルAI on Linux/Windows Ryzen 7 8845HS

　先月買った自身初購入のミニPCでAMD Ryzen AIを積んだRyzen 7 8845HS搭載AOOSTAR GEM12 Pro MAX/Windows 11 ProとUSB SSDでマルチブートしているAMDXDNA(Ryzen AI NPU)が実装されたLinuxカーネル6.14な25.04ベータを入れていたUbuntuに各種LLMを使ってAIチャット・AI画像認識などもできるマルチプラットフォーム対応かつ、AMD Ryzen AIにも対応のアプリ「LM Studio」をインストールして使ってみた話。

• LM Studioとは
• LM Studioのインストール
• LM Studioの使い方とローカルAIアシスタント/AI画像認識/一応画像生成AI

LM Studioとは

　LM Studioとは、Llama、DeepSeek、Mistral、Phi、Gemma、Qwen、QwQ、granite、Hermes、InternLM、LLaVA...などのLLM/Large Laungage Model/大規模言語モデルをローカルにダウンロードして実行することで各種LLMを使ったAIチャットとテキストでの対話できるようにサポートするAMD Ryzen AIに対応したAIツール的なソフトウェア。

　Windows、Apple SiliconなmacOS、Linuxとマルチプラットフォーム対応。

LM Studioのインストール

　対応していればOSごとに異なるはずの前掲リンク(LM Studioトップページ)から当該ダウンロードリンクをクリック、WindowsならダウンロードされるLM-Studio-0.3.14-5-x64.exeのような.exeファイルを実行、ガイドに沿ってインストール。

　ただ、Linuxの場合、それをダウンロードすると拡張子が、Linux向け汎用AppImageとなっており、自身は、これだとうまくいかなかったのでLinux(Ubuntu)では、右上の[Download]ボタンをクリックして表示される画面の下段のリンクからベータリリースページを開き、.debファイルをダウンロードし直しました。

　また、今日時点、この.debファイルによるLinuxへのインストールにおいては、/opt/LM Studioをベースに/etc/altenatives/lm-studio、/usr/bin/lm-studioに順次、ソフトリンクが張られており、元のパス[/opt/LM Studio]の[LM]と[Studio]の間にスペースがあるため、アプリ一覧のアイコンダブルクリックでも端末からのlm-sutdio実行でも起動できず、アンダースコアを入れる恰好で[/opt/LM_Studio]にリネーム、各ソフトリンクを削除後、ソフトリンクを張り直す必要がありました。

　ちなみに、この時、アプリ一覧に表示されていたLM Studioアイコンが消えてしまったのですが、/usr/share/applicationsと~/Desktopに、それらから任意に選んだファイルをベースにlm_studio.desktopファイルを作成、これで端末からだけでなく、アプリ一覧やデスクトップからも起動できるようになりました。

LM Studioの使い方とローカルAIアシスタント/AI画像認識/一応画像生成AI

　Windowsならインストールパスから.exeをダブルクリックするなどしてLinuxならメニューや端末からLM Studioを起動します。

　初回起動時は、LLMモデルのダウンロードを促されるので必要なら選択して、そうでなければ、後で必要なモデルを選んでダウンロードすることもできます。

　今日時点、LM Studio画面では、上部にモデル選択コンボボックス、下部にユーザー用のメッセージ入力欄があり、ダウンロード済みの好みのLLMモデルを選んでテキスト入力すれば、即、AIチャットボットと会話を始めることができます。

　Windowsでは、Llama(Meta Llama 3.1 8B Insturuct)とDeepSeek(DeepSeek R1 Distill Qwen 7B)にAIアシスタントをお願いしてみました。

　Llama(Meta Llama 3.1 8B Insturuct)を試してみた限り、まずまず実用的な速度、多言語対応で英語はもちろん、日本語にも対応していました。

　他方、DeepSeek(DeepSeek R1 Distill Qwen 7B)は、内蔵なAPU|IPUには荷が重すぎ、応答までに10秒前後、もしくは、それ以上かかる感じ、かつ、英語のみなのか、日本語には対応していませんでした。

　タスクマネージャを見るとNPUはともかく、AIチャットボットと会話中、CPUとiGPUを使っていることはわかりました。

　尚、このスクショは、[Meta Llama 3.1 8B Insturuct]から[DeepSeek R1 Distill Qwen 7B]に切り替えて一言二言め。

　Ubuntuでは、Mistral(mistral-7b-instruct-v0.3)とAya(aya 23 8b)にAIアシスタントをお願いしてみることに。

　Mistralもayaも速度も実用的な範囲、マルチリンガルで日本語もいけますが、何れも英語の後に比較的短文なら丸カッコ付き、そうでなければカッコなしで日本語で返し、日本語で会話している間に、どっちも日本語に、英語に戻すとどっちも英語になる(結果、同じ文を繰り返す)、前者は、日本語の場合、誤訳・誤植もあり、たまに助詞の使い方にご愛嬌がある感じですが、良好です。

　Mistralと、これはLM Studio上でではないものの、Copilotだと「にーはお」とか「ボンジュール」と日本語の文字を送信しても中国語やフランス語と認識された一方、Llamaだと日本語として認識されましたが、その方が自然ではありますよね、文字は日本語ですから。

　Ayaは、挨拶とは認識してくれますが、「こんにちは」に反応したのか、日本語文字な外国語をどう受け止めているのかわからない感じ。

　あと、これは、どれもそうといえばそうなのかな、Copilot含め、英語はバリエーション豊富なようですが、日本語で短文の場合、単語が少ないのに表現豊かにしようと努力しているのか、毎回定型文に対して一部変更しているような不自然なフレーズでの応答になりがちかな。

　そのあたりは、Mistral、Aya(、Copilot)よりも、Llamaの方が顕著な気はしました。

　それにしてもLlama、Mistral、Ayaに関しては、ローカルでここまで実用的にできるのは、素晴らしいですね。

　続いてLinux上のLM StudioとGEMMAでAI画像認識をやってみました。

　LM Studio内の虫眼鏡クリックして出てきた画面から[image]と検索して最初に出てきた入力としてテキストと画像をとるGEMMA(これなら検索しなくても一覧にあったけど)から任意で自身はサイズの小さいなものを選んだ結果、[gemma-3-4b-it]モデルを使うことに。

　最初は、テキスト入力欄の[+]をクリック、画像(今回は、Windows用にしてAMD Ryzen AIに最適化された生成AIアプリAmuseに作ってもらった生成画像)を選んでテキスト入力は端折って送信ボタンをクリックしたところ、デフォルトなんでしょう、英語で感想が返ってきました。

　というわけで、さっきの画像の日本語での感想を聞いたところ、ちゃんと日本語で返ってきました。

　日本語の表現力の豊かさを感じると同時に、さすが、(GEMMA開発元)Googleの技術力という感じでしょうか。

　Linux上のCoreCtrlでもGPU(今回使ったPCでは、CPU/GPU/NPUワンチップのAPUなRyzen 7 8845HSなのでiGPU/Integrated GPU/統合GPU)が動作していることを確認できました(なければインストールして端末でnvtopでも良いですけどね)。

　LinuxとLM Studioで画像生成AIは、できるのかと、探してみると[generative]で検索して見つけた[llama-3-8b-Instruct-bnb-4bit-aiaustin-demo]と[tensorart]と検索して見つけた[stable-diffusion-3.5-medium-turbo]がありました。

　ただ、後者は、[unknown model architecture : 'sd3']となって利用できそうもなかったので前者を試してみると...

　できるにはできたんですが、...、これってASCIIアートって言うんでしょうか...？こんな感じに。

　どうやら、少なくとも現時点では、LM Studioは、OSに関わらず、AIテキスト生成＋AI画像認識までな模様、Linuxで画像生成AIをやろうと思うとROCm必須でComfyUIとか他のソフトを模索する必要がありそうです。

関連リンク