LPL養成講座のGLトレーニング、と、ASVに参加 2024-08-04


【ローカルLLM「Qwen3.5-9B」の速度は実用レベル?M4 ProとM1のMacで測ってみた【実測レポート・2026年版】】 「ローカルLLMって、実際どのくらいの速さで動くの?」と気になっていませんか? 実測の数字を書いておくと、M4 Pro(メモリ24GB)のMacで毎秒約30トークン、Apple Silicon最適化のMLXなら毎秒約47トークンでした。 日本語だと1秒に20〜30文字くらいのスピードで、目で追うより速く文章が出てきます。 この記事では、Alibaba製のオープンモデル「Qwen3.5-9B」を手元のMacで動かして計測した速度と、使ってみてわかった「速度以外の落とし穴」を紹介します。 ■ Qwen3.5-9B とは Qwen3.5-9Bは、2026年3月に公開されたオープンウェイトのLLMです。 9B(90億パラメータ)という小型サイズなのに、前世代の30Bクラスを上回ると評判のモデルで、日本語もかなり自然。ファイルサイズは4bit量子化で6.6GBなので、メモリ24GBのMacなら余裕を持って動かせます。 ローカルLLMというのは、ChatGPTやClaudeのようなクラウドのAIと違って、自分のパソコンの中だけで動くAIのこと。データが外に出ないので、顧客情報のような機密データを扱う処理に使えるのが最大の魅力です。 ■ 実測環境 計測に使った環境はこちらです。 ・メイン機: M4 Proチップ搭載Mac(メモリ24GB) ・サブ機: M1 Mac mini ・実行環境: Ollama 0.32.15 と MLX(mlx-lm 0.31.3)の2種類 ・モデル: Qwen3.5-9B の4bit量子化版 ・タスク: 日本語の要約・分類・コード生成を各3回ずつ ■ 実測結果:生成速度 同じ日本語タスクを流したときの、文章を生成するスピードです。 tok/s(トークン毎秒)というのは、AIが1秒間に生成する文字のかたまりの数です。日本語だと1トークンあたり0.7文字前後になります。 M4 Proなら、チャットで使っても待たされる感覚はほぼありません。 MLXで動かすとOllamaより約1.6倍速くなるのは、Apple Silicon向けの最適化が効いている感じですね。 一方のM1 Mac miniは毎秒6〜7文字。目の前でじわじわ文字が出てくるので、対話用途だと正直しんどいです。 ■ プロンプト読み込みは十分速い 生成速度とは別に、「渡した文章を読み込む速度」も測りました。 ・M4 Pro: 初回 約200〜300 tok/s(2回目以降はキャッシュが効いて数千tok/s) ・M1 Mac mini: 約123 tok/s ここで注目なのが、M1でもプロンプト読み込みは毎秒123トークン出ていること。 つまり「長い指示文を読ませて、短い答えを返させる」タスク(分類とか、振り分けとか)なら、生成が遅いM1でも意外と実用になるんです。 ■ ここでハマりました。返事が「空っぽ」になる 速度以外で、ひとつ大きな落とし穴がありました。 Qwen3.5は、回答の前に「思考」をする推論モデルです。で、OpenAI互換API経由で使うと、この思考が長くなったときにトークン上限に達してしまい、肝心の本文が空っぽで返ってくることがあるんです。 あっ、返信が空だ。どうしよう。 調べてみると、思考の内容は別フィールドに入っていて、そこで力尽きていました。 解決策は、Ollamaのネイティブ API(/api/chat)で think: false を指定して思考モードをオフにすること。定型的なタスクなら思考なしで十分な品質が出ますし、思考分のトークンを消費しなくなるので体感速度もぐっと上がります。 ■ 使いどころのまとめ 実測してみてわかった、マシン別の使い分けはこんな感じです。 ・M4 Proクラス: チャットも文章生成も快適圏。メインの作業マシンでそのまま使える ・M1クラス: 対話はしんどい。ただし「メールを分類する」「テキストを振り分ける」ような、裏で勝手に回っていてくれればいい処理なら十分実用 ・速度最優先なら MLX: 同じMacでもOllamaより約1.6倍速い 「古いMacしかないからローカルLLMは無理かな」と思っていた方も、バックグラウンドの自動処理という使い方なら、M1でも活躍の場がありますよ。 ■ まとめ ・Qwen3.5-9B は M4 Pro + MLX で約47 tok/s、Ollamaで約30 tok/s ・日本語の体感は1秒に20〜30文字。対話でもストレスなし ・M1 Mac mini は約9 tok/s。対話は厳しいが、分類などの自動処理なら実用圏 ・OpenAI互換APIだと思考モードで本文が空になることがある。Ollamaネイティブ APIの think: false で解決
アフィリエイト広告を利用しています



