大東 信仁（ものくろ） 
「ローカルLLMって、実際どのくらいの速さで動くの？」と気になっていませんか？
実測の数字を書いておくと、M4 Pro（メモリ24GB）のMacで毎秒約30トークン、Apple Silicon最適化のMLXなら毎秒約47トークンでした。
日本語だと1秒に20〜30文字くらいのスピードで、目で追うより速く文章が出てきます。
この記事では、Alibaba製のオープンモデル「Qwen3.5-9B」を手元のMacで動かして計測した速度と、使ってみてわかった「速度以外の落とし穴」を紹介します。
Qwen3.5-9B とは
Qwen3.5-9Bは、2026年3月に公開されたオープンウェイトのLLMです。
9B（90億パラメータ）という小型サイズなのに、前世代の30Bクラスを上回ると評判のモデルで、日本語もかなり自然。ファイルサイズは4bit量子化で6.6GBなので、メモリ24GBのMacなら余裕を持って動かせます。
ローカルLLMというのは、ChatGPTやClaudeのようなクラウドのAIと違って、自分のパソコンの中だけで動くAIのこと。データが外に出ないので、顧客情報のような機密データを扱う処理に使えるのが最大の魅力です。
実測環境
計測に使った環境はこちらです。
- メイン機: M4 Proチップ搭載Mac（メモリ24GB）
- サブ機: M1 Mac mini
- 実行環境: Ollama 0.32.15 と MLX（mlx-lm 0.31.3）の2種類
- モデル: Qwen3.5-9B の4bit量子化版
- タスク: 日本語の要約・分類・コード生成を各3回ずつ
実測結果：生成速度
同じ日本語タスクを流したときの、文章を生成するスピードです。
| 環境 | 生成速度 | 日本語の体感 |
|---|---|---|
| M4 Pro + MLX | 約47 tok/s | 1秒に約30文字。読むより速い |
| M4 Pro + Ollama | 約30 tok/s | 1秒に約20文字。ストレスなし |
| M1 Mac mini + Ollama | 約9 tok/s | 1秒に6〜7文字。じわじわ出る感じ |
tok/s（トークン毎秒）というのは、AIが1秒間に生成する文字のかたまりの数です。日本語だと1トークンあたり0.7文字前後になります。
M4 Proなら、チャットで使っても待たされる感覚はほぼありません。 MLXで動かすとOllamaより約1.6倍速くなるのは、Apple Silicon向けの最適化が効いている感じですね。
一方のM1 Mac miniは毎秒6〜7文字。目の前でじわじわ文字が出てくるので、対話用途だと正直しんどいです。
プロンプト読み込みは十分速い
生成速度とは別に、「渡した文章を読み込む速度」も測りました。
- M4 Pro: 初回 約200〜300 tok/s（2回目以降はキャッシュが効いて数千tok/s）
- M1 Mac mini: 約123 tok/s
ここで注目なのが、M1でもプロンプト読み込みは毎秒123トークン出ていること。
つまり「長い指示文を読ませて、短い答えを返させる」タスク（分類とか、振り分けとか）なら、生成が遅いM1でも意外と実用になるんです。
ここでハマりました。返事が「空っぽ」になる
速度以外で、ひとつ大きな落とし穴がありました。
Qwen3.5は、回答の前に「思考」をする推論モデルです。で、OpenAI互換API経由で使うと、この思考が長くなったときにトークン上限に達してしまい、肝心の本文が空っぽで返ってくることがあるんです。
あっ、返信が空だ。どうしよう。
調べてみると、思考の内容は別フィールドに入っていて、そこで力尽きていました。
解決策は、Ollamaのネイティブ API（/api/chat）で think: false を指定して思考モードをオフにすること。定型的なタスクなら思考なしで十分な品質が出ますし、思考分のトークンを消費しなくなるので体感速度もぐっと上がります。
使いどころのまとめ
実測してみてわかった、マシン別の使い分けはこんな感じです。
- M4 Proクラス: チャットも文章生成も快適圏。メインの作業マシンでそのまま使える
- M1クラス: 対話はしんどい。ただし「メールを分類する」「テキストを振り分ける」ような、裏で勝手に回っていてくれればいい処理なら十分実用
- 速度最優先なら MLX: 同じMacでもOllamaより約1.6倍速い
「古いMacしかないからローカルLLMは無理かな」と思っていた方も、バックグラウンドの自動処理という使い方なら、M1でも活躍の場がありますよ。
まとめ
- Qwen3.5-9B は M4 Pro + MLX で約47 tok/s、Ollamaで約30 tok/s
- 日本語の体感は1秒に20〜30文字。対話でもストレスなし
- M1 Mac mini は約9 tok/s。対話は厳しいが、分類などの自動処理なら実用圏
- OpenAI互換APIだと思考モードで本文が空になることがある。Ollamaネイティブ APIの
think: falseで解決
