衝撃 cyberagent-DeepSeek-R1-Distill-Qwen-14B がMacBookPro M4Pro 24GBメモリで動いた

驚き感動

Mac本体で生成AIが動いて感動中

ちょっと待たないといけないし、24GBのメモリがギリギリなのだけど、実用範囲で動く

動画では、27インチの外付けディスプレを使っているためメモリが足りなくなっているが、その後、MacBookPro M4Proの14インチ単体で使ったら、メモリが21GBぐらいで収まり、そこそこサクサクで動いた。

GUIで動く LM Studio だと、さらにメモリが厳しいのか、動きが遅いようで、コマンドラインで動くollamaで動かしている。

そして、一番嬉しいところは、

ネットに情報を送信していいか？どうか？と、ローカルなら迷う必要なく使えるのが嬉しい。

セキュリティを考えないといけない内容の作業を気兼ねなくトライできるのは大きい。

誰もの机の上で、生成AIが動く、そんな時代がやってきた。

MacBookPro M4Pro 24GBのマシンで、

Ollamaというパソコン単体で、生成AIの大規模言語モデル（LLM）を動かす仕組みを使って、

最近話題のDeepSeek R1から、日本語データを追加学習したモデルをサイバーエージェントさんから、オープンソースの推論モデルが公開された

cyberagent-DeepSeek-R1-Distill-Qwen-14B

を使って、テストしてみたら

なんとか実用レベルで動く。

性能的には、直感で感じる感覚だと、

GPT-3.5 Turbo

ぐらいな感じ。

なので、深津プロンプトで指示すると良い感じに作業してくれる。

実際にこの動画の文字起こしテキストから、要約を生成した結果がこちら

------
cyberagent-DeepSeek-R1-Distill-Qwen-14B
------

**要約文：**

MacBook Pro M4上で深層学習モデル（例：14Bパラメータ）を動かす際の課題について、ユーザーは以下のような体験
を報告しています。

1. **初期動作と問題発生**  
   - マシン上に「世世AI」というLLMをインストールし起動させたところ、途中でモデルが固まる現象が頻繁に起こり
ます。
   - これは「不活プロンプト」と呼ばれるモデルの初期設定ミスやメモリー不足が原因と推測されます。

2. **ハードウェア制約**  
   - マシンスペック：14Bモデル対応可能な理論上は動作可能ですが、実際にはGPU/メモリー両方に圧力がかかります
。
   - 特に「パツンパツン」と表現されるメモリープレッシャー（6GBスワップ領域使用中）が最大の障壁です。

3. **環境要因**  
   - ChromeやZoomなどのバックグラウンドアプリによるメモリー消費がモデル動作を悪化させます。
   - ただし、Chrome停止後はGPU負荷も低下し、一時的に安定します（例：GPU使用率70%程度）。

4. **改善策の考察**  
   - 高性能マシンへのアップグレード（メモリー24GB以上モデル）が最善と判断されますが、予算や待機時間とのバ
ランスを悩ましいと述べています。
   - ローカル環境ならセキュリティリスク回避のメリットはあるものの、「小電力コア」によるパフォーマンス低下
は解消困難です。

5. **感想**  
   - 2年前に同様の現象が発生したモデルアップデートと比較し、技術進化を感じつつも「メモリー不足」という課題
が根深いことを指摘しています。
   - 結局は「待機時間」やバックグラウンドアプリ管理で運用を継続中とのことです。

この体験談は、最新モデルの実践的な制約とハードウェア選定の重要性について、具体例を通じて分かりやすく示して
います。

------

なお、Claude 3.5 Sonnet で要約するとこんな感じ

------
Claude 3.5 Sonnet
------
以下に文字起こしの内容を分かりやすく要約いたします：

MacBook Pro M4で最新のAI技術を試した体験についての報告です。主なポイントは：

1. ローカル環境で大規模言語モデル（LLM）を動かす実験をしています。具体的には、サイバーエージェントが日本語化したDeep Seekという14Bサイズのモデルを使用しています。

2. システムの動作状況：
- メモリーはかなり限界に近い状態で動作
- クロームブラウザを終了することで安定性が改善
- GPUも積極的に活用されている
- MacBookのファンが高速回転する状態

3. パフォーマンスについて：
- ChatGPT-3 Turboと同程度の応答速度
- 待ち時間はあるものの、実用的な範囲内
- 完全にローカルで動作するため、セキュリティ面で安心

4. 課題と考察：
- 24GBのメモリーでも他のアプリ（Zoom等）と併用すると厳しい
- より大きなメモリーを搭載したモデルの検討も必要かもしれない
- CPUは高効率コアが主に活用されている

結論として、ローカル環境でここまで高度なAIが動作可能になったことへの驚きと、技術の進歩を実感する内容となっています。

-----

Claude 3.5 Sonnetの結果が素晴らしいのだけど、わずか24GBのメモリのM4Proのローカルで動いているのは凄い　と感じている2025年1月31日

2022年8月22日に公開された深津さんの「世界変革の前夜は思ったより静か」で語られている世界の変化が、ここまで来たと感じている。