cyberagent-DeepSeek-R1-Distill-Qwen-32B MacBookProで動かすには、78GBのメモリが必要

実際にMacBookPro M2Max メモリ96GBのマシン実機で、

cyberagent-DeepSeek-R1-Distill-Qwen-32Bを動かしてもらった結果、

アクティビティモニターのメモリで 78GB、GPUはほぼ100%という感じだった。

とはいえ、32Bモデルが動くのは素晴らしいし、待ち時間もそんなに待つほどでなくスルスルと動いた。

動作環境は、LM Studioの環境にてテストした。