大東 信仁（ものくろ） 
macOS 27 Golden Gate(ゴールデンゲート)には、標準でローカルLLMが組み込まれています。
これを知ったので、今回、OSをアップデートしました。で、早速試してみました。
とりあえず動かしてみた、という段階です。
動かしているのは、MacBook Pro M4 Pro(M4 Proの下のほうのモデル)で、メインメモリは24GB、SSDは1TBのモデルです。
スクショを見てもらうとわかるんですけれども、動くまで、試行錯誤しています。
ターミナルで fm chat と打ったら、ライセンス同意を求められた
ターミナルで、fm chat と打ちます。
すると、赤い文字で「APPLE FOUNDATION MODELS CLI のライセンスに同意していない」と出て、止まりました。同意はMacの全ユーザーに適用されるので、管理者権限で sudo fm license を実行してね、とのこと。
言われたとおり、sudo fm license を実行。Macのログインパスワードを入れると、規約が表示されるので、yes と答えます。
同意は、1回だけ。以後は、同じMacの全ユーザーで有効です。
今度は「モデルが使えない」。Apple Intelligence のダウンロード待ちでした
もう一度 fm chat を実行すると、今度は「The model is not available. Try again later.」と出ます。
原因は、Siri でした。
僕は今まで、Siri が必要じゃなかったので、システム設定から Siri をオフにしていました。どうも、Siri がオンになっていないと、このローカルLLMは使えないみたいです。
なので、今回、これを使うために Siri をオンにしました。すると、Apple Intelligence のモデルのダウンロードが始まります。
システム設定の Siri を開くと、「Apple Intelligence と Siri に必要なものをダウンロードしています」と出ていて、67%でした。
しばらく待って、100%に。
そのあと「Siri に必要なものの追加が進行中です」という表示に変わり、これが消えたら準備完了です。
動きました
fm chat を実行すると、「Apple Foundation Models Chat」が立ち上がります。
「どんなことができる?」と聞いてみると、情報の提供、創作活動、論理的推論、学習の補助、と答えてくれました。注として「私はAppleが開発した大規模言語モデルであり、実際の行動や身体的活動はできません」とも。
画面の下には、コンテキストが 8,192 トークンで、いま何%使っているかが出ています。
触ってみた感想
ちょっと触った時点では、まだ、どう使っていいのかなという感じもあります。
ただ単に作業をさせた部分では、日付を聞くと、全然違う日付を答えたりして。残念な部分もあります。
でも、macOSに標準で入っているということは、アプリから使えるということ。使い方次第では、かなり面白い使い方ができるかも、と思っています。
調べてわかったこと
調べると、同梱されているモデルは「AFM 3」という名前で、fm コマンドには、応答を返す fm respond、対話する fm chat、構造化出力のスキーマを作る fm schema があるとのこと。APIキー不要、クラウド費用ゼロで、スクリプトから叩けるらしい。オンデバイスのモデル専用で、Private Cloud Compute 経由のオプションは正式版の前に外されたそうです。
参考にしたのは、9to5Mac の macOS 27 Golden Gate の記事と、Blake Crosley さんの fm CLI の記事です。
まとめ
macOS 27 Golden Gate のローカルLLMは、ターミナルで sudo fm license に同意して、Siri をオンにして、Apple Intelligence のダウンロードが終わるのを待てば、fm chat で動きます。僕の場合は、Siri をオフにしていたのが引っかかりどころでした。
賢さは控えめ。でも、OS標準で、アプリから使える。ここからどう使うか、考えるのが楽しみです。
