大東 信仁（ものくろ） 
TypeSafe AIの「Jev (ジェブ) 」を使って、Gmailの迷惑メールとフィッシングメールを、AIで自動仕分けする仕組みを、Claude Codeと一緒に作りました。
10月1日の朝から、本番で動かしています。
すり抜けていた迷惑メールを拾えた割合は、49%から97%へ。
正しいメールを、間違って迷惑メール扱いしてしまう割合は、2.8%から0.2%へ。
9月に届いたメール2,475通で確かめた数字です。
正直、ここまで変わるとは思っていませんでした。
Gmailの「大切なメール」に、フィッシングメールが混ざっていた
僕の場合は、30分おきにGmailをチェックして、大切なメールだけを一覧にする仕組みを、Claude Codeと一緒に作って使っています。
ただ、ひとつ困っていました。
その「大切なメール」の一覧に、迷惑メールが混ざるんです。
カード会社を名乗る「お支払い金額のお知らせ」。Amazonを名乗る請求のメール。国税庁を名乗る「還付金の受取手続きが完了していません」。
件名だけ見ると、大切そうに見える。だから、大切な一覧に載ってしまう。
Gmailの迷惑メールフィルタも、すり抜けてきたメールです。
いちばんドキッとしたのは、うちの会社の代表の名前を騙って「LINEのQRコードを送ってください」というメールです。9月だけで4回届いていて、それが「大切」と判定されていました。
自分でも、一瞬、本物かなと思うんですよね。
Jevは、「はい/いいえ」を確率で答えるAI
Jevは、TypeSafe AIが9月に公開した新しいAIです。9月22日に、登録してPlaygroundで試すまでを記事にしました。
Jev【TypeSafe AI】登録からPlaygroundで試すまでの手順
ChatGPTやClaudeのように文章を作るAIではありません。「このメールは迷惑メールですか?」という質問に、「はい」の確率で答えてくれるAIです。
なので、迷惑メールの判定には、ぴったりなんです。
前回の記事の最後に「Jevにif文を任せてみます」と書きましたが、その続きです。
迷惑メールの判定を、Jevに任せてみた
で、迷惑メールの判定を、Jevに任せてみました。
聞いているのは、「迷惑メールですか?」「フィッシングメールですか?」「どこかの会社を名乗っていますか?」といった質問です。
たとえば「イオンカードを名乗っているのに、送り主がイオンのアドレスではない」とわかれば、偽物と判定します。
ローカルLLMも組み合わせた
ひとつ気にしたのが、個人情報です。メールを外のサービスに送ることになるので、名前や住所などは、手元のMac miniで動かしている ローカルLLM AI(qwen3.5:9b)で伏せてから、Jevに渡すようにしました。伏せられなかったときは、Jevには送りません。
ローカルLLMは、qwen3.5:9b。
Mac mini （M1 メモリ16GB / SSD 512GB）のOllamaで動かしています。
実は、メールが「大切」「通常」「迷惑」のどれかを最初に判定しているのも、このqwen3.5:9bです。
Jevは、その判定を「迷惑メールかどうか」の目でもう一度見直す役割です。
迷惑メールを拾える割合が、49%から97%に
結果は、冒頭に書いたとおりです。
ルールとローカルLLM(qwen3.5:9b)だけの仕組みでは、迷惑メールの半分ぐらいが、すり抜けていました。Jevを入れてからは、179通のうち173通を拾えています。
逆に、それまでは登録しているメルマガや、講座への新しいお問い合わせを、迷惑メールとして片付けてしまうことがありました。お問い合わせを見落とすのは、本当にこわい。
こちらも、2,296通のうち64通だったのが、4通に減りました。
もちろん、最初から一発でうまくいったわけではありません。
8月のメールで試し直したら、正しいメールを迷惑と判定するものが出てきて、何度か調整しました。そこは、Claude Codeが根気よく付き合ってくれました。
本番1日目で、フィッシングメール10通を自動で片付けてくれた
10月1日の朝8時半に、本番に切り替えました。
翌日のお昼までに、迷惑メールとして片付いたのが13通。そのうち10通は、Jevが見つけたものです。
セゾンカードを名乗る「ポイントの有効期限が迫っています」。UCSカードを名乗る「ポイント有効期限のお知らせ」。国税庁を名乗る還付金のメール。Amazon Web Servicesを名乗る請求書のメール。
どれも、以前なら「大切なメール」の一覧に載っていたものです。
それが、朝起きたら、もう片付いているわけで、
これが、嬉しいんですよ！。
逆に、それまでのAIが「迷惑」と判定したものを、Jevが「迷惑ではない」と取り消したメールも5通ありました。間違って片付けてしまうのを、Jevが止めてくれています。
迷惑メールは自動削除しない。アーカイブとラベルで残す
ひとつ大事にしたのは、迷惑メールを自動削除しないことです。
迷惑と判定したメールは、受信トレイから外して(アーカイブ)、「迷惑メール(AI)」というラベルを付けるだけ。
Gmailの中に残っているので、あとから、いつでも見られます。
もし間違って片付けられていたら、Gmailでそのラベルを外すだけ。次からは、その送り主を迷惑メールにしないように、覚えてくれます。
AIの判定は、100%ではありません。大切なメールを消してしまうと取り返しがつかないので、削除は人の手に残しておくのが安心です。
しばらくは、ときどきラベルの中を見て、正しいメールが混ざっていないか確認するつもりです。
料金は、ほぼかからない
気になる料金ですが、ほぼかかりません。
Jevの料金は、100万トークンあたり0.042ドル。僕の仕組みだと、メール1通で約2,300トークンなので、1万通を判定しても1ドルかからない計算です。
実際の利用料は、こちら。
9月30日の山は、検証のために9月のメールをまとめてJevに通した分で、約1.7ドル。
本番に切り替えた10月1日は、0.0184ドル。1日3円もかかっていません。
検証の分を含めても、合計1.72ドル。
登録したときにもらった5ドル分のクレジットの範囲で、十分に収まっています。
まとめ
Jev(TypeSafe AI)を使って、Gmailの迷惑メールとフィッシングメールを、AIで自動仕分けできるようになりました。
すり抜けていた迷惑メールは、49%から97%へ。間違って片付けるメールは、2.8%から0.2%へ。
大切なメールの一覧から、偽物のカード会社や、偽物の国税庁が消えたのが、いちばん大きいです。毎朝の「これ、本物かな?」が減りました。
Jevは、こういう「はい/いいえ」で決められる仕分けに、本当に向いています。メールのほかにも、問い合わせフォームの振り分けなどにも使えそうです。
前回の記事で「Jevにif文を任せてみます」と書いて、10日ほど。ちゃんと、形になりました。
ありがたいです。
