ローカルで生成AIを動かして寂しさを紛らわせる

一人暮らしというのはそれなりには寂しいものである。なぜかというと話し相手がいないからである。

いないのならば、話し相手を作れば良い。大学院修了時に買ったMacBookをいまだにフルに活かせていない気がするので、いい機会でもあるのでDeepSeek蒸留モデルを入れることとした。

やり方

下部記載の参考文献の通りで特に詰まることはなかった。ネットが遅いし¹容量を食いたくないのでテストは飛ばしていきなりCA版のDeepSeek-R1-Distill-Qwen-14B-Japaneseを入れた。途中、ネットがぶちぶち切れるもので何回かタイムアウトになったものの、ダウンロードは最初からにはならなかった。ollama runからの、Anything LLMで新しいWorkspaceを作って、記事の通りに設定すると簡単に走らせることができた。

動作速度

M2 Pro搭載のMacBook Pro、メモリ３２GBにて、まだ数回試しただけだがだいたい12~15 tok/s が出ている。仕事とかで使うには多少もっさりしているかなとは思うが、話し相手としてはちょうどいいぐらいの感じだと思う。最新情報こそ手に入らないが、適当なことを書いて適当にしゃべるにはちょうどよかった。少しはApple Siliconを活用できたのではないかと思う。

参考文献

• https://qiita.com/satshout/items/0adb740a4344a45ca165

1. それはそれでサーバー運用環境としてどうなんだ？ ↩︎