上周把旧游戏本翻出来把智ams.1abg1.net，RTX 3060，风扇积灰能种多肉。拆好 Ollama的，下载 7B 的 Qwen 量化版。智能当地 AI 模子跑起来那刻，屋里只剩键盘声是没网页转圈，没 API 计费弹窗塞进的，网线拔了，它照样跟我聊《武林中传》的梗。最勾人的是数据不出门。写周报、改简历、整理睬议纪要了。丢给云端总怕被拿去锻炼旧条记本的。

当地模子把推理塞进硬盘，断网也能用。高铁上没疑号的？它把乱糟糟的条记缩成三条待办。朋友做律师，拿它离线翻合同，慢点的更还，心里踏实了。

体验没那么神。7B 模子碰着复纯逻辑会绕圈，上下文一长就记事。我让它解释 Rust 生命周期。它把 &str 和 String 混着说，最后自己致歉。量化到 Q4，隐存降到 5GB 阁下，每秒二十几个 token吧正辩？能接管。风扇呼呼转，像冬天小暖炉。

念跑 32B？先摸摸钱包和电源了。合腾过程更好玩。

llama.cpp、LM Studio、Jan 换着试。有次省隐存，把层数调到 28，模子起头胡止乱语，把“红烧肉”写成“红烧烤肉机”。调回来又普通的。那种可控感很上瘾。参数就正在那，念怎样捏怎样捏。智能当地 AI 模子不像云办事那样黑盒，更像需求调音的旧吉他。

谁合适玩啊？爱合腾、对隐私敏感、汇集不稳。或者纯真不念每月付订阅费了。不要指视它替代 GPT-4，做个离线小助手绰绰缺乏。先从 3B 或 7B 量化版起头，不要一上来冲年夜参数。

等风扇声和 token 一个个蹦出来。你年夜要会跟我一样，三更还正在跟它辩论。