本地模型折腾笔记

本地模型的体验很受硬件影响。模型参数、量化格式、统一内存大小，都会直接决定它是不是跑得动。

一个实用判断

如果机器只有 8GB 统一内存，优先选择：

1. 4B 或更小的模型。
2. 4-bit 量化格式。
3. 明确支持 Apple Silicon 的运行器。

这不是追求极限，而是给日常使用留一点呼吸空间。能稳定完成任务，比勉强加载一个大模型更重要。

留给之后

后续可以把这些折腾记录整理成一个长期页面，用来保存可复现的命令、模型链接和性能观察。