16GB 还是 32GB?本地模型内存怎么选
内存大小直接决定你能跑多大的模型。本文给出不同内存下的模型选择建议,帮你避坑。
内存决定模型上限
Apple Silicon 的统一内存既是内存也是显存。模型参数越大越吃内存,量化后通常「参数量 ≈ 所需内存 GB」的粗略关系仍成立。
分档建议
8GB:只适合 3B 以下小模型或纯云端。16GB:7B-8B 量化模型是甜点区。32GB:可跑 14B-30B。64GB 及以上:可尝试更大模型与更长上下文。
结论
预算有限优先 16GB(够用);准备长期跑本地模型或做 RAG,直接上 32GB 更省心,后期无法升级内存。