Mac 本地部署大模型入门:从 Ollama 开始
零基础也能看懂:为什么要在 Mac 上跑大模型、需要什么配置,以及用 Ollama 跑起第一个模型的完整步骤。
为什么要本地部署
云端大模型要订阅费、数据要上传,本地部署则更私密、无月费,适合长期高频使用。Apple Silicon 统一内存架构带宽高,尤其适合跑 7B-14B 参数的中小模型。
需要什么配置
16GB 内存可流畅跑 7B-8B 量化模型;32GB 以上可尝试 14B-32B。存储建议预留 20GB 以上,模型文件动辄几个 GB。
三步跑起第一个模型
第一步:到 ollama.com 下载安装 Ollama。第二步:打开「终端」运行 `ollama run llama3.1`,首次会自动下载模型。第三步:直接输入问题对话,输入 `/bye` 退出。