本地运行大模型的理由很明确:数据不出本机、不受网络和额度限制、可离线。但把它当成「下载一个 App 就有云端效果」多半会失望:能力、速度、上下文长度都受显存与量化约束。这篇讲清三个方案怎么选,以及第一次跑通要注意什么。

一、先算三笔账:显存、速度、场景

  • 显存与内存:模型权重加 KV cache。4-bit 量化下,8B 权重约 5GB,14B 约 9GB,32B 约 20GB(经验值,随结构与量化变化)。上下文越长,KV cache 越大。
  • 速度:能否接受每秒十几个 token,取决于显卡和是否把部分层放 CPU。纯 CPU 可用但慢。
  • 场景:写作、翻译、代码补全、本地 RAG、隐私数据处理,对模型大小和上下文要求不同,先定主目标。

别只看参数量。14B 的指令微调模型在你的任务上可能比 32B 更稳。先用自己的 20 条真实输入做评测,再决定要不要换。

二、三个工具,三种定位

工具是什么强项限制更适合
Ollama命令行工具 + 本地服务一条命令拉取并运行模型,提供 OpenAI 兼容接口,应用集成方便可调参数较少;模型库以官方打包格式为主想快速起步、给自己项目接本地模型的开发者
LM Studio图形化桌面应用搜模型、下载、聊天、起本地 API 都在界面完成,支持 MCP桌面应用为主;高级参数与自动化不如命令行顺手第一次接触本地模型、需要演示和调试的人
llama.cppC/C++ 推理引擎直接跑 GGUF,量化与硬件加速选项最多,可嵌入自己的程序要自己编译或挑发行包,参数多、文档偏工程向想榨性能、做部署、研究推理细节的人

三者不是并列竞品:Ollama 和 LM Studio 底层都用到 llama.cpp 这类引擎,只是把复杂度包起来。「选哪个」实际是「你愿意接管多少复杂度」。

三、硬件、量化与上下文怎么配

下表数字是保守经验值,不是硬门槛。模型结构、量化方案、上下文长度、是否用 GPU 都会改变结果:

内存 / 显存建议尝试预期体验
8GB 统一内存或显存3B–4B,4-bit轻量问答、摘要;上下文别开太大
16GB7B–8B,4-bit日常写作、翻译、简单代码,速度可用
24GB14B,4-bit质量明显提升,长上下文更从容
32GB 以上30B 级,4-bit接近可用的本地助手,速度与显存要权衡

量化就是降低权重精度,换更小体积和更快速度。Q4 级量化在多数任务上和更高精度差距不大,但数学、长链推理、代码生成更敏感。GGUF 是目前本地推理最常见的格式,权重和元数据打包在一个文件里,llama.cpp 及上层工具直接读取。买硬件前先跑一个 4B 和一个 8B,看速度能否接受。

四、上手步骤

Ollama,最快路径:

# 安装后确认版本
ollama --version

# 拉取并运行模型(模型名以模型库页面为准)
ollama pull qwen3:8b
ollama run qwen3:8b

# 本地 API 默认在 http://localhost:11434,兼容路径为 /v1

LM Studio:安装后搜索并下载模型,在聊天页加载,打开本地服务器开关,用界面给出的 OpenAI 兼容地址接入脚本。生成参数、上下文长度、GPU 卸载层数都能在界面调,调完存成预设。

llama.cpp:准备 GGUF 文件,按官方说明编译或下载发行包,用 llama-cli 交互测试,再用 llama-server 提供 HTTP 服务。GPU 加速要按显卡后端(CUDA、Metal、Vulkan 等)配置,以官方构建文档为准。

模型动辄几 GB 到几十 GB,注意磁盘和下载源。不同模型许可证差别很大,商用前逐个确认,模型卡通常写明授权。

五、常见坑

  • 显存不够硬跑:模型被拆到内存与显存之间,速度骤降。先降量化或换小模型。
  • 上下文开太大:长上下文吃掉大量显存,能让本来能跑的模型跑不动。
  • 把本地小模型当云端旗舰用:复杂推理、长文写作、多轮工具调用,8B 级和云端旗舰差距明显,任务要匹配能力。
  • 只看 tok/s 不看首字延迟:长提示词下,首 token 时间对体验影响更大。
  • 格式与版本不匹配:GGUF 版本、量化类型、引擎版本对不上会加载失败,先看模型卡和 release note。
  • 忽略采样参数:同一模型不同温度,输出稳定性差别很大;可复现就固定参数并记录。

六、选型清单

  1. 写下真实用途(隐私、离线、成本、学习),只保留一个主目标。
  2. 用现有机器跑通一个 4B 模型,记录首字延迟和生成速度。
  3. 用同一组 20 条问题对比 4B、8B、14B 的可用率,而不是看排行榜。
  4. 需要 API 兼容与自动化,优先 Ollama 或 LM Studio 的本地服务;需要极限性能或嵌入自有程序,再投入 llama.cpp。
  5. 定下来后写一页「环境 + 模型 + 参数 + 已知问题」记录,换机器时能复现。

本地模型的正确期待是「一个可控、够用的私有助手」,不是「免费版云端旗舰」。先把任务限定在它能稳定完成的范围内,再逐步加难度。

参考与延伸阅读

外链内容由对应网站负责,访问以实际可用性为准。