如今，越来越多的人倾向于在家用电脑上搭建自己的语言模型，而不是盲目信任像 Claude 或 ChatGPT 这样的巨头。主要原因无疑是隐私问题，因为在处理敏感数据或个人文档时，没有任何信息会离开电脑，从而防止第三方录制我们的对话来训练他们的人工智能。
最棒的是，你不再需要成为编程专家就能做到这一点。得益于各种工具的简化，任何拥有现代电脑的人都可以在几分钟内搭建并运行自己的智能助手，从而节省月费，并完全摆脱对互联网连接的依赖。
为什么值得拥有本地人工智能？
首要驱动因素是保密性，这对于处理合同、医疗记录或研究笔记的人员至关重要。在硬盘上运行模型消除了外部 API 存储数据的风险。此外，其离线功能对于那些经常出差或在网络覆盖不佳地区工作的人来说简直是救星。从长远来看，它还能省去付费订阅费用，从而显著降低成本。
但是，让我们现实一点：小型本地模型不会像在超级计算机上运行的大规模最新一代模型那样充满活力或精确，但对于日常使用来说，它们已经绰绰有余了。
所需硬件以及如何选择型号
别担心，你不需要市面上最贵的显卡就能入门。参数量在 3.000 亿到 7.000 亿之间的模型，在配备 16GB 内存的现代 CPU上也能流畅运行，虽然响应速度会比独立显卡慢一些。如果你想升级到参数量 13.000 亿或更多的模型，那么至少配备 12GB 显存的显卡会带来性能上的巨大提升。
量化技术正是在此发挥作用。它是一种降低模型权重精度（例如，从 16 位降至 4 位）的技术手段，使模型能够在不明显损失质量的情况下占用更少的内存。GGUF 格式已成为分发这些优化模型的标准格式。
必备工具：Ollama 和 LM Studio
Ollama之所以备受欢迎，是因为它安装极其简便，并且只需使用非常基本的命令即可管理模型下载。它像一个后台引擎一样工作，仅在需要时才将AI加载到内存中，并在之后释放它。这与Docker的工作方式非常相似，都将模型视为版本化的软件包。此外，它还兼容Llama、Mistral、Gemma和Qwen等开源模型系列。
对于那些讨厌终端操作而更喜欢点击按钮的用户来说，LM Studio 提供了一个非常直观的图形界面。另一方面，如果您希望 AI 分析您自己的文件，您可以安装 Open WebUI（其界面风格与 ChatGPT 类似），并添加像nomic-embed-text这样的嵌入模型，以便在您的本地知识库中执行语义搜索。
快速入门指南
通常情况下，首先需要从 Ollama 官网下载适用于 Windows、macOS 或 Linux 的版本。安装完成后，请确认该服务已在11434 端口上启动。然后，只需从模板库中选择一个模板，下载后即可开始聊天。如果您计划搭建一个始终在线的家庭服务器，建议您将服务配置为自动启动，以避免断电后出现问题。
限制和需要考虑的要点
并非一切都尽如人意。小型设备更容易出现幻觉，这意味着它们很容易伪造数据。这迫使用户更加谨慎地核实信息。如果设备长时间高强度使用，监控功耗和硬件损耗也至关重要。此外，调整温度或上下文大小等参数仍然需要一定的学习时间。
尽管存在这些细节问题，但这项技术的普及化令人惊叹。曾经令人头疼的 Python 依赖项，如今只需一个简单的安装程序即可解决。对于那些重视数字隐私而非即时便利的人来说，从依赖云端迁移到完全掌控自身数据，是一个非常合理的选择。
