GPT4All：在你的电脑上离线运行 AI 模型

什么是 GPT4All？

GPT4All 让用户无需依赖云服务即可与 LLM 聊天，并将其整合进自己的工作流。 它由 Nomic AI 维护，目标是让个人和企业更容易在边缘设备上训练和部署自己的大语言模型。 该平台是开源的，可用于商业用途。

GPT4All 是一个生态系统，用于训练和部署能在消费级 CPU 上本地运行的强大、可定制的大语言模型。 与基于云端的 AI 服务不同，用户无需依赖云服务即可与 LLM 聊天，所有数据都保持私密和本地。

安装与设置

GPT4All 专为 Windows、macOS 和 Linux 用户设计。 可从 https://gpt4all.io 或 https://www.nomic.ai/gpt4all 下载该应用。

系统要求

• CPU：Windows 和 Linux 版本要求 Intel Core i3 第二代或 AMD Bulldozer 及以上。 你的 CPU 必须支持 AVX/AVX2 指令集。
• 内存：至少需要 8 GB 系统内存。 社区建议使用 16GB 内存，以便更舒适地运行较大模型。
• 存储：最少 10GB；模型体积从 3GB（小模型）到 8GB+（较大模型）不等。
• 显示器：显示分辨率至少需要 1280x720。
• 操作系统：macOS 需要 Monterey 12.6 或更新版本，在 Apple Silicon M 系列处理器上效果最佳。 Linux 版本仅支持 x86-64（不支持 ARM）。

安装步骤

1. 访问 https://gpt4all.io 并下载适用于你操作系统的安装程序
2. 运行安装程序并按照设置向导操作
3. 启动 GPT4All 并进入 Models 选项卡
4. 从 Llama 3 开始，或浏览其他可用模型。
5. 下载你选择的模型（首次下载可能需要几分钟）
6. 模型加载完成后即可开始聊天

支持的模型

GPT4All 以 llama.cpp 为后端，将用户与 HuggingFace 上的 LLM 连接起来，使它们能在本地硬件上高效运行。 热门模型包括 DeepSeek R1、Llama、Mistral、Nous-Hermes，以及数百个其他模型。

模型选择因素

• 模型规模：参数更多的大语言模型往往能更连贯地响应指令。
• 量化：更小的量化（例如 4 位而非 16 位）会使模型速度更快、内存占用更低，但性能略差。
• 许可：不同许可证对个人和商业用途的条款各有不同。

模型浏览器

“Model Explorer”（模型浏览器）板块展示了一个多元的模型集合，每个模型都有其独特的优势与能力。 用户可直接在应用内按点赞数、下载量或上传日期排序。

优点

• 完全的隐私：所有数据都留在你的本地设备上；不会发送到外部服务器
• 无订阅成本：开源且可用于商业用途，没有经常性费用
• 无需联网：无需 API 调用或 GPU--只需下载应用即可开始
• LocalDocs 功能：LocalDocs 让你能利用自己本地文件中的知识来增强 LLM 对话，一切都私密地留在你的设备上。
• 跨平台：可在 Windows、macOS 和 Linux 上运行
• 庞大的用户群：拥有 25 万+ 月活跃用户、6.5 万 GitHub 星标，以及每月 7 万次下载的 Python SDK，它拥有一个庞大而活跃的社区。

缺点

• 硬件限制：本地模型通常比云端同类更小、能力更弱；答案可能更简单，有时也不够细腻，而且高效运行它们需要一台相当现代的电脑。
• 初次下载：首次下载模型体积很大（3GB–8GB+），可能耗时较长
• 内存限制：如果模型装不进内存，系统将使用交换空间，推理速度会慢得令人抓狂。
• GPU 支持有限：GPT4All 在 CPU 上运行--量化模型（降低精度）是关键，因为它们以少量精度换取巨大的速度提升。
• 开发者配置较复杂：虽然桌面应用直观易用，但微调和高级集成需要技术知识

最佳使用场景

• 隐私关键型任务：摘要敏感文档、分析机密数据，或处理不应上传到云服务的个人信息
• 研究与开发：在本地测试语言模型，而不产生 API 成本或管理云基础设施
• 离线环境：在互联网连接有限或完全没有的地区使用 AI
• 借助 LocalDocs 进行文档分析：GPT4All v3.10 的 LocalDocs 功能能把任何装满 PDF 和文本文件的文件夹变成一个私密的文档聊天机器人--无需云端、无需 API 密钥、无需 Python。
• 成本优化：希望降低云端 AI 服务按 token 支出的组织
• 教育项目：在不依赖外部 API 或订阅的情况下了解 LLM 和 AI

常见问题

我能否在没有网络连接的情况下使用 GPT4All？

可以，GPT4All 能在日常台式机和笔记本上私密地运行大语言模型，无需 API 调用或 GPU--你只需下载应用即可开始。 模型下载完成后，整个应用即可离线运行。

LocalDocs 支持哪些文件格式？

支持的文件类型（默认）为 .txt、.md、.rst 和 .pdf，这些是经过测试且可靠的格式。 .docx、.xlsx 和 .pptx 等二进制格式默认被屏蔽，因为 GPT4All 的解析器需要可提取的文本。

LocalDocs 是如何工作的？

LocalDocs 集合使用 Nomic AI 免费且快速的设备端嵌入模型，把一个文件夹索引成若干文本片段，每个片段都获得一个嵌入向量。这些向量使 GPT4All 能够找出与你问题和提示词语义相似的文本片段，然后把这些相似片段包含进发给 LLM 的提示词中。

GPT4All 的 LocalDocs 和直接把文档粘贴进聊天有什么区别？

LocalDocs 实现了检索增强生成（RAG），它只从你索引的集合中检索最相关的段落并把这些传给模型，而不是每次都把整个文件塞进提示词。 这样效率更高，也能避免 token 上限问题。