目标:在你的个人电脑(即使是老旧笔记本)上,完全本地运行 DeepSeek R1 系列推理模型,实现:
- 数据永不上传云端,100% 隐私安全
- 通过浏览器 Web 界面聊天访问
- 搭建私人知识库(RAG),让 AI 精准回答你的公司/个人文档问题
- 老旧笔记本(8GB+ 内存,无独显也可)能流畅运行(可能稍慢,但实用)
推荐技术栈(2026 年最成熟方案):
- Ollama:本地运行 LLM 模型(支持 DeepSeek R1 全系列,包括量化/蒸馏小模型)
- AnythingLLM:一站式 Web 界面 + RAG 知识库管理(全本地,支持 Ollama 后端,文档上传、向量数据库、聊天全流程)
这个组合完全离线、零云依赖、安装简单、资源占用可控,已有无数用户在老笔记本上成功运行。
第一步:硬件要求 & 模型选择建议(老旧笔记本专属优化)
- 最低配置:8GB 内存 + 20GB 空盘(推荐 16GB 内存更流畅)
- 无 GPU 也能跑:全靠 CPU,速度 5-15 token/s(够日常问答)
- 有 GPU 更好:NVIDIA 显卡(4GB+ 显存)可加速到 30+ token/s
DeepSeek R1 模型推荐(在 Ollama 中直接拉取)
- 老旧笔记本首选:deepseek-r1:7b 或 deepseek-r1:8b-q4_K_M(量化版,占 4-6GB 内存,推理能力强)
- 稍好配置:deepseek-r1:14b 或蒸馏版 deepseek-r1-distill-qwen-7b
- 顶级配置:deepseek-r1:32b 或更大(需 32GB+ 内存)
提示:R1 系列推理能力极强,即使 7B 蒸馏版在数学、代码、逻辑上也接近 o1/Gemini 水平,加上 RAG 后回答公司文档问题超级准。
第二步:安装 Ollama(模型运行引擎)
- 打开官网:https://ollama.com/download
- 根据你的系统下载安装包:
- Windows:直接双击 .exe 安装
- macOS:双击 .dmg 安装
- Linux:终端运行 curl -fsSL https://ollama.com/install.sh | sh
- 安装完成后,打开终端(Windows 用命令提示符/PowerShell)输入:
text
ollama --version
看到版本号即成功。
4. 拉取 DeepSeek R1 模型(替换成你选的标签):
text
ollama pull deepseek-r1:8b-q4_K_M
(首次下载需几分钟到几小时,根据网速和模型大小)
5. 测试运行:
text
ollama run deepseek-r1:8b-q4_K_M
进入聊天模式,输入 “你好” 测试回复,Ctrl+D 退出。
后台运行模式(供 AnythingLLM 调用):
text
ollama serve
(开一个新终端运行这条命令,让 Ollama 在后台监听)
第三步:安装 AnythingLLM(Web 界面 + 知识库)
AnythingLLM 是最简单的全本地 RAG 方案,一键 Docker 安装,内置向量数据库。
- 安装 Docker Desktop(必须):
- 官网:https://www.docker.com/products/docker-desktop/
- 下载安装,重启电脑
- 启动 Docker Desktop(开机自启建议勾上)
- 一键启动 AnythingLLM: 打开终端,运行官方一键命令:
text
docker run -d -p 3001:3001 \
--cap-add SYS_ADMIN \
-v anythingllm-storage:/app/server/storage \
-v .anythingllm-hotdir:/app/server/.anythingllm-hotdir \
--name anythingllm \
mintplexlabs/anythingllm
(首次会自动下载镜像,耐心等 2-10 分钟)
4. 浏览器打开:http://localhost:3001
- 首次进入会让你设置管理员密码,记好!
第四步:配置 AnythingLLM 连接 Ollama + DeepSeek R1
- 登录 AnythingLLM 后,点击左下角 Settings(设置)
- 选择 LLM Provider → 选 Ollama
- 配置:
- Ollama Base URL:http://host.docker.internal:11434(Windows/Mac 默认这样)
- (Linux 用 http://localhost:11434)
- Model:选择你拉取的模型,如 deepseek-r1:8b-q4_K_M
- 保存测试(会显示绿色成功)
- (可选)嵌入模型(用于文档向量化)也选 Ollama 的小模型:
- Embedding Provider → Ollama
- Model 选 nomic-embed-text 或 all-minilm(先运行 ollama pull nomic-embed-text)
第五步:搭建个人/公司知识库(RAG)
- 在 AnythingLLM 左侧点击 Collections → New Collection
- 起个名字,如 “公司文档库” 或 “个人笔记”
- 上传文档:
- 支持 PDF、DOCX、TXT、MD、CSV、网页链接等
- 点击 Upload Documents,拖拽或选择你的公司文件(敏感数据完全本地处理!)
- 上传后会自动向量化(首次稍慢,后续秒级)
- 创建多个 Collection(如分部门:技术文档、合同库、会议记录)
第六步:使用 Web 端聊天 + 调用知识库(企业级 AI 体验)
- 点击左侧 New Workspace
- 起名,如 “公司助手”
- 在 Workspace 设置中:
- 关联你创建的 Collection(多选支持)
- 保存
- 开始聊天:
- 直接问问题,如 “根据合同模板,总结保密条款”
- AI 会自动检索知识库 + DeepSeek R1 推理,给出精准回答 + 引用来源
- 支持多轮对话、思维链(R1 自带强推理)
高级玩法:
- 多 Workspace:不同项目用不同知识库
- Agent 模式:让 AI 自动调用工具(未来更新)
- 分享链接:局域网内多人访问(设置中开 Multi-User)
常见问题 & 优化(老旧笔记本专治)
- 运行慢?换更小模型(如 7b-q4),或关闭其他程序
- 内存爆?用 deepseek-r1:7b-q3_K_M(更低量化)
- Docker 卡顿?AnythingLLM 也有桌面版(官网下载,非 Docker)
- 想换界面?可用 Open WebUI(另一个 Web UI,也支持 RAG):
- Docker 运行:搜索 “Open WebUI Ollama” 一键命令
- 更新模型:ollama pull deepseek-r1:latest
总结:你现在拥有了一个企业级私人 AI 助手
- 所有数据、模型、处理都在本地 → 零泄露风险
- Web 浏览器访问,手机/平板也能局域网访问
- RAG 知识库让 7B 小模型也能精准回答复杂公司问题,推理能力媲美云端大模型
恭喜!按这篇教程操作,1-2 小时内就能上手。老旧笔记本也能跑出“企业级”效果,主要靠 R1 的强推理 + RAG 的精准检索。