利用deepseek打造个人知识库(满血版不要求硬件)

背景介绍

最近,国产大模型 DeepSeek 的本地部署教程在网络上热度颇高,不少人都想亲自体验一把 私人 AI 助手 的感觉。

然而,现实却很残酷

➤ 用本地精简版AI模型?就像让小学生做高考题,连简单问答都错误百出

普通用户一般选择蒸馏版 DeepSeek - R1 ,其参数从 1.5B70B 不等。即便如此,不同参数的蒸馏版模型对显存的要求也各有不同:

1.5B 模型:通常 4GB 左右显存即可,如一些只有核显搭配 8GB 内存的入门级设备就能运行,可进行简单基础任务。

8B 参数量:正常情况下 810GB 显存比较合适,显卡推荐 NVIDIA GTX1660 及以上。

14B 模型:需要 8GB 显存,如果是 16G 显存的电脑运行 14b 参数模型,大概需要占用 12G 显存。

32B 模型:需 18GB 显存。

70B 模型:则需要 140GB 显存,通常需要多卡并行,比如 8A100 80G 显卡。

➤ 用完整版AI模型?光显卡就要买564090 显卡(比买辆保时捷还贵),个人用户/中小企业根本玩不起。

DeepSeek R1 系列模型有多个版本,满血版 DeepSeek - R1 参数高达 671B ,这个版本需要专业服务器支持,普通用户基本不用考虑。

那么有没有可以用满血deekseek 且不要求硬件,且可以搭建个人知识库/公司知识库的方法嘛?

有的兄弟,有的!

满血版且不要求硬件的方案:硅基流动 + Cherry Studio

硅基流动

硅基流动‌是一家专注于生成式AI 云服务平台的公司,致力于提供高性价比的GenAI 云服务。其核心产品是SiliconFlow 平台,该平台支持文本对话、图像生成、视频生成和语音合成等功能。新用户注册即可获得2000万Tokens ,方便地进行各种智能操作‌。

硅基流动注册链接:

https://cloud.siliconflow.cn/i/6srT4AvQ

自行注册即可,模型广场里面有不同类型的ai,就是ai版本的淘宝,可以自行在线体验,本次使用的是硅基的api,模型广场不做过多介绍

创建一个自己的api 密钥,点击密钥即可复制,复制下来之后有用。

1 个赞