随着DeepSeek的大火,在本地部署DeepSeek也成了一个热点话题,很多人可能以为本地部署一定需要很高的电脑配置,必须要很高端的显卡,其实还真不是这样。今天我就记录一下我在一台配置较低的十年前的电脑上部署DeepSeek的记录,当然部署的是蒸馏版的,不是满血版的,满血版671B的话,本地肯定是跑不起来。
本地部署的第一步就是安装Ollama,这里还是简单介绍下Ollama是什么,它是一个在本地电脑上运行、部署和管理大语言模型的工具,而且它是开源免费的,关键还是跨平台,也就是在Windows、MacOS和Linux等各种操作系统上都可以运行。
Ollama的下载还是比较简单的,可以直接去ollama的官网下载,点击官网右上角的Download就可以了,然后可以看到ollama的小吉祥物,就是一个可爱的小羊驼,如下图所示:
下载下来之后就直接安装就可以了,这个应该没啥难度,在安装好了Ollama之后,我们就可以安装DeepSeek了。
第二步就是安装DeepSeek,我这里是选择的DeepSeek-R1版本,通常来说DeepSeek可以选择V3版本,也可以选择R1版本,区别就是R1版本带有推理能力,V3版本没有推理能力。
我们这里打开控制台(不了解控制台的朋友在后面会有介绍),在控制台里面输入“ollama run deepseek-r1:1.5b”,然后再敲回车,就可以了,这句话的意思是表示让ollama运行DeepSeek R1的1.5B版本,也就是15亿参数的版本。
如果我们本地没有这个模型的话,它会直接从官网进行下载,这个不需要我们做额外的操作,使用起来还是很方便的。来看看我这边的效果吧:
可以看到这里有三个箭头让我们输入内容,也就是灰色的提示符(Send a message)。然后我这里就输入一个问题“我有20个苹果,吃了3个,还剩几个”,输入之后敲回车,试试DeepSeek的推理效果,如下:
在上面那个图里面,红色的框里面是我提的问题,蓝色的框里面是DeepSeek的推理部分,也就是<think>和</think>之间的部分,最下面的绿色部分是DeepSeek推理给出的答案,也就是它的三个计算步骤,最后给出的答案17。
至此,一个最简单的DeepSeek就本地部署完成了,我们这里部署的是1.5b的蒸馏版本,如果想部署其他的版本,可以去ollama的官网选择其他的模型,比如对于DeepSeek R1来说,就有1.5b、7b、8b、14b、32b、70b、671b等很多规格可供选择,如下图所示:
前面说到控制台,对于没有使用过控制台的朋友,可以去电脑的“搜索”功能里面输入cmd,然后敲回车,就可以了。或者更简单的方式就是直接下载一个PowerShell,也可以非常方便的作为替代,当然还不明白的话,也可以在文章下面留言,我可以提供一下说明。