一、基于 Windows使用环境
安装ollama
(ollama是玩大模型的一个工具,有了它,安装运行调试大模型都会变得非常简单) 进入网站:https://ollama.com/
备用下载地址:https://pan.baidu.com/s/1YuuD2t8R2WpAmcbLRWBoIA
提取码:d86m
1、选【Windows】点击【Download】
2、下载完成后,确保C盘空间至少30G存储空间,双击点击“OllamaSetup”,点击【Install】
3、安装完成后,电脑每次开机会自动启动,桌面的图标也是一只羊驼
4、 检查:键盘按【win+R】输出【cmd】回车 在输入【ollama -v】显示如下,说明安装成功。
修改ollama模型保存路径
(为了避免大模型把C盘占满,我们需要修改ollama下载模型的保存位置,不在乎C盘空间可以跳过这个步骤)
5、打开【我的电脑】右键进入【属性】进入【高级系统设置】
6 、进入【环境变量】
7、点击【新建】
8、【变量名】写入:OLLAMA_MODELS, 【变量值】写入:“大模型保存的实际位置”,经过这样的设置后,大模型就可以保存在你自己选择的目录中。(配置好后必须重启电脑才可以生效)
二、下载安装大模型(基于ollama)
你可以安装任何ollama支持的模型:https://ollama.com/library?sort=popular
我们这里一键安装开源deepseek-r1:1.5b大模型,至少需要6核处理器、8G内存和80G硬盘空间或以上配置,在这个cmd窗口(键盘按【win+R】输出【cmd】回车)直接输入 ollama run deepseek-r1:1.5b
如图片显示,下载完成后自动运行,这里你已经完成了deepseek-r1:1.5b大模型私有化的部署和运行,你可以和他对话了,是不是比想象中简单多了。
三、搭建本地聊天工具(部署Anythingllm)
1、点击“Download for desktop”下载
2、安装也是一键安装,桌面图标长这样,双击打开,点击“下一步”,点击“安装”
3、左侧点击进入你刚刚创建空间,然后开始和你专属的大模型聊天吧。
四、搭建私有化知识库(基于Anythingllm)
1、点击上传 ⬆
2、上传你的私有知识文档
3、保存后有个数据向量化入库的过程,等待即可,文件越大这个时间越长。等到完成后右下角不会出现保存,同时文档已经在你的列表中,就说明私有化知识库搭建完成了。
到此一个私有化知识库大模型就搭建好了,你可以愉快的和它聊天了!
评论区