deepseek本地部署的大模型

2025-02-16点滴生活346

本文转载于9090社区,帖子链接:https://qq9090.top/thread-564842-1-1.html

作者: mlgbd    时间: 3 天前
用着丐版笔记本捣鼓了几天,蒸馏的模型,以qwen为基础模型蒸馏的答案和官网的比较接近,32b蒸馏模型的答案大概与官网有80%左右的相似度。以llama为基础大模型的答案和官网差距比较大,而且优化的不太好,反应比qwen的慢,不过能问比较敏感的问题,qwen的不行,可能需要引导。32b以下的模型基本没有部署的价值。这些模型都是从huggingface拉取的,好像都是个人做的。
作者: 一叶知秋叶原    时间: 3 天前
本地部署的,要自己训练?
作者: njegooh    时间: 3 天前
没有特别的本地知识库需求的话,还是用公共的或者API比较好,没几张4090一起干几乎谈不上体验,

谷歌的gemini响应很快还免费
作者: mlgbd    时间: 3 天前
一叶知秋叶原 发表于 2025-2-13 11:42
本地部署的,要自己训练?
训练不起来,只能通过知识库的形式,不过现在ai对知识库的rag做的不好,继续等待技术进步吧
作者: yanxin    时间: 3 天前
什么硬件配置?
作者: mlgbd    时间: 3 天前
yanxin 发表于 2025-2-13 12:42
什么硬件配置?
8845hs,44g内存,推荐huggingface上面的deepseek-r1-distill-qwen-32b-q3_k_l,一秒大概2-3个汉字
作者: park    时间: 3 天前
瞎折腾,有免费的不用,自己搞啥。 自己搞跑硬件,除非个人工作需要,否则没必要。真的工作需要就公司买,公司搞。 毕竟硬件也要钱的。
作者: vodoo    时间: 前天 08:25
不太明白,为啥要本地部署?
作者: phil77    时间: 前天 08:27
vodoo 发表于 2025-2-14 08:25
不太明白,为啥要本地部署?
问个问题动不动就服务器忙的时候就知道本地的好了
作者: 无言的痛    时间: 前天 08:37
可以用腾讯元宝的DS满血版,服务器不卡顿,政治问题也不屏蔽了

本文转载于9090社区,帖子链接:https://qq9090.top/thread-564842-1-1.html

“deepseek本地部署的大模型 ” 的相关文章

太好了,有希望了,南京 新市 长来了

作者: 铜锣湾打工仔    时间: 3 天前1f2537006dd3781e14489846c65abb3.jpg (234.21 KB, 下载次数: 0)下载附件3 天前 上传7341690365f...

下周春节,商家发货这两天要停了,各位年货好了吗 ?

作者: 纪念8080    时间: 前天 09:16商家发货这两天要停了。我还有一堆东西没买呢。大聪明们,年货准备好了吗? 准备了什么?  我只买了牛奶、酒。核桃仁。没人抽烟,烟没买。作者: njxu...

有用过一次性航空杯的吗?

作者: 比大胡话    时间: 3 天前第一次买,质量怎么这么差,一捏就裂了,毫无韧性作者: ws65536    时间: 3 天前屏幕截图 2025-01-19 162223.jpg (60.74...

几乎是所有人体内都有农药残留

作者: 城南浮云    时间: 前天 01:21该研究发表于权威期刊《Journal of Hazardous Materials》,其团队在 2019 年收集自黑龙江省第二医院和哈尔滨医科大学第四附...

郑民华医生微博关了

作者: 翼下之风    时间: 5 小时前 本帖最后由 翼下之风 于 2025-1-23 17:13 编辑 发错了作者: 泡泡虾    时间: 5 小时前医生和教师 是殖人聚集群体作者: 撕胸帝   ...