deepseek本地部署的大模型

2025-02-16点滴生活844

本文转载于9090社区,帖子链接:https://qq9090.top/thread-564842-1-1.html

作者: mlgbd    时间: 3 天前
用着丐版笔记本捣鼓了几天,蒸馏的模型,以qwen为基础模型蒸馏的答案和官网的比较接近,32b蒸馏模型的答案大概与官网有80%左右的相似度。以llama为基础大模型的答案和官网差距比较大,而且优化的不太好,反应比qwen的慢,不过能问比较敏感的问题,qwen的不行,可能需要引导。32b以下的模型基本没有部署的价值。这些模型都是从huggingface拉取的,好像都是个人做的。
作者: 一叶知秋叶原    时间: 3 天前
本地部署的,要自己训练?
作者: njegooh    时间: 3 天前
没有特别的本地知识库需求的话,还是用公共的或者API比较好,没几张4090一起干几乎谈不上体验,

谷歌的gemini响应很快还免费
作者: mlgbd    时间: 3 天前
一叶知秋叶原 发表于 2025-2-13 11:42
本地部署的,要自己训练?
训练不起来,只能通过知识库的形式,不过现在ai对知识库的rag做的不好,继续等待技术进步吧
作者: yanxin    时间: 3 天前
什么硬件配置?
作者: mlgbd    时间: 3 天前
yanxin 发表于 2025-2-13 12:42
什么硬件配置?
8845hs,44g内存,推荐huggingface上面的deepseek-r1-distill-qwen-32b-q3_k_l,一秒大概2-3个汉字
作者: park    时间: 3 天前
瞎折腾,有免费的不用,自己搞啥。 自己搞跑硬件,除非个人工作需要,否则没必要。真的工作需要就公司买,公司搞。 毕竟硬件也要钱的。
作者: vodoo    时间: 前天 08:25
不太明白,为啥要本地部署?
作者: phil77    时间: 前天 08:27
vodoo 发表于 2025-2-14 08:25
不太明白,为啥要本地部署?
问个问题动不动就服务器忙的时候就知道本地的好了
作者: 无言的痛    时间: 前天 08:37
可以用腾讯元宝的DS满血版,服务器不卡顿,政治问题也不屏蔽了

本文转载于9090社区,帖子链接:https://qq9090.top/thread-564842-1-1.html

“deepseek本地部署的大模型 ” 的相关文章

昨天看了隐藏的面孔,还是可以的。

作者: robinxbb    时间: 前天 09:35昨天看了隐藏的面孔,还是可以的。宋承宪吃细粮,真香!作者: blackibm    时间: 前天 10:02翻拍的《黑暗面》,原片是非常的经典。...

今年入秋以来下过雨吗?

作者: Stamp    时间: 昨天 09:39可能下过,感觉已经两个多月没下雨了。作者: zhouhj    时间: 昨天 09:47气候变化抬厉害了,今年都没下雪作者: 泡泡虾    时间: 昨...

和同事一起报名了浦口半马

作者: 大母鸡    时间: 前天 19:02感觉实力有点不允许哈,话赶话Screenshot_2025-01-18-19-02-26-923-edit_com.android.mms.jpg (25...

记得前几年去一个亲戚家的时候,他家小孩上初中。

作者: 八个鸭卤    时间: 昨天 08:20进门时候小孩没喊人,当场被大人骂了一顿作者: njalin    时间: 昨天 08:30上一代留下的自以为好的传统作者: 八个鸭卤    时间: 昨天...

你会怎么办?

作者: Copenhagen    时间: 前天 01:52四天前订了今早七点南京南的高铁去出差,考虑到早上打车不方便,四天前就高德打车预定了今早六点的网约车,有人接单刚才接到网约车司机电话,要求我取...