所以部署一个671B的模型 显存需要多少 有什么基准的硬件配置？
#118
by
cena163
- opened
所以部署一个671B的模型 显存需要多少 有什么基准的硬件配置？
如果不想量化损失 benchmark scores，需要 700GB 以上的显存，或者 700 GB 以上的 CPU 内存。
现在本地部署满血deepseekR1按精度区分, **FP16（16位浮点数）需要1.342 TB显存, **FP32（32位浮点数)需要 2.684 TB显存,普通人就别想了…
看着是混合精度：BF16·F8_E4M3·F32，而且还要预留一部分现存给推理时用
现在本地部署满血deepseekR1按精度区分, **FP16（16位浮点数）需要1.342 TB显存, **FP32（32位浮点数)需要 2.684 TB显存,普通人就别想了…
如果有设备，如何部署？有方案吗？
能跑这个模型的工具我只试过 Ollama。
命令是 ollama run deepseek-r1:671b-q8_0
大概要 713GB 的硬盘存储空间，以及大约768GB的内存或者显存。
参考 https://zhuanlan.zhihu.com/p/20714478546