配置如下:
CPU:E5 2673 V4 40核心80线程 1.80GHz
RAM:DDR4 2133 128GB
ROM:2TB-SAS-RAID5 [模型推算可能稍慢]
GPU:NVIDIA Tesla M40 24GBX2 [不支持fp16,推理较慢]等V100大船到了就上V100 16GX8-Nvlink
该语言模型用的人不是很多,所以只开放一个节点
官方源码链接:https://github.com/THUDM/ChatGLM3
注意!请勿违反法律法规让AI进行不正当对话,发现会即时停止运行,服务器长期无偿运行,除了ChatGLM3还有AI绘画。以后ChatGLM3开源了6B以上数据集的话,也可以升级,我这里不缺显存!更何况ChatGLM3支持多卡并行放模型了捏
如果点击对话无法使用或无法生成,生成较慢,请清理对话或刷新网页,由于显存过低导致,新ChatGLM目前支持写部分代码需求
最近打算更换显卡,后续将使用2080 8G来运行该程序,未更换前如果有使用需求可联系我用现有显卡运行,当然,是免费的