训练大模型租赁AI算力如何选择显卡型号
等（推荐, 高性价比）
·
|
使用场景分类 |
模型大小 |
推荐型号 |
|
预训练/ 全量微调 |
7B以内 |
3090 (推荐) 4090 (推荐, 高性价比) V100 32G A100 40G PCIe (推荐) A800/H800等 |
|
7B-10B |
3090 4090 A100 40G PCIe (推荐, 高性价比) A800/H800等 |
|
|
10B-70B |
A100 40G PCIe A800/H800等（推荐, 高性价比） |
|
|
70B以上 |
A800/H800/H100等 |
|
|
推理 |
360B以内 |
INT4量化可支持： 3090 (推荐) 4090 (推荐, 高性价比) |
|
180B以内 |
INT8量化可支持： 3090 (推荐) 4090 (推荐, 高性价比) |
|
|
90B以内 |
FP16可支持： 3090 24G (推荐) 4090 24G (推荐, 高性价比) |
|
|
360B以上 |
A100 80G/A800 80G（推荐） 3090/409多机集群（定制资源 |
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
17
0- 0
已为社区贡献6条内容
所有评论(0)