Hardware specifications
技术标准:
· GPU 要求: 须采用 NVIDIA Tesla 架构之后的 GPU 系列,且每个 MLNode 节点的可用 GPU 显存总量须 ≥ 40 GB。 · 组合规则: 允许混搭不同型号的 GPU,但前提是整套系统必须能够稳定运行经网络管理委员会批准的大语言模型,并参与概念验证。
| NVIDIA GPU | 发布日期 | VRAM | 架构 | 世代 |
|---|---|---|---|---|
| H200 | 2024年 | 141 GB HBM3e | Hopper | H100 (数据中心) |
| H100 | 2022年5月 | 80 GB HBM3 | Hopper | H100 (数据中心) |
| A100 | 2020年5月 | 40 GB 或 80 GB HBM2e | Ampere | A100 |
| RTX 6000 Ada Gen | 2022年12月 | 48 GB GDDR6 | Ada Lovelace | RTX 40 系列 |
| RTX A6000 | 2020年12月 | 48 GB GDDR6 | Ampere | RTX 30 系列 |
| L40 | 2022年 | 48 GB GDDR6 | Ada Lovelace | L 系列 (数据中心) |
| A40 | 2021年 | 48 GB GDDR6 | Ampere | A40 |
| RTX 4090 (每个 MLNode >= 2) | 2022年10月 | 24 GB GDDR6X | Ada Lovelace | RTX 40 系列 |
| RTX 3090 (每个 MLNode >= 2) | 2020年9月 | 24 GB GDDR6X | Ampere | RTX 30 系列 |
| L4 (每个 MLNode >= 2) | 2023年3月 | 24 GB GDDR6 | Ada Lovelace | L 系列 (数据中心) |
(注:最终部署方案必须保证物理显存总量满足模型运行需求,并通过网络管理委员会的正式技术审核。)