什么是万卡集群?
万卡集群是指由超过一万张加速卡(如 GPU、TPU 或其他专用 AI 加速芯片)组成的高性能计算系统,用于加速人工智能模型的训练和推理过程。
对于大模型训练来说,算力至关重要。以 OpenAI 训练 GPT 模型为例,GPT-4 需要使用 2.5 万张英伟达 A100 GPU,并行训练 100 天左右的时间,处理 13 万亿个 token,涉及大约 1.76 万亿个参数。对于即将亮相的 GPT-5,预计训练需要部署 20 万~30 万个 H100 GPU,耗时 13p>百度、阿里巴巴、腾讯等科技巨头也纷纷布局万卡集群,并开始向十万卡集群迈进。
国产 AI 芯片公司迎来利好
在万卡集群需求的刺激下,国产 AI 芯片公司迎来利好。
- 华为昇腾:城市智能计算中心多采用华为昇腾等国产 A1 芯片。
- 摩尔线程:智能算力集群扩展至万卡。
- 海光:正在研发并量产适用于大规模人工智能模型训练的 AI 芯片。
万卡集群时代的到来,为国产 AI 芯片公司提供了广阔的发展空间,有助于加快国产 AI 产业链的成熟和完善。
结语
万卡集群已经成为大模型训练和人工智能发展的关键基础设施。随着中国企业和机构对万卡集群需求的不断增长,国内智能算力格局正在重塑,国产 AI 芯片公司也将迎来新的发展机遇。
发表评论