科学家创新技术成功训练ChatGPT级别万亿参数模型

科学家利用全球最强超级计算机成功训练ChatGPT级别模型，仅使用8%计算能力。该突破来自Oak Ridge National Laboratory，研究团队采用创新技术在Frontier超级计算机上训练了万亿参数的语言模型。通过分布式训练和并行技术，实现了100%弱扩展效率。然而，训练大型语言模型仍面临挑战，需要解决内存问题。研究为未来训练巨大语言模型提供经验，突显了分布式训练和并行计算的关键作用。