使用8个GPU训练1万亿参数的语言模型？

2 分•作者: kendy1992•大约 1 个月前•原帖

请查看这个项目：https://github.com/Sphere-AI-Lab/orbit。

查看原文

See this project https://github.com/Sphere-AI-Lab/orbit.