BigScience研讨会提出了BLOOM模式及其各种版本。BLOOM是受到其他开放科学计划的启发而创建的,这些计划旨在将研究人员的时间和资源集中起来,以实现更大的影响力。BLOOM的架构与GPT-3(一种用于下一个标记预测的自动回归模型)基本相似,但它已经在46种不同语言和13种编程语言上进行了训练。此外,还在同一数据集上训练了几个较小版本的模型。

数据统计

相关导航

暂无评论

暂无评论...