Scaling Laws for Neural Language ModelsPDF Download

Kaplan 等人研究语言模型损失如何随参数量、数据和计算量变化，把规模更大可能更好的直觉，转成实验中的经验关系。

这些曲线很适合用来思考资源分配。也要留意实验范围和前提，拟合出来的关系，并不是对所有未来模型的承诺。