Scaling Laws for Neural Language ModelsPDF Download

Kaplan 等人研究語言模型損失如何隨參數量、數據和計算量變化，把規模更大可能更好的直覺，轉成實驗中的經驗關係。

這些曲線很適合用來思考資源分配。也要留意實驗範圍和前提，擬合出來的關係，並不是對所有未來模型的承諾。