Scaling Law 由 OpenAI 团队于 2020 年正式提出，并在其论文《神经语言模型的扩展定律》（Scaling Laws for Neural Language Models）中进行了详细阐述。Scaling Law 揭示了模型性能与模型规模、数据量和计算资源之间的数学关系。但在这两年，由于实际应用局限性、理论解释不完善等原因，Scaling Law 遭到了一些质疑。而 Google 旗下两支团队的最新研究，似乎又给 Scaling Law 投上了一张支持票。
在大模型领域，数据并行训练（Data-Parallel）方法占据着核心地位，它是训练大模型的基础技术之一。然而，随着模型规模的不断增大，数据并行训练方法的通信开销和内存限制等缺点日益凸显。
研究中，他们研究了在固定计算预算之下训练大模型时 DiLoCo 的 Scaling Law 行为，借此揭示了 DiLoCo 一系列更通用的优点：包括其能够增加最佳 batch 大小、能够提高下游规模的泛化能力、能够在固定 token 预算之下改善评估损失。（注：评估损失，是指模型在验证集或测试集上计算出的损失值。）
研究人员发现随着模型尺寸的增大，DiLoCo 会呈现出可预测的稳健扩展。如果调整得当，DiLoCo 的模型规模扩展性优于数据并行训练方法，即使在小模型规模下 DiLoCo 也能胜过数据并行训练方法。
而本次研究中，基于相关数据研究人员为数据并行训练方法和 DiLoCo 分别建立了评估损失和最优超参数的 Scaling Law。
借此证明，当 Scaling Law 扩展到更大的模型规模时，其具备更好的评估损失和最优超参数。
令人十分惊讶的是：许多情况下对于相同的 token 预算，在通信效率更高的 DiLoCo 上，这些 Scaling Law 预测会比数据并行训练方法产生更低的评估损失。
为了利用研究人员的 Scaling Law 来预测 DiLoCo 的超参数，他们分别在训练具有 40 亿参数和 100 亿参数的模型时加以测试。
事实证明，Scaling Law 是准确的。即使总通信量减少 99% 以上，DiLoCo 的表现也能优于数据并行训练。
对于研究中的每个实验，在不同带宽和不同延迟的网络下，研究人员都能实现理想的端到端 wall-clock 训练时间。（注：wall-clock time，指的是从任务开始到结束所经历的实际时间，包括所有等待时间和计算时间。）
研究人员的实验包括 M = 1 的 DiLoCo（即仅使用单个副本）。而在这些数据中一个令人惊讶的现象是：即使没有通信瓶颈，DiLoCo 也能改进训练效果。
由于 DiLoCo 实际上是另一种优化算法 Lookahead optimizer 的增强版本，因此它不会导致任何通信的减少。
然而，通过使用低频动量操作，无论在怎样的模型规模下，DiLoCo 在评估损失和对更大 batch 的容忍度上，都要优于数据并行训练方法。
值得注意的是，M=1 的 DiLoCo 在评估损失和训练时间方面都优于数据并行训练方法。
研究人员发现，M=1 的 DiLoCo 在所有模型尺度上都能实现较低的评估损失，并且能对更大的 batch 产生更好的鲁棒性，从而能够大大减少 wall-clock 训练时间。
研究中，研究人员分别通过数据并行训练方法和 DiLoCo 来开展模型训练。
在数据并行训练方法中，在每一步研究人员都会获取一个 batch 大小为 B 的数据。
然后，研究人员计算批次梯度（batch gradient），并使用学习率 γ 进行优化。
在比较数据并行方法和 DiLoCo 时，研究人员始终确保模型大小 N 和总 token 预算 D 保持相同。
为了计算某些留出集的评估损失 L，针对数据并行方法研究人员使用当前模型，针对 DiLoCo 研究人员使用最新的全局模型。（注：留出集，是指从原始数据集中特意保留的一部分数据，用于评估模型的泛化性能。）
同时，使用 QKLayerNorm 来降低对于学习率的敏感性。需要说明的是，QKLayerNorm 是一种改进的层归一化技术，主要用于 Transformer 架构中的自注意力机制。另外，研究人员还使用 z 损失正则化来提高训练稳定性。
本次研究使用的词汇量为 32,768：其中有 32,000 个词汇表内的单词，另外还有一些额外的标记用于表示句子开头和词汇表外的内容。
实验中，研究人员将多个序列打包到每个 batch 中，整个 batch 的最大序列长度为 2048。
这时，研究人员开始针对一系列的模型进行训练，这些模型的 transformer 层数、注意力头数量、QKV 维度和前馈层隐藏维度各不相同。
其中，QKV 维度是指查询（Query）、键（Key）和值（Value）向量的维度。这些向量是自注意力机制的核心组成部分，用于计算输入序列中不同位置之间的关系。
此外，还计算了 3 项任务的下游零样本评估指标：HellaSwag、Piqa 和 Arc-Easy。在进行过度训练消融时，使用了 Dolma 数据集。
其还使用了一个改进版的 NanoDO，它利用 DrJAX 在副本之间并行化内部训练步骤，并将模型副本轴暴露出来以便进行显式编程。这对于 JAX 中更好的扩展性能至关重要，因为 DrJAX 提供了 jax.vmap 的丰富版本，能够提供有关 DiLoCo 副本的更明确的分片信息。
与此同时，研究人员使用 all-reduce 进行外部优化。all-reduce 是一种分布式计算中的通信操作，用于在多个 GPU 或多个 TPU 之间高效地聚合数据。
研究中，其始终使用 bfloat16 来表示模型权重和梯度。bfloat16 是一种 16 位浮点数格式，它由 Google 团队开发，它在保留 32 位浮点数动态范围的同时，能够减少存储和计算开销。
研究人员在谷歌张量处理单元 TPUv5e 和 TPUv6e 上进行了大部分实验，并在 TPUv-5 上进行了最大规模的实验。
对于每个实验，其还计算了一个理想化的 wall-clock 训练时间，并在这一时间中考虑了理想化的计算时间和通信时间。同时，其还专门测量了端到端的 wall-clock 时间。
其发现，更大的水平并行化例如通过将 batch 大小加倍，将能够减少 wall-clock 时间。
实验中，研究人员假设其模型正在跨多个数据中心开展训练。当在数据中心之内的时候，能够拥有一个高带宽网络。当跨数据中心的时候，则分别拥有高带宽、中带宽或低带宽的网络。
当通信时间处于理想状态的时候，研究人员始终将高带宽网络用于数据中心内的网络，以及将三种网络中的任意一种用于跨数据中心网络。
利用相关数据，研究人员推导出了 Scaling Law，从而能够预测较大模型的评估损失和最优超参数。
这意味着在模型大小固定的情况下，如果将 batch 大小 B 加倍，则训练步骤的数量将会减半。
实验中，研究人员通过使用 Scaling Law 设置的超参数来训练 4B 和 10B 模型来验证上述观点。
尽管下图展示的是“插值”区域的情况，同时这也是大量扫描的结果，但是这些发现从定性角度来看，同样适用于“外推”区域。这使得研究人员在 M = 1、2 时，能够使用 DiLoCo 将 40 亿参数和 100 亿参数量的模型训练得拥有更低的评估损失。
结果显示，DiLoCo 能够实现更自然的水平扩展性。无论在任何情况，token 预算 D 仅仅是 N 的函数。
这意味着当使用 4 倍大的 batch 时，训练步骤能够减少到原来的 1/4。
对于 DiLoCo 来说，这会产生相当好的性能，并且可以同时使用更多资源，从而减少模型总训练时间。
相比之下，数据并行训练方法似乎需要更多的串行训练。因为，训练时间的减少与通信的减少是相辅相成的。
为了展示这些效果，研究人员在下图中绘制了在不同带宽的网络下训练时的理想化 wall-clock 时间。
借此发现，DiLoCo 对更大 batch 的容忍度使其能够更快地实现与数据并行方法大致相当的损耗。
在下图中，研究人员绘制了不同过度训练量下数据并行方法和 DiLoCo 的理想训练时间（M = 2）。
其发现，DiLoCo 能够通过降低通信成本和利用更大的 batch 来加速过度训练，因此需要的串行训练步骤更少。
这表明 DiLoCo 对于过训练来说是一个巨大的福祉，因为这意味着可以通过横向可扩展性来摊销计算时间。（注：过训练，是指模型在训练过程中过度拟合训练数据，导致其在未见数据上的性能下降。）
与此同时，研究人员的结果表明，DiLoCo 和数据并行训练这两种方法通常都是有效的，尽管没有明确的赢家，但是 M 之间的残差存在显著差异。
尽管如此，研究人员发现平均而言，虽然独立拟合在预测损失和全局批量大小方面略优于联合拟合，但独立拟合在预测内部学习率方面要明显好得多。
总的来说，本次结果表明与数据并行方法一样，DiLoCo 可以随着模型大小的变化实现可预测的扩展，这使得在极大的尺度上调整超参数和训练模型变得更加简单。
此外，DiLoCo 相比数据并行方法可以带来显著优势，包括：使用单个模型副本时具备更优的评估损失，在任何模型副本数量下最优 batch 大小都能增大。对于模型规模、过训练和同步频率来说，这将产生更好的鲁棒性。
不过，眼下显然需要可用于大规模部署 DiLoCo 等方法的系统和软件，并能在真实的超大模型环境中实现其通信效率优势。
03月13日，赞比亚小伙在中国开公司：中非合作对双方大有裨益 希望继续加强，天博平台app下载安装，电竞注册，火狐体育官网登录入口，游戏在线日，多国驻华使节走进中国商飞，皇冠在线米乐体育APP，联众天天单机斗地主，买球正规平台
03月13日，河南平顶山煤矿事故已致13人遇难 3人失联，欧博真人投注，杏耀官网登录地址，必发平台首页，线日马丁·雅克：我不赞同西方在民族议题上对中国的指责707开元还有其他网址嘛大发官方网站130edf壹定发手机官网鸭博官网首页
03月13日奉献青春和热血！看直-20女飞行员徐枫灿的硬核宣言！鸿发娱乐尊龙快速登陆二八杠是哪里的麻将bet36体育注册bet36体育注册
03月13日重庆未来10天将维持晴热高温天气 局地最高温或达43℃赌场网址排行榜乐博现金大富豪国际美女五行图……
03月13日，前三季度出入境客流交通流创历史新高 新疆口岸为何越来越繁忙，英皇体育体育，威利斯人网站，刺激战场国际服真人多吗，抢庄牛牛注册
03月13日2024年成都世界园艺博览会闭幕 接待中外游客超千万人次万博新体育手机版BCE体育平台庞博国际真人游戏金沙平台大厅
03月13日，新思想引领新征程丨谱写高质量共建“一带一路”新篇章，乐天娱乐城，龙8手机网页版登录，韦德教育官网登录，新2皇冠手机网页版
03月13日，高原戈壁之城格尔木“逐绿而行” 扬帆数字产业“新蓝海”，澳门皇冠的网址是多少，申搏官网安装，开体育app下载官方版，mg游戏摆脱手机版技巧
03月13日，2024年世界记者大会在首尔开幕 中国新闻代表团与会，彩神彩票官网登录网址，乐博在线注册，靠谱的买球app，365bet官网下载
03月13日收到暴雨预警怎么办？9条防汛避险知识请牢记皇冠体育安卓版下载体育注册网首页斗地主赢真钱的伟德体育买球
03月13日在渝高校最大科学实验中心正式封顶biwei双色球网上购买彩票平台新宝gg入口永利游戏网址
03月13日中国温室气体公报：2023年二氧化碳和甲烷浓度均呈增加趋势MG电子全站APP视讯真人游戏体育优德体育外围万博官网网页版首页登录入口登不上
韩国进入弹劾总统时间 议员国会待命，如何评价梦幻西游最近的改动？江苏省侨办恭贺2024新春澳博官网买球365bet体育注册开户网址大全尊龙AG旗舰厅登录皇冠足球盘
我发各吧吧名 大家来打分，皇马提前4轮夺西甲冠军李强在世界经济论坛2024年年会开幕式上的特别致辞(全文)必威快速开户黄金城新网址亚博电竞恒耀娱乐
EDG击败FUT获首胜，林诗栋法兰克福冠军赛夺冠横琴印发文旅产业发展扶持办法申报指南口袋德州还能玩吗188比分手机版二十一点app国际168网页版
周杰伦演唱会彩排图瘦回20年前，年轻小伙沉迷网络差点瘫痪“瑞士申请加入文旅比拼”成中国网民热议话题 外交部回应扑克王app链接万博全站下载地址平博588体育二八杠棋牌游戏大全
EDG 我们是冠军，森林狼客场战胜掘金吉尔吉斯斯坦一架米-8直升机坠机 已致1死10伤乐鱼app链接皇家官网登录地址马会图真钱线上直营