StableLM-3B-4E1T是一个在多epoch机制下预训练的30亿（3B）参数语言模型，用于研究重复标记对下游性能的影响。鉴于之前在这一领域的成功（Tay et al.，2023和Taylor et al.，2022），根据Muennighoff等人（2023年）在“缩放数据约束语言模型”中的观察，我们在4个时期中使用1万亿（1T）个标记进行训练，他们发现“与拥有唯一数据相比，使用多达4个重复数据的时期进行训练产生的损失变化可以忽略不计。令牌计数的进一步灵感来自“Go smol or go home”（De Vries，2023年），该模型表明，训练了2.85万亿个令牌的2.96B模型实现了与Chinchilla计算最优9.87B语言模型（$k_n=0.3美元).
©️版权声明：如涉及作品内容、版权和其它问题，请联系我方删除，我方将在收到通知后第一时间删除内容！本文只提供参考并不构成任何投资及应用建议。本站拥有对此声明的最终解释权。
类似网站
按住
Ctrl+D 或 ⌘+D
键，
把http://47.94.90.118/收藏起来吧！
术心导航官网收录了国内外数千个AI工具，全面涵盖了AI写作、AI图像处理、AI视频制作、AI对话聊天等多个领域。此外，还特别提供了视频剪辑、直播运营、后期制作等热搜职业岗位的运营资源，旨在帮助您轻松掌握这些技能，开启职业发展的新篇章。
Ctrl + D 或 ⌘ + D 收藏本站到浏览器书签栏。
关注我们