谷歌新研究冲击缩放定律！模型规模真的关键吗？
4月9日消息，近年来，模型规模不断扩大，一种普遍的信念是力大砖飞。
尽管OpenAI没有公布Sora的训练细节，但在其技术报告中提到了：最大的模型Sora能够生成一分钟高保真视频，这表明扩大视频生成模型是构建通用世界模拟器的有前景途径。
然而，谷歌最新的研究发现：并非如此!谷歌研究院和约翰霍普金斯大学在最新论文中指出：对于潜在扩散模型，模型不一定是越大越好。
据本站了解，关于缩放定律的争议一直存在。OpenAI在2020年发表的论文提出，模型效果与规模大小、数据集大小、计算量强相关，而与具体结构弱相关。
缩放定律不仅适用于语言模型，还适用于其他模态及跨模态场景。这一概念的提出使研究人员和开发者能够更有效地设计模型架构，选择合适的模型大小和数据集规模，以实现最佳性能。
谷歌最新研究集中在图像生成模型上，提出对于潜在扩散模型，在计算资源有限时，增加计算量应该增加数据集大小，而不是模型参数量。
这是否意味着缩放定律失效了?作者的研究表明，在有限的计算资源下，较小的模型可以优于较大的模型;模型大小和训练步骤的选择需与计算资源相匹配。
然而，在训练步骤恒定的情况下，大模型仍然具有优势，尤其在处理图像细节方面。
研究者还发现，不同大小的模型在CFG(Classifier-Free Guidance)技术下受影响基本相同，这一发现令人意外。
这项研究探索了模型效率与品质之间的最佳平衡，为开发更高效的图像生成AI系统提供了指导。这与当前AI领域的趋势相契合，即小型语言模型在多项任务中超越大型对手，旨在推动AI技术的民主化。
相关文章
- 微软携手OpenAI豪掷千亿！星际之门超级计算机要来了？
- 微软或与OpenAI联手，斥资千亿美元打造“星际之门”AI超算
- OpenAI携Sora进军好莱坞，与电影巨头共商AI未来
- Stability AI推出Stable Diffusion 3：提升图像处理与生成质量
- 渲染1小时仅出1分钟！OpenAI视频生成模型Sora遭质疑？
- OpenAI员工自曝日常作息，网友热议“996”工作制
- OpenAI发布Sora文生视频大模型，清华大学亦有新专利公布
- OpenAI发布Sora模型：可根据文本生成多视角视频，电影行业或受冲击
- OpenAI发布Sora模型：文本秒变视频，AI创作再升级
- OpenAI更新ChatGPT：新增“多语言功能”支持简体中文界面
- OpenAI出价百万美元求新闻授权，小型出版商不买账
- OpenAI风波继续：Ilya一周未现身公司，且聘请律师
- OpenAI GPT-4引发用户不满，速度慢且敷衍回答
- OpenAI 在中国申请“GPT-6”和“GPT-7”商标，展望下一代AI
- OpenAI宣布推迟GPT Store上线至2024年，阿尔特曼强调创新和韧性
- OpenAI 推出ChatGPT Plus新功能，实现文件上传和多模态支持
热门教程
Win11每次开机会检查tpm吗？Win11每次开机是否会检查tpm详情介绍
2Win11任务栏空白怎么办？Win11任务栏空白解决办法
3Win10 21H1更新KB5003637后任务栏不能在底部显示怎么办？
4Win10家庭版笔记本电脑怎么关闭Windows defender功能？
5系统之家装机大师怎么用？系统之家装机大师使用教程
6Win11正式版怎么安装安卓APK应用？Win11安装安卓APK文件方法
7Win11资源管理器的样式如何切换？Win11资源管理器样式切换方法
8Win11电脑下载的文件被自动删除怎么办？
9Win11蓝屏怎么修复？win11蓝屏修复教程
10Win11正式版如何固定“此电脑”到任务栏？
装机必备 更多+
重装教程
大家都在看
电脑教程专题 更多+