谷歌推出“BIG-Bench Mistake”数据集，助力语言模型纠错能力提升
1月15日消息，近日，谷歌研究院公布了一项新的研究成果，他们利用自家BIG-Bench基准测试构建了一个名为“BIG-Bench Mistake”的数据集。该数据集的主要目的是评估当前市场上流行的语言模型在“出错概率”及“纠错能力”方面的表现。
此前，对于大型语言模型的错误识别和自我修正能力的评估一直缺乏有效的数据集。为了填补这一空白，谷歌研究人员精心设计了“BIG-Bench Mistake”专用基准数据集。他们首先使用PaLM语言模型在BIG-Bench基准测试中执行了五项任务，并在其生成的“思维链”中故意引入逻辑错误。然后，这些包含错误的思维链被重新提交给模型，以测试其能否识别出其中的错误。
经过多轮迭代和优化，研究人员最终构建了一个包含255项逻辑错误的“BIG-Bench Mistake”数据集。这些错误被设计成简单明了的形式，以便于语言模型从基本的逻辑错误开始逐步提高其错误识别能力。
据本站了解，谷歌研究人员利用该数据集对市场上的多个语言模型进行了测试。结果显示，虽然大多数模型能够在一定程度上识别并修正推理过程中的逻辑错误，但这一过程往往不够理想，仍需要人工干预来完善模型的输出。
在测试中表现最好的模型也仅能识别出52.9%的逻辑错误，这表明即便是目前最先进的大型语言模型在自我纠错方面仍存在较大提升空间。谷歌研究人员认为，“BIG-Bench Mistake”数据集将有助于改进模型的自我纠错能力。通过针对相关测试任务进行微调，即便是小型模型也能在监督大型模型时表现出更好的性能。
因此，谷歌提出了一种新的思路，即使用专用的小型模型来监督大型模型的运行。这种做法不仅有利于提高效率、降低AI部署成本，还能更方便地对模型进行微调。未来，这种大小模型协同工作的方式或许将成为提升AI性能的重要方向之一。
相关文章
- 谷歌将Chrome浏览器引入车载系统，驾驶体验再升级
- 谷歌Pixel 8系列贴心上线：贴膜即启屏幕保护模式，触控体验再升级
- 谷歌AI语言模型Bard升级版“Bard Advanced”即将上线，提供全面优质服务体验
- 谷歌安卓新动向：集成电池状态指示器，提升用户体验
- 从截图到直接保存：Chrome引领浏览器视频帧提取新时代
- 谷歌计划推出AR眼镜和全新AI助手“Pixie”，为用户提供更多服务
- 360创始人周鸿祎谈Gemini与GPT-4：谷歌的全新策略
- 谷歌将于2024年4月关闭Google Podcasts应用
- 谷歌发布全新Gemini 1.0语言模型，Pixel 8 Pro首次支持Gemini Nano
- 谷歌AI大模型Gemini公开亮相推迟至明年1月
- 谷歌Pixel 8 Pro即将引入Video Boost和AI Super Zoom功能
- 创新设计！ 谷歌Chat推出对话框式聊天，蓝灰气泡轻松辨识
- 曝光：苹果与谷歌秘密高层会议，双方密谋深化合作
- 谷歌Gemini项目挑战重重，GPT-4对手未如期亮相
- 解锁Pixel手机桌面新选择：Android 14 QPR2 Beta 1版本详解
- 圆润设计抢先一步！谷歌 Pixel 8a铝制机模照片首次曝光
热门教程
Win11每次开机会检查tpm吗？Win11每次开机是否会检查tpm详情介绍
2系统之家装机大师怎么用？系统之家装机大师使用教程
3Win11任务栏空白怎么办？Win11任务栏空白解决办法
4Win11正式版怎么安装安卓APK应用？Win11安装安卓APK文件方法
5Win10 21H1更新KB5003637后任务栏不能在底部显示怎么办？
6Win10家庭版笔记本电脑怎么关闭Windows defender功能？
7Win11资源管理器的样式如何切换？Win11资源管理器样式切换方法
8Win11电脑下载的文件被自动删除怎么办？
9Win11蓝屏怎么修复？win11蓝屏修复教程
10Win11正式版如何固定“此电脑”到任务栏？
装机必备 更多+
重装教程
大家都在看
电脑教程专题 更多+