360智脑7B大模型开源，长文本处理能力达50万字
4月13日消息，360公司近日在GitHub上公开了其360智脑7B(70亿参数模型)，这一大模型是基于3.4万亿Tokens的语料库进行训练的，主要涵盖了中文、英文和代码。该模型提供了4K、32K、360K三种不同的文本长度选项，其中360K(大约50万字)被360自称为当前国内开源模型中最长的文本长度。
360在多个主流评测数据集上，包括C-eval、AGIeval、MMLU、CMMLU、HellaSwag、MATH、GSM8K、Humaneval、MBPP、BBH以及LAMBADA，对其模型性能进行了全面验证。这些评测主要考察了模型的自然语言理解、知识储备、数学计算和推理、代码生成以及逻辑推理等能力。结果显示，360模型在四个评测数据集上取得了领先的排名，整体平均成绩位列第三。
在专门为大语言模型设计的长文本理解能力评测基准LongBench中，360选择了与中文长文本应用最为相关的任务进行测试。结果显示，360Zhinao-7B-Chat-32K模型在中文单文档问答、多文档问答、摘要以及Few-shot等任务中取得了平均第一的好成绩。
同时，在英文大海捞针测试以及360自行构造的中文大海捞针测试中，360Zhinao-7B-Chat-360K模型均达到了98%以上的准确率，显示出优异的长文本处理能力。
除了模型权重之外，360还开源了该模型的微调训练代码和推理代码等全套工具集，使得大模型相关开发者能够非常方便地使用这些资源，实现开箱即用。
据本站了解，360公司董事长周鸿祎曾表示，大模型行业在文本长度上有所追求，100万字将很快成为行业的标配。他透露，360之所以将模型文本长度定为360K，并选择开源这一能力，是为了让整个行业能够共享这一成果，避免重复劳动。周鸿祎自称是开源的信徒，坚信开源能够推动行业的进步。
相关文章
- ChatGPT重大更新！新版GPT-4 Turbo，颠覆你的智能想象！
- 百度不开源文心一言，为何还自信能领先？
- OpenAI推出GPT-4 Turbo升级版：性能更强，价格更优
- 蚂蚁集团CodeFuse新功能上线：产品设计图一键生成代码
- 超越GPT-4V，苹果Ferret-UI引领智能新纪元！
- 苹果放大招！新模型Ferret-UI将颠覆AI交互？
- 2030年AI将吞噬1/4电网？雷内·哈斯发出警告！
- Meta全新Llama 3即将问世，AI时代再进一步？
- 谷歌发布CodeGemma AI模型，打造顶级代码辅助利器
- 墨芯融资数亿，AI算力服务即将颠覆市场？！
- 谷歌AI应用 Google Vids亮相：PPT技能通用，视频制作与多人协作一站式搞定
- OpenAI推出视觉增强版GPT-4 Turbo模型，简化开发流程
- 数字永生！AI“复活”产品火爆上线，你会为逝去的亲人尝试吗？
- 谷歌新研究冲击缩放定律！模型规模真的关键吗？
- 联发科重磅推出“达哥”AI服务平台，支持顶尖繁体中文大模型MR BreeXe
- 英伟达大佬最爱的AI聊天机，你知道是谁吗？
热门教程
Win11每次开机会检查tpm吗？Win11每次开机是否会检查tpm详情介绍
2Win11任务栏空白怎么办？Win11任务栏空白解决办法
3Win10 21H1更新KB5003637后任务栏不能在底部显示怎么办？
4Win10家庭版笔记本电脑怎么关闭Windows defender功能？
5系统之家装机大师怎么用？系统之家装机大师使用教程
6Win11正式版怎么安装安卓APK应用？Win11安装安卓APK文件方法
7Win11资源管理器的样式如何切换？Win11资源管理器样式切换方法
8Win11电脑下载的文件被自动删除怎么办？
9Win11蓝屏怎么修复？win11蓝屏修复教程
10老电脑怎么装win11系统？老电脑一键升级Win11系统教程
装机必备 更多+
重装教程
大家都在看
电脑教程专题 更多+