国产 1400 亿参数知未智能 KDF 大模型发布，聚焦金融和商业垂直领域
【本站】7月25日消息，近日，北京知未智能科技有限公司在上海举行发布会，正式推出知未智能 KDF 大模型，以及一系列基于该模型研发的金融行业工具，为相关行业的产业发展助力。
知未智能 KDF 大模型是一款专注于金融和商业领域的中文模型。在其训练数据中，以中文为主，融合了大量的金融数据，从而大幅提升了模型在商业和金融问题处理方面的能力。
值得一提的是，为了保证模型的通用能力，训练数据还融合了部分英文和代码数据，以确保模型具备处理多种任务的能力。在训练过程中，知未智能 KDF 大模型采用了基于 PyTorch 优化的 GELU 非线性激活函数，这种优秀的激活函数有助于更精确地捕获复杂数据特征，保障了整个开发、训练和部署过程的高效运行。
为了在保证效果的同时提高可扩展性，开发团队对模型的网络结构进行了深度优化。与 LLaMA 模型相比，知未智能 KDF 大模型在每一层使用更少的参数，有效降低了计算需求和内存占用。与此同时，网络深度也得到了加强，从而让模型具备了更强大的表示能力，能够学习到更为复杂的数据特征。
据本站了解，在训练过程中，开发团队还重新调整了注意力层的 Bias，并引入了 Flash Attention 技术，以节省显存并提高模型训练和推理速度。得益于这项技术的应用，知未智能 KDF 大模型在有限的硬件资源下也能实现更高效的运行。
基准测试结果显示，知未智能 KDF 大模型在七个自然语言处理任务中展现出稳定的性能。在一些任务中，如 iFlytek 和 CMNLI，其表现相对出色。在 ExamQA 和 OCNLI 测试中，各模型的表现大致相同，凸显了该模型处理不同类型文本和领域知识方面的能力。
CEO 段清华表示，现有通用大模型在具体行业应用性和中文能力方面存在局限性，因此知未智能选择从零开始训练 KDF 大模型，以提升其中文能力和行业适用性。他强调，在打造这款“功能强大、性能优越”的中文模型过程中，开发团队深入理解技术细节，并将持续推动公司产品的开发创新。
目前，知未智能 KDF 大模型已在Hugging Face上开源，并将不限制商业使用，为行业发展和应用提供更多可能性。
相关文章
- 人工智能芯片市场潜力巨大 台积电或获新发展契机
- GitHub Copilot Chat企业测试版发布：AI智能助手为开发者提供代码支持和交互体验
- LG发布EXAONE 2.0：支持多模态语言处理的大语言模型
- LG发布EXAONE 2.0：支持多模态语言处理的大语言模型
- 斯坦福大学和加州大学伯克利分校的研究：GPT-4智能下降
- 斯坦福大学和加州大学伯克利分校的研究：GPT-4智能下降
- 华为联合山东能源集团实现矿山领域AI落地，开创工厂化开发模式
- 边缘计算与大模型：解锁人工智能应用的机遇
- AI发展引发全球关注 联合国积极应对风险挑战
- AI图像生成新服务Stable Doodle：让素描焕发艺术生机
- 印度初创公司Dukaan成功应用生成式AI聊天机器人改善客户支持
- 华为推出全新耳机FreeBuds SE 2，细节曝光！
- 智慧客服升级3.0版本，仁济医院互联网医院迈向拟人化服务时代
- MDN Web文档项目面临开发者质疑，AI Help工具引发争议
- 昇思MindSpore即将亮相世界人工智能大会，三大亮点不容错过
- 人工智能在公共安全领域支出预计将达710亿美元 爆炸性增长预示未来潜力
热门教程
Win11每次开机会检查tpm吗？Win11每次开机是否会检查tpm详情介绍
2系统之家装机大师怎么用？系统之家装机大师使用教程
3Win11正式版怎么安装安卓APK应用？Win11安装安卓APK文件方法
4Win10 21H1更新KB5003637后任务栏不能在底部显示怎么办？
5Win11电脑下载的文件被自动删除怎么办？
6Win11资源管理器的样式如何切换？Win11资源管理器样式切换方法
7Win11蓝屏怎么修复？win11蓝屏修复教程
8老电脑怎么装win11系统？老电脑一键升级Win11系统教程
9Win11正式版如何固定“此电脑”到任务栏？
10Win10和Win11哪个好用？Win10和Win11区别介绍
装机必备 更多+
重装教程
大家都在看
电脑教程专题 更多+