“紫东.太初” 全模态大模型正式发布 持续探索可自主进化的通用人工智能
6月16日,在人工智能框架生态峰会2023上,中国科学院自动化研究所所长徐波正式发布“紫东.太初”全模态大模型。
“紫东.太初”全模态大模型是在千亿参数多模态大模型“紫东.太初”1.0基础上升级打造的2.0版本,在语音、图像和文本三模态的基础上,加入视频、信号、3D点云等模态数据,研究突破了认知增强的多模态关联等关键技术,具备全模态理解能力、生成能力和关联能力,面向数字经济时代加速通用人工智能的实现。
会上,徐波首次对外实时展示了大模型在音乐理解与生成、三维场景导航、信号理解、多模态对话等方面的全新功能,并邀请现场观众与大模型即时互动。“紫东.太初”全模态认知大模型不仅可以透过《月光曲》畅谈贝多芬的故事,也可以在三维场景里实现精准定位,还能够通过图像与声音的结合完成场景分析,在现场获得了热烈反响。
从多模态到全模态的持续探索
人类在认知世界时,往往同时涉及语音、图像、文字等信息。机器需要实现更高水平的智能,就需要像人一样,发展贯通图、文、音等更多模态的大模型。自2019年起,中国科学院自动化研究所(以下简称“自动化所”)即坚持以“图-音-文”多模态技术为核心,确立多模态大模型布局,整合所内图像、文本、语音等研究方向的优势资源开展集团式攻关,于2021年9月成功打造“紫东太初”1.0多模态大模型。“紫东.太初”1.0助推人工智能从“一专一能”迈向“多专多能”,向发展通用人工智能迈出了坚实的第一步。
以此为基础,“紫东.太初”大模型的多模态探索仍在持续深入。迈入数字经济时代,数据的范畴不断拓宽,不仅包含人类自身产生的语音、图像、文字等数据,还有机器产生的大量结构和非结构化数据。针对新需求与新趋势,“紫东.太初”2.0在语音、图像和文本之外,加入了视频、信号、3D点云等更多模态,从技术架构上实现了结构化和非结构化数据的全模态开放式接入;突破了能对信息进行充分理解和灵活生成的多模态分组认知编解码技术,能融合多个任务的认知增强多模态关联技术等,大模型多模态认知能力大幅提升。
“紫东.太初”2.0可以理解三维场景、信号等数字物联时代的重要信息,完成了音乐、图片和视频等数据之间的跨模态对齐,能够处理音乐视频分析、三维导航等多模态关联应用需求,并可实现音乐、视频等多模态内容理解和生成。从1.0到2.0,“紫东.太初”大模型打通了感知、认知乃至决策的交互屏障,使人工智能进一步感知世界、认知世界,从而延伸出更加强大的通用能力。
打造全栈国产化通用人工智能底座
“紫东.太初”2.0以自动化所自研算法为核心,以昇腾AI硬件及昇思MindSpore AI框架为基础,依托武汉人工智能计算中心算力支持,着力打造全栈国产化通用人工智能底座。长期以来,强大的算力支撑是约束我国人工智能发展的瓶颈之一,以“紫东.太初”大模型为领头雁开展的创新实践将有力推动国产基础软硬件与大模型技术的适配,协同构建我国通用人工智能自主可控发展生态。
全模态赋能,产业应用前景广阔
目前,“紫东.太初”大模型已展现出广阔的产业应用前景,在神经外科手术导航、短视频内容审核、法律咨询、医疗多模态鉴别诊断、交通违规图像研读等领域开始了一系列引领性、示范性应用。
在医疗场景,“紫东.太初”大模型部署于神经外科机器人MicroNeuro,可实现在术中实时融合视觉、触觉等多模态信息,协助医生对手术场景进行实时推理判断。同时与北京协和医院合作,利用“紫东.太初”具备的较强逻辑推理能力,尝试在人类罕见病诊疗这个挑战性医学领域有所突破。
徐波表示,自动化所以“紫东.太初”大模型为基础,持续探索与类脑智能、博弈智能等技术路径的相互融合,最终实现可自主进化的通用人工智能。并将探索在更多领域发挥赋能价值,为促进我国数字经济快速发展贡献力量。
相关文章
- 北京论道 | 百视通王志云:构建大屏全媒体生态,打造上海家庭数智新生活
- AI赋能“芯”画质,三星神经元量子点处理器激发屏幕无限潜力
- 绿源创始人倪捷二度对话张朝阳:用了不起的物理学 造了不起的中国电动车
- 毕业季618双节狂欢!来华为阅读享品质阅听,0元读好书
- 五大全球生产基地!TCL空调引领新风时代,创造健康呼吸环境
- 618 Mini LED电视热销榜TOP3,配置一流、画质惊艳、音质震撼
- WTC大会:腾讯升级交通数字化转型方案 联合蜀道集团、中国公路学会共建智慧交通生态圈
- 晚8点京东618狂欢开启 家电家居商品提供送、装、拆、清一体化服务
- 深信服发布分布式存储高性能版本,实现高性能与大容量一步到位!
- 投影仪处理器天梯榜,当贝F6搭载全新华为海思V811画质实力非凡
- 三星电视技术品鉴会:量子点+潘通+OLED的强大效果令人惊叹
- 华宝新能携旗舰新品Jackery电小二光充户外电源2000 Plus首秀全球最大光伏展
- 全能配置 青春质感之作 中国电信发布麦芒A20新品手机
- 德国卡赫荣获2022企业环境奖,持续引领行业可持续发展
- 6月15日晚8点京东618高潮开启 以旧换新买家电家居产品至高补贴20%
- 数据分析提效5倍,国有集团企业数字化历程 | 袋鼠云客户成功案例
热门教程
Win11每次开机会检查tpm吗?Win11每次开机是否会检查tpm详情介绍
2Win11正式版怎么安装安卓APK应用?Win11安装安卓APK文件方法
3系统之家装机大师怎么用?系统之家装机大师使用教程
4Win10 21H1更新KB5003637后任务栏不能在底部显示怎么办?
5Win11电脑下载的文件被自动删除怎么办?
6Win11资源管理器的样式如何切换?Win11资源管理器样式切换方法
7Win11蓝屏怎么修复?win11蓝屏修复教程
8老电脑怎么装win11系统?老电脑一键升级Win11系统教程
9Win11正式版如何固定“此电脑”到任务栏?
10Win10和Win11哪个好用?Win10和Win11区别介绍
装机必备 更多+
重装教程
大家都在看
电脑教程专题 更多+