Intel开源NPU加速库，酷睿Ultra处理器AI PC可运行轻量级大语言模型
3月4日消息，近日，Intel在GitHub上公开了其NPU加速库，这一举措使得装备了酷睿Ultra处理器的AI PC得以流畅运行诸如TinyLlama、Gemma-2b等轻量级大型语言模型。
酷睿Ultra系列首次集成了NPU AI引擎，该引擎能够处理一些轻量级的AI推理任务，并与CPU、GPU协同工作，以应对各类AI应用的需求。
据本站了解，虽然这次开源的NPU加速库主要针对开发人员，但拥有一定编程经验的用户同样可以尝试使用。Intel的软件架构师Tony Mongkolsmai展示了如何利用此开源库，在微星尊爵14 AI Evo笔记本电脑上运行一个基于11亿参数的TinyLlama大模型的AI聊天机器人，该机器人能进行简单的对话。同时，Windows任务管理器也证实了NPU的有效调用。
然而，当前的开源NPU加速库在功能上还存在一些不足，它支持8比特量化和FP16精度，但尚不支持4比特量化、BF16精度以及NPU/GPU的混合计算等高级功能，且相关技术文档也尚未提供。不过，Intel已承诺将在后续逐步扩展其功能，预期将比现有功能增加一倍，这无疑将为AI开发者们带来更多的便利和可能性。
相关文章
- Intel MWC 2024震撼发布：Sierra Forest至强处理器能效性能双飞跃
- Intel放大招：14代酷睿i9-14900KS刷新频率记录，6.2GHz成新标杆
- Intel全新旗舰i9-14900KS曝光：主频首破6GHz大关，功耗达410W
- Faraday携手Intel 18A工艺，打造全球首款64核心Arm Neoverse处理器
- Intel携手台积电2nm工艺，Nova Lake或迎历史性架构升级
- AMD与Intel新处理器亮相，业界称其为“马甲”升级版
- 英特尔CEO：中国半导体发展或落后十年
- 期待落空！Intel酷睿Ultra性能不升反降，AI PC时代何去何从
- Intel 14代酷睿非K系列型号即将发布
- 性能对比揭示：Intel至强48核心与AMD EPYC 9545硬仗相对
- 零售版、准零售版齐聚市场，14代酷睿处理器提前曝光
- Intel预测：明年AI PC市场或涌现数千万台
- Intel发布4885版显卡驱动：DX11游戏性能再次大幅提升
- 英特尔发布首款Intel 4制程工艺的Meteor Lake处理器平台
- Intel的NUC产品 再添悍将“蝰蛇峡谷”
- 华硕与INTEL合作NUC业务
热门教程
Win11每次开机会检查tpm吗？Win11每次开机是否会检查tpm详情介绍
2Win11任务栏空白怎么办？Win11任务栏空白解决办法
3Win10 21H1更新KB5003637后任务栏不能在底部显示怎么办？
4系统之家装机大师怎么用？系统之家装机大师使用教程
5Win10家庭版笔记本电脑怎么关闭Windows defender功能？
6Win11正式版怎么安装安卓APK应用？Win11安装安卓APK文件方法
7Win11资源管理器的样式如何切换？Win11资源管理器样式切换方法
8Win11电脑下载的文件被自动删除怎么办？
9Win11蓝屏怎么修复？win11蓝屏修复教程
10Win11正式版如何固定“此电脑”到任务栏？
装机必备 更多+
重装教程
大家都在看
电脑教程专题 更多+