ONNX Runtime Web引入WebGPU:网络浏览器中的机器学习迎来性能飞跃

时间:2024-03-05 13:51:40

作者:admin

来源:系统大师

  3月5日消息,微软近日宣布在其ONNX Runtime Web中整合了WebGPU技术,这一举措有望显著提升复杂机器学习模型在网络浏览器中的运行性能。目前,Chrome和Edge浏览器已初步支持这项技术,尽管它仍处于早期阶段。

  ONNX Runtime Web引入WebGPU:网络浏览器中的机器学习迎来性能飞跃

  ONNX Runtime Web是微软推出的一个Javascript库,旨在帮助网络开发人员直接在网络浏览器中部署机器学习模型,并提供基于硬件加速的多个后端支持。而WebGPU则是一种新兴的网络应用程序接口(API),它能够为机器学习模型提供硬件加速,从而在网络浏览器中实现更高效的运行。

  此前,由于网络浏览器的计算能力有限,复杂的机器学习模型,特别是大型生成模型,在网络浏览器中的运行效率一直受到限制。然而,随着WebGPU技术的引入,这一问题有望得到解决。WebGPU能够释放设备GPU的能力,使得这些复杂的机器学习模型能够在网络浏览器中高效运行,从而显著提升性能。

  据本站了解,微软表示,WebGPU借助计算着色器等先进功能,能够以更高效的方式处理复杂的机器学习工作负载。此外,WebGPU对半精度(FP16)的支持也降低了GPU内存的使用率和带宽要求,进一步加快了运算速度。通过这些优化,WebGPU有望在网络浏览器中直接推断出更高效、可扩展的机器学习应用。

  目前,适用于Mac、Windows、ChromeOS的Chrome 113和Edge 113以及适用于Android的Chrome 121已默认包含WebGPU支持。这意味着开发者们可以尝试通过ONNX Runtime Web调用WebGPU加速资源,以提升其机器学习模型在网络浏览器中的运行性能。随着这项技术的不断发展和完善,我们有望在未来看到更多高效、便捷的机器学习应用在网络浏览器中得以实现。

大家都在看

电脑教程专题 更多+

提取码
XGZS
关闭 前往下载