Cerebras发布第三代芯片WSE-3:性能翻倍,助力大模型训练

时间:2024-03-14 11:46:53

作者:admin

来源:系统大师

  3月14日消息,晶圆级芯片领域的领军企业Cerebras,近日发布了其最新一代的芯片产品——WSE-3。据悉,这款芯片在保持与前代产品WSE-2相同功耗的同时,实现了性能的大幅提升,翻倍的表现令人瞩目。

  WSE-3的详细参数显示,它采用了台积电先进的5nm制程技术,集成了高达4万亿个晶体管,拥有900,000个AI核心,以及44GB的片上SRAM缓存。此外,WSE-3还提供了1.5TB、12TB和1.2PB三种可选的片外内存容量,以满足不同场景下的需求。其峰值AI算力更是高达125 PFLOPS,展现了强大的计算能力。

  Cerebras发布第三代芯片WSE-3:性能翻倍,助力大模型训练

  据本站了解,Cerebras基于WSE-3推出了CS-3系统,该系统凭借其最高可达1.2PB的内存容量,能够训练比当前热门的GPT-4和Gemini模型大10倍的下一代前沿模型。这意味着CS-3可以在单个逻辑内存空间中容纳参数规模高达24,000T的模型,为开发人员提供了极大的便利,简化了他们的工作流程。

  CS-3系统非常适合超大规模AI需求。一个紧凑的四系统集群就能够在一天内完成70B模型的微调。而当使用最大规模的2048个CS-3系统集群时,它甚至可以在一天内完成Llama 70B模型的训练,展现了惊人的训练速度。

  Cerebras还强调CS-3系统的易用性。在大模型训练中,与GPU相比,所需代码减少了97%。开发人员仅需565行代码就可以实现与GPT-3大小模型相当的标准实现,这大大降低了开发门槛和复杂度。

  阿联酋的G42财团已经表示将打造基于Cerebras CS-3的Condor Galaxy 3超级计算机。这台超级计算机将包含64个CS-3系统,提供高达8 exaFLOP的AI算力,为科研和工业领域的应用提供强大的支持。

大家都在看

电脑教程专题 更多+

提取码
XGZS
关闭 前往下载