马上注册 找回密码

QQ登录

只需一步,快速开始

多伦多东门网

搜索
查看: 19|回复: 0

中兴打造开放智算基座,帮助小厂解决算力难题

[复制链接]
发表于 前天 05:44 | 显示全部楼层 |阅读模式
  最近在杭州某AI创业公司当牛马的朋友找我哭诉,他们刚融的500万还没捂热,转头就砸给某云厂商买了200张A100的算力卡。结果你猜怎么着?训练完百亿参数大模型后,发现推理成本比训练还烧钱,现在连电费都快付不起了。在这样的背景下,中兴打造的智算基座,很可能是个不错的解决方案。

  还记得今年初Deepseek的全球火爆吗?它的出现解决了一个核心问题。就是让智能算力的不足问题从高性能的训练算力延展到普惠型的推理算力。但同时,也带来了两个挑战,第一个挑战是,推理算力将爆发式增长,需要加快算力普及;第二个挑战是,训练算力仍需进一步强化,以支撑更大规模的模型训练,以及多模态大模型的新突破。

  现在业内疯抢高端GPU,却没人注意算力链条上的隐形损耗:GPU之间等数据、机房之间等传输、模型推理等调度...导致许多算力白白浪费。而中兴这套开放基座确实有点东西。这一基座不仅支持跨机房互联,在进行多模态模型训练时,还能够大幅度降低算力损耗,同时它还支持混搭不同品牌GPU,比如把某国产芯片和A800混用,大幅度提升调度效率。

  别人都在堆显卡,中兴在修“算力高速公路”。中兴通过芯片之间、GPU 卡之间、服务器之间以及数据中心之间的连接创新,包括大容量交换芯片、800G光互联等技术创新,构建的跨3个机房互联的智算集群,与单一机房部署相比,算力损失控制在5%以内。

  在AI 2.0时代,会造显卡不算本事,能让每焦耳电力都转化成有效智能,才是真·护城河。这样的背景下,中兴的未来发展潜力无限,未来可期。
  

您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

小黑屋|手机版|Archiver|多伦多东门网

GMT-5, 2025-3-26 08:08 , Processed in 0.075354 second(s), 22 queries , Gzip On.

Powered by Discuz! X3.4 © 2001-2013 Comsenz Inc & Style Design

快速回复 返回顶部 返回列表