首页 科技内容详情
usdt支付接口(www.caibao.it):瀚博半导体推首款云端AI推理芯片,INT8峰值算力超200 TOPS

usdt支付接口(www.caibao.it):瀚博半导体推首款云端AI推理芯片,INT8峰值算力超200 TOPS

分类:科技

网址:

反馈错误: 联络客服

点击直达

IPFS招商官网

www.ipfs8.vip)是FiLecoin致力服务于使用FiLecoin存储和检索数据的官方权威平台。IPFS招商官网实时更新FiLecoin(FIL)行情、当前FiLecoin(FIL)矿池、FiLecoin(FIL)收益【yi】数据、各类FiLecoin(FIL)矿机出售信息。并开放FiLecoin(FIL)交易所、IPFS云矿机、IPFS矿机出售、租用、招商等业务。

,

芯器械(民众号:aichip001)

作者 | 心缘

编辑 | 漠影

芯器械7月7日报道,在2021天下人工智能大会上,瀚博半导体推出其首款云端AI通用推理芯片SV100系列,以及通用AI推理加速卡VA1。

瀚博半导体首创人兼CEO钱军说,这两款新品能有用应对低延时、通用性和视频处置等方面的行业痛点,推进云端与边缘的智能应用落地。

据悉,其SV100系列首发产物SV102现与海内外多家头部互联网公司互助,预计将于今年第四序器量产上市。

瀚博半导体确立于2018年12月,总部设在上海,在北京、深圳和多伦多有研发分部。当前其团队规模已跨(kua)越200人,硕士及以上学历占80%。今年2月,瀚博研究院确立。

融资希望方面,瀚博半导体先是在2019年3月获得真格基金天使轮融资,2019年6月获得天狼星、耀途Pre-A轮融资,去年7月获得快手、五源、红点、赛富A轮融资5000万美元,今年3月获得中国互联网投资基金、经纬中国、联发科5亿元A+轮融资。

▲瀚博半导体首创人兼CEO钱军展示SV100系列芯〖xin〗片

一、焦点团队拥有超『chao』15年芯片履历,曾介入业界首款7nm GPU流片

瀚博半导体的两位首创人,CEO钱军和CTO张磊,都拥有20多年的芯片设计履历,并均在创业前曾任AMD高管,深度领会行业客户对吞吐量、延迟、通用性和成本的需求。

据钱军分享,瀚博的焦点员工拥有跨越15年的GPU相关芯片及软件设计履历,包罗业界第一颗7nm GPU在内的约100款芯片流片、量产履历。

不外,差异于焦点团队以往的研发偏向,瀚博半导体没有选择继续深耕GPU赛道,转而研发针对种种深度学习推理负载举行优化的DSA架构。

钱军引用了一些行业数据,AI进入应用期,数据中央推理算力需求的复合增进率是训练的2倍以上,2021年中国市场AI服务器的推理负载有望跨越训练负载。在推理 li[侧,GPU不是最好的解决方案,性能不及DSA架构。基于这些缘故原由,瀚博半导体选择首先研发基于DSA架构的推理芯片。

钱军将AI推理盘算的焦点性能指标总结为LTE:

延时(latency)、吞吐量(Throughput)、能效(Energy Efficiency)。

对此,瀚博半导体的应对之道是在视频处置方面,让高并发的解码能力与AI算力匹配;在LTE方面,具备极低延时、极高吞吐量性能,并保持低功耗;在创新方面,提供负载剖析、硬件通用可扩展、软件栈。

二、首款云端推理芯片,峰值算‘suan’力超200 TOPS

自确立起,瀚博半导体即启动自研AI核,随后在2020年5月实现其首颗半定制7nm芯片的流片。今天,瀚博半导体正式宣布其首款云端AI通用推理芯片SV100系列。

瀚博SV100系列是一款超高性强人工智能与视频处置芯片,焦点优“you”势是能兼顾智能视频解{jie}码和AI盘算的需求。2021年6月,SV100系列芯片测试乐成。钱军透露说,这款推理芯片最先测试8分钟就宣布点亮。

瀚博SV100单「dan」芯片INT8峰值算力超200 TOPS。相同功耗下,SV100可实现数倍于现有主流数据中央GPU的深度学习推理性能指标,具有超高吞吐率、超‘chao’低延时的特征。

usdt支付接口

菜〖cai〗宝钱包(www.caibao.it)是使用TRC-20协议的Usdt第三方支付平台,Usdt收款平台、Usdt自动充提平台、usdt跑分平台。免费提供入金通道、Usdt钱包(bao)支付接口、Usdt自动充值接口、Usdt无需实名寄售回收。菜宝Usdt钱包一{yi}键生成Usdt钱包、一键调用「yong」API接口、一键无实名出售Usdt。

SV100基于瀚博自主研发的通用DSA架构,支持FP16、BF16和INT8等数据花样,可实现众多主流神经网络的快速部署,适用于盘算机视觉、智能视频处置、自然语言处置和搜索推荐等多种推理应用场景。

同时,SV100系列集成高达64路以上H.264/H.265/AVS2的1080p视频解码,普遍适用于云端与边缘智能应用场景,能辅助客户节约装备投资、降低运营成本。

三、VA1:一致能耗下,AI吞吐率最高达GPU的10倍

除了宣布SV100系列,瀚博半导体也同步推出了基于SV102芯片(SV100系列首发产物)的VA1 PCIe推理加速卡。

VA1接纳单宽半高半长75瓦『wa』PCIe x16卡设计,支持32GB内存和PCIe 4.0高速接口协议,适用于绝大多数服务器,无需分外供电,即可实现数据中央高密度算力部署。

该加速卡可提供高效率深度学习AI推理加速,在一‘yi’致能耗下,实现2-10倍于GPU的最高AI吞吐率,而延时不到GPU的5%,适合实时应用。

同时,它兼备优越的通用性和可扩展性,支持FP16、BF16和INT8数据类型的主流神经网络快速部署,包罗检测、分类、识别、支解,视频处置、LSTM/RNN、NLP/BERT、搜索推荐等。

如下图所示,同为75瓦功耗时,在处置两种AI模子时,瀚博VA1吞吐率均跨越了英伟达的A10和T4云端推理GPU。

凭证瀚博半导体分享的测试效果,一致推理性能下,瀚博SV102/VA1方案比英伟达T4 GPU节约60%服务器成本,比A10 GPU节约50%的TCO。

视频处置方面,VA1支持64路以上H264、H265或AVS2 1080p解码,分辨率支持高达8K。

相比之下,市面上【shang】许多云端AI推理芯片没有内置视频解码,而是用多个GPU来做视频解码,因此从更适配处置到AI加速要用到〖dao〗多颗芯片,而VA1只用一颗SV102就能兼顾两类功效,且功耗更低、处置能力更强。

现在,瀚博半导体正将其加速卡与遐想、浪潮、新华三、超微服务器以及CentOS、Ubuntu、红帽、中标麒麟、银河麒麟等操作系统做适配。

钱军透露说,瀚博半导体后续还会推出15W、150W的产物。

四、高度天真软(ruan)件栈,支持自界说算子扩展

思量到向前兼容性异常主要,瀚博半导体的软件栈具有极高天真性与可扩展性,能够支持未来新兴算法模子和用户自界说算子扩展等。

另一方面,占有过半中国AI应用市场的盘算机视觉应用,需要高密度的视频解码算力配合AI算力实现端到端的盘算加速,在两者之间的算力配比平衡方面,瀚博半导体也做了大量的事情。

瀚博半导体首创人兼CTO张磊说:“我们的软件栈完整,同时提供了相符行业开发者使用习惯的工具,利便使用者以极低成本向瀚博硬件平台迁徙、部署现有算法应用。”

现在瀚博半导体的VastStream软件平台已支持TensorFlow、PyTorch、Caffe2等主流《liu》深度学习框架模子与ONNX花样的模子,通过高度定制的AI编译器充实优化模子在瀚博硬件上的执行效率。

结语:国产云端AI芯片队伍日益壮大

随着瀚博半导体推出其SV100系列芯片,国产云“yun”端AI芯片的队伍迎来又一位新成员。

AI芯片赛道连续火热,资源投资热情不减。不外与前两年差其余是,现在人们看待AI芯片加倍理性,不再容易听信故事,而是聚焦在审阅其焦点手艺的怪异竞争优【you】势以及落地能力上。

发布评论