首页 > 资讯 >

释放AI大模型潜能,硬件算力亟待突破互连瓶颈

2023-04-19 05:38:14 来源:爱集微APP

集微网消息,随着ChatGPT横空出世,预训练大模型对千行百业的革新与改造潜力已尽显无遗,甚至有业界大佬将其问世誉为人工智能“iPhone 时刻”,并预言这“只是更伟大事物的开始”。


(资料图片仅供参考)

ChatGPT为何显得如此“与众不同”?

借用技术接受理论(TAM)提出者、哈佛大学教授Venky Narayanamurti的总结,有用性(usefulness)与易用性(ease of use)是一项新兴技术扩散的两大基本前提。以这一标准衡量,2016年的AlphaGo-李世石五番棋大战,堪称完成了对人工智能“有用性”的全民科普,而ChatGPT则标志着AI技术扩散的另一必要条件——易用性已潜移默化渗入公众心智。

基于此,外界有理由乐观期待,人工智能产业的确已站在了巨擘预卜的宏伟蓝图新起点上。

成于算力、困于互连?

在不少“后见之明”的解读中,GPT家族往往被与2017年谷歌推出的Transformer模型相联系。

基于自注意力机制的Transformer,及其后谷歌BERT对各类文本任务的“屠榜”表现和惊人泛化能力,的确堪称为GPT做好了前置技术与工程方法的铺垫。站在巨人的肩膀上,GPT开发者OpenAI团队,最终凭借更敏捷的效率和更有力的执行,完成了最后的一跃。

进一步深入看, Transformer较此前MLP\LSTM等传统深度学习模型,正是对硬件算力实现了更高效的运用。

关于这一点,2019年深度学习泰斗、DeepMind首席科学家Richard Sutton在其《苦涩的教训》一文中就曾感言,从70年AI研究中可以学到的最大教训是,利用计算的一般方法最终是最有效的,而且有很大的优势,终极原因是摩尔定律,或者更确切地说,是它对每单位计算成本持续呈指数下降的概括,大多数AI研究都是在可用算力恒定的情况下进行的(在这种情况下,利用人类经验将是提高性能的唯一方法),但是,在比典型研究项目稍长的时间里,算力会大大增加,从长远来看,唯一重要的是利用计算。

正如Sutton所预见的,近年来,AI硬件算力取得了突飞猛进的发展。除了为人所熟知的GPU之外,谷歌TPU(GPT系列早期通过TPUv2进行训练)、微软Catapult等AI加速芯片往往省去了传统通用CPU微架构中乱序、预取等高级控制措施,能够实现卷积神经网络最核心的乘加运算单元设计最优化,充分挖掘SIMD架构并行计算能力。

算法、算力及其相结合的工程方法进步,最终为OpenAI“大力出奇迹”奠定了基础。

完全可以预期,在OpenAI明星效应下,全球科技巨头未来一两年必将推出一系列类GPT预训练大模型,也有望带动对数据中心AI算力集群的投资进一步加速。

不过值得注意的是, 尽管各大芯片厂商争相推出AI加速芯片,算力参数不断刷新记录,但预训练大模型参数量动辄上百亿、千亿乃至万亿,其训练仍远远超出一两张GPU等AI加速卡所能驾驭的范围,往往必须通过网络将多处理器互连、乃至进一步组成HPC算力集群,实现算力资源的池化调度,如此方能满足AI大模型的分布式、并行化训练。 而在评估训练效率时,单批数据(batch)的总训练用时也往往受通信时长的显著影响。

正因如此,随着AI大模型揭示的全新想象空间出现,算力集群这一基础设施也将迎来投资热潮,而在其面临的配电、散热、通信等一系列工程挑战中,算力节点间的数据传输尤其堪称制约硬件算力充分释放的关键“瓶颈”。

破解互连瓶颈的“关键支点”

AI训练、推理所面对的数据量指数增长,使得无论单服务器中多GPU、CPU间C2C通信,还是在多服务器间组网,数据传输总体都呈现出高带宽、低延迟的技术需求。

在算力集群通信网络拓扑结构趋同的背景下,交换机接口日益成为打通“瓶颈”的重要突破口,并衍生出提升网卡速率、增加网卡数量、乃至应用RDMA网络直连等多种工程思路。

在底层接口技术领域,与传统并行接口相比,SerDes串行接口由于其显著的成本优势,已然成为应用主流 ,在PCIe 6.0等新标准中,更是在物理层进一步引入对PAM4(四阶脉冲振幅调变)编码的支持,以进一步提高SerDes数据传输速率。

不过SerDes的应用,也自然存在不少技术挑战,其中最严峻的,无疑首推信号完整性(SI)问题。

例如在通过背板、连接器、PCB板的中距离、长距离互连场景中,SerDes高速链路TX、RX端往往间隔着管脚、PCB过孔、信号线乃至连接器、线缆等环节,存在材料、工艺、布局等复杂原因引入的噪声、串扰和信号衰减,以至于最终抵达接收器的电气信号可能严重失真,很难恢复所传输信息的时钟和数据位,也局限了速率、距离上的设计空间。

新一代56G、112G SerDes应用PAM4编码,在提供更大网络吞吐量的同时,也因引入更多电平水平,带来了信噪比损失、误码率(BER)恶化、前向纠错(FEC)延迟增加等问题,需要进行精细的权衡取舍。

从上面的分析不难看出, 想要充分发挥AI硬件算力效能,接口技术是破解互连瓶颈的关键支点,具有极大的杠杆效应,而其应用则必须解决围绕信号完整性的诸多挑战。

目前,尽管大量硬件厂商聘请了专职SI工程师负责调试,不过其效果取决于千差万别的个人“手艺”,由于在芯片与系统设计各层面均需保证信号完整性,验证过程也往往旷日持久,只有技能十分熟练且模电领域经验极其丰富的设计团队才能尝试此类设计,且测试验证周期漫长。

正因如此,在芯片设计中,外购高速接口IP几乎成为行业“必选项”,也带动接口IP成为近年来增速最快的IP细分市场,根据专业机构预测,接口IP甚至有望在2025年前后超越CPU IP,成为第一大半导体IP品类。

授人以鱼,更要授人以渔

接口IP市场机遇,也使之成为各大IP HOUSE竞争热点。 例如全球三大IP厂商之一的Cadence(楷登电子),同样推出了其112G SerDes IP设计,面向高性能计算(HPC)数据中心SOC需求,适用于长距离和中距离传输,已经经过7nm制程硅验证,拥有上佳的PPA表现,插入损耗>35dB。

值得一提的是, 外购接口IP只是从芯片到系统开发及信号完整性测试的起点,与工作流配套的工具是否完备、可及,也是影响开发周期的重要因素,可以说接口IP供应商既要授人以鱼,更要授人以渔。

作为EDA\IP领域巨头,Cadence在这方面的实践尤其具有代表性。在SerDes等成熟接口IP之外,该公司还提供了有机融合的完善设计工具和技术,帮助芯片与系统设计人员应对贯穿各层面的信号完整性挑战。

例如在不同芯片间互连设计与仿真中,建模是必不可少的手段。目前,IBIS和AMI是对SerDes信道进行建模的首选方式,IBIS-AMI的出现,使利用仿真模型快速且精确地模拟大量比特流成为了可能。作为行业标准的定义者之一,Cadence在相关工具开发上同样走在前列,基于其Sigrity Advanced IBIS建模工具,用户可自动创建模型,借助向导程序生成实用算法模型。

在基于PCB板/背板/连接器的中长距离互连场景中,SerDes高速接口开发人员为了精准可靠地分析信号,还需要为总体设计进行信号完整性(SI)、电源完整性(PI)以及电磁兼容性 (EMC)协同仿真,开发者往往需要透彻了解数据采集分析理论、精准建立模拟器件特性模型。

针对这一痛点,Cadence的Clarity 3D Solver为PCB、IC封装和SoIC关键互连设计提供了更好的工具选择,基于其创建的高精度S-参数模型,即使在112G数据传输速度下,也能实现与实验室测量相匹配的仿真结果。其有限元分析(FEM)过程实现了高度并行化,可极大缩短求解耗时,并支持近乎线性的硬件算力可扩展性。

此外,在分析链路信号完整性时,通常隐含假设是电路板和连接器功能良好,但在极高频率下,单独分析连接器和电路板、然后再将它们“连接"在一起的假设不再适用。电路板和连接器之间交互过多,同样需要Clarity Solver等全面的3D分析工具实现高质量设计,同时准确预测成品性能。

结语

在黄仁勋喊出人工智能“iPhone 时刻”后,短短几十天以来,预训练大模型及其下游应用,已经呈现出令人目不暇给的爆发态势。可以想见,在各大云计算巨头的AI大模型“军备竞赛”中,算力集群也将迎来一轮新的投资热潮,通信网络与接口技术,也有望进入发展加速期。此外,特斯拉 Dojo、Cerebras WSE-2等走“超级单芯片”路线的厂商,也可能引领一条大模型训练的新路。

不过无论何种路径,对接口IP的“刚需”都清晰可见,在这一热点、难点领域,笔者也期待有更多如Cadence等大厂带来完整解决方案,推动互连瓶颈的缓解与松动,有力释放预训练大模型无限可能,造福千行百业。

(校对/王梓凌)

标签:

释放AI大模型潜能,硬件算力亟待突破互连瓶颈

集微网消息,随着ChatGPT横空出世,预训练大模型对千行百业的革新与改造潜力已尽显无遗,甚至有业界大佬...

2023-04-19

75岁大爷高烧不退,原来是这种虫子在作怪 天天新要闻

75岁大爷高烧不退,原来是这种虫子在作怪

2023-04-19

文明教师主要事迹介绍800字_文明教师个人事迹材料|环球速看料

今天小编肥嘟来为大家解答以上的问题。文明教师主要事迹介绍800字,文明教师个人事迹材料相信很多小伙伴...

2023-04-19

数字经济板块4月18日涨0.62%,中科信息领涨,主力资金净流出2.35亿元

4月18日数字经济板块较上一交易日上涨0 62%,中科信息领涨。当日上证指数报收于3393 33,上涨0 23%。...

2023-04-19

明年起受邀新秀须参加联合试训所有项目 否则不能参加NBA选秀

明年起受邀新秀须参加联合试训所有项目否则不能参加NBA选秀,联合试训,nba选秀

2023-04-19

全球动态:远高于美国平均储蓄账户利率!苹果和高盛提供年息4.15%的美国储蓄账户

远高于美国平均储蓄账户利率!苹果和高盛提供年息4 15%的美国储蓄账户,高盛,美国,存款,年息,年利率,储...

2023-04-19

Evercore ISI:麦当劳(MCD.US)同店销售增长“最乐观” 上调目标价至310美元

智通财经APP获悉EvercoreISI分析师DavidPalmer将麦当劳MCDUS目标价从300美元上调至310美元并维持跑赢大...

2023-04-19

开闭所的主要设备是什么_开闭所设置要求-焦点快看

1、与小区面积无关,中压电网中的开闭所一般用于10kV电力的接受与分配,在高压电网中为开关站,由断路器...

2023-04-19

《战舰世界》X《hololive》推出Vtuber指挥官 12.3版本更新释出 !

这下不得不玩了。战游网(Wargaming net)旗下PC游戏《战舰世界》(WorldofWarships)今天释出12 3版本...

2023-04-19

媟黩_世界短讯

1、媟黩,读音xièdú,汉语词语,意思是亵狎、轻慢;淫秽;亦作 "媟渎 ",亦作 "媟嬻 "。2、出自《...

2023-04-19

全球通讯!spcc是什么材质的铁_spcc是什么材质

1、SPCC——表示一般用冷轧碳素钢薄板及钢带,相当于中国Q195-215A牌号。2、其中第三个字母C为冷Cold的缩写

2023-04-19

东夷族首领_东夷族

1、早期东夷是华夏族的一个重要组成部分。2、而周朝时的特指山东胶东和胶西外族莱夷为东夷则变成古汉族...

2023-04-19

升得高跌得狠!15省份体验换季式降温,局地降温超25℃

最近几天,我国大部雨雪稀少气温飙升,特别是江南一带恍若盛夏,杭州、长沙等地的高温提前近两个月到来...

2023-04-19

入盆一般是多少周_rup 每日速看

1、RUP(英文:RationalUnifiedProcess,中文:统一软件开发过程或统一软件过程)是一个面向对象

2023-04-19

微动态丨生活成本持续上涨 促使英国人重返工作岗位

生活成本持续上涨促使英国人重返工作岗位,英国,工资,统计局,经济学家

2023-04-18

咸阳职业技术学院 职业技术学校_咸阳职院技术学院官网

1、咸阳职业技术学院2011年招生专业及计划学校代码8138三年制高职招生专业及计划三年制高职在陕招生专业...

2023-04-18

杨浦区延吉幼儿园招生简章及对口小区-世界观焦点

2023年上海杨浦区延吉幼儿园小班入园简章(紧张区域)今年小班适龄幼儿入园工作主要分为“信息登记、报名...

2023-04-18

国安周四客战卫冕冠军 得分能力面临考验

京报体育|记者王洋4月20日晚,北京国安队将在2023赛季中超联赛第二轮中,做客武汉体育中心挑战卫冕冠军...

2023-04-18

兆威机电:共青城聚兆德拟减持公司不超1%股份 快消息

证券时报e公司讯,兆威机电(003021)4月18日晚间公告,公司持股5 99%的股东共青城聚兆德投资管理合伙企业(有限

2023-04-18

天演维真2022年净利2906.49万同比增长48.23% 取得理财产品收益

天演维真2022年净利2906 49万同比增长48 23%取得理财产品收益,理财产品,天演维真,公司股东

2023-04-18

专访:“中国在全球能源转型和促进可持续发展方面发挥着关键作用”——访国际可再生能源机构总干事拉卡梅拉_热点评

中国在2022年贡献了全球可再生能源总容量新增部分的约48%;当年全球三分之二的新增水电产能、45%的新增...

2023-04-18

西门子与小鹏汽车签署战略合作协议_资讯

西门子官微消息,4月18日,西门子与广州小鹏汽车科技有限公司(小鹏汽车)签署战略合作协议,双方将在数...

2023-04-18

喜讯|河南省肿瘤医院心灵关怀志愿服务项目荣获全国金奖

近日,第三届全国卫生健康行业青年志愿服务项目大赛落幕,我院参选的心灵关怀志愿服务项目——“心灵之...

2023-04-18

档案学就业前景女生_档案学就业前景

1、档案学是探索档案、档案工作和档案事业的发展规律,研究档案信息资源的管理、开发的理论、原则与方法的

2023-04-18

大宗交易:龙宇股份成交1860万元,溢价0.98%(04-18)|全球播报

2023年4月18日,龙宇股份发生2笔大宗交易,总成交200万股,成交金额1860万元,成交均价9 30元,溢价0 98%。

2023-04-18

环球聚焦:23进出清发01(增发)今日发布发行公告

上汽集团旗下又一动力电池工厂量产 首期产能3GWh|世界热资讯

深圳ENJOY|走,到罗湖解谜去!-全球视讯

嘉应制药大宗交易成交6058.80万元 当前头条

全球热讯:强冷空气阻截春日回暖 全国大部将经历激烈冷暖转换

每日时讯!敏舒科技完成数百万元天使轮融资,投资方为溪山天使基金

环球观焦点:德赛西威发布Smart Solution 2.0

齐河城投集团2.44亿元私募债更新至“已受理”

环球快播:福克斯:追梦事件让我们团结了起来 每个人都认为他会被驱逐

天天新消息丨江苏发布提醒告诫

【天天新视野】年内最贵新股索辰科技上市,盘中股价冲高回落,市值超百亿

当前短讯!今年一季度我国GDP同比增长4.5%

女子曲棍球国际邀请赛:辽宁队胜马来西亚队_新视野

泰禾智能4月18日盘中涨幅达5% 天天微速讯

惠誉:因富力地产贷款被认定为违约等因素 确认其“RD”长期发行人评级 世界今热点

世界观天下!农村2023年养老金调整最新消息,一次缴纳36000元,每月领取1000元是真的吗?

蚌埠市淮上区:“四抓四促”推动党领导下的“指尖监督”走深走实 今日热闻

华亭:致富红牛迁“新家”

每日快看:考古大学堂看“浙”里 逛国家考古遗址公园的正确打开方式→

中国连续第7个月减持美国国债具体详细内容是什么

远信投资17只基金年内12只下跌 最深跌6% 全球球精选

【速看料】2月中日两大“债主”齐抛美债,中国持仓七连降,又创2010年来新低

世界快资讯:A股步入业绩披露高峰期,市场逐步聚焦基本面

重庆到老挝自驾游路线(重庆到老挝的飞机票多少)_报资讯

1300 马力的奥迪 R8 在狭窄的道路上与保时捷 911 GT2 RS 比赛

Copyright @  2015-2022 太平洋家电网版权所有  备案号: 豫ICP备2022016495号-17   联系邮箱:93 96 74 66 9@qq.com