国泰君安-产业深度01期：算力产业研究系列（一），算力时代，关注芯片、软件、网络-240819

VIP专享

3.0 复利王子 2024-08-20 112 18 1.39MB 23 页免费

侵权投诉

2024.08.19 01期

算力时代，关注芯片、软件、网络——算力

产业研究系列(一)

摘要：以英伟达为例，理解算力时代三大技术优势

大模型时代来临，廉价的算力永远是稀缺品

√ 大模型时代来临，加速计算需求突破式增长。大模型是一个新时代的摩尔定律。算

力缺口越来越大，目前算力的基建不够。

√ 世界需要更多算力，廉价的算力永远是稀缺品。我们仍然处于 scaling law 的早期，

模型的能力会随着模型参数的增加而提高。0penAI、微软与Anthropic 等头部公司

的产品仍在你追我赶的过程中。未来市场前景广阔。芯片、软件、网络共同构筑算力

时代竞争优势

芯片、软件、网络共同构筑算力时代竞争优势

√ 以英伟达为例理解算力时代NPU厂商三大技术优势

√ 壁垒1: GPU/芯片优势明显：从架构上，英伟达打造综合GPU。此外，英伟达在范式

架构上的积累领先行业。从硬件生态上，GPU性能受供应链影响很大。从芯片设计上，

NVIDIA的方案效率更好。

√ 壁垒2: CUDA生态建立巨大迁移成本：CUDA生态建立巨大迁移成本(时间成本+

开发成本+使用习惯成本)。科技树上低垂的果实都被摘光了，只有在正确的道路上

不断积累才能有长坡厚雪的实力。

√ 壁垒3:网络架构与互联结构更符合现阶段需求：英伟达NVLink+NV Switch 实现低

延迟+高带宽+高内存。同时实现7倍带宽+3倍内存。

未来软件能力与硬件加速迭代

√ Tensor Core的优势在于混合精度计算、简化指令集架构、数据并行处理，打破了内

存限制，多元化了数据处理格式。

√Transfromer Engine采用混合精度训练，使用低精度数据时需要动态调整设置scaling

factor。Embedding 使高维原始数据映射到低维流形后可分，self-attention 确保查询不

超前于其自身时间的信息，FFN 对多头注意力的输出进行进一步处理，Transfromer

使用Target-Attention 捕获 Encoder 编码的信息，多种技术对确保模型的稳健性和泛化

能力至关重要。

风险提示

√算力场景落地不及预期，政策变动，产品研发不及预期等。

往期回顾

低空经济系列(三):全球适航认证的路线差异和

三个共识

2024.07.22

铍，可控核聚变的“锂矿”

2024.07.21

全新生产工具：通用AI 将引发的变革与产投机遇

思考

2024.06.24

【生物基材料三】代糖是生物合成应用的好赛道

2024.06.11

低空经济系列(二):产业发展的基础、趋势和催

化剂

2024.06.10

国泰君安证券

GUOTAI JUNAN SECURITIES

产业深度

登记编号

李嘉琪(分析师)

010-83939821

lijiaqi026904@gtjas.com

S0880524040001

王浩(分析师)

0755-23976068

wanghao013539@gtjas.com

S0880513090004

产品研究中心

请务必阅读正文之后的免责条款部分

1. 大模型时代来临，廉价的算力永远是稀缺品……………………………3

1.1. 大模型时代来临，加速计算需求突破式增长…………………………3

1.2. 世界需要更多算力，廉价的算力永远是稀缺品……………………… 3

2. 芯片、软件、网络共同构筑算力时代竞争优势…………………………4

2.1. GPU 从图形加速器逐渐成长为通用加速器……………………………4

2.2. 壁垒 1 : GPU /芯片优势明显……………………………………………5

2.3. 壁垒 2 :CUDA 生态建立巨大迁移成本…………………………………7

2.4. 壁垒3:网络架构与互联结构更符合现阶段需求…………………… 8

2.4.1. 网络拓扑设计需考虑并行化方案………………………………… 9

2.4.2. 网络架构中 InfiniBand 性能最好 ……………………………………11

2.4.2.1. InfiniBand ………………………………………………………11

2.4.3. 网络架构中 Spectrum- X与 Tomahawk 5性能相近………………12

2.4.3.1. Spectrum -X …………………………………………………… 12

2.4.3.2. Tomahawk 5…………………………………………………… 12

2.4.4. 博通的以太网方案更具性价比………………………………………13

3. 未来软件能力与硬件加速迭代……………………………………………14

3.1. Tensor Core 的工作原理基于混合精度计算………………………… 14

3.2. Tensor Core 打破内存限制………………………………………………15

3.3. Tensor Core 多元化了数据处理格式…………………………………15

3.4. Transfromer Engine 采用混合精度训练……………………………… 16

3.5. Embedding 使高维原始数据映射到低维流形后可分……………… 17

3.6. self-attention 确保输入 token 嵌入当前语境………………………… 17

3.7. Transfromer FFN 对多头注意力的输出进行进一步处理…………… 19

3.8. Transfromer 多种技术对确保模型的稳健性和泛化能力至关重要… 20

4. 风险提示……………………………………………………………………2

请务必阅读正文之后的免责条款部分 2 of 23

本

产业深度

1. 大模型时代来临，廉价的算力永远是稀缺品

1.1.大模型时代来临，加速计算需求突破式增长

大模型是一个新时代的摩尔定律。我们认为，一方面智能能力的进化，

每1-2年模型水平就会提升一代；另一方面是模型的成本会非常快地

下降，每18个月就会下降10倍以上。Transformer 对算力需求快速

上升，算力缺口持续扩大。GPT 和 Sora等基于 Transformer架构的生

成式模型遵循规模效应(ScalingLaw) 。ScalingLaw 由 OpenAI 于2020

年提出，他们认为基于 Transformer 的自然语言和其他模态的模型，其

模型性能与模型参数量存在幂律关系。而模型参数量也与实施大模型训

练及部署硬件的计算存储能力直接相关。

算力缺口越来越大。OpenAI 公司在2018年对AI 计算的趋势与硬件

发展趋势做了分析，基于 Transformer 的 AI 模型的算力需求增速远大

于传统的 CNN 模型，并远超依据摩尔定律的演进速度，硬件算力的增

长速度与大模型所需的算力水平之间的差距越来越大。

目前算力的基建不够，算法和数据一直在等算力基建。我们认为，目前

还处于 AGI 大基建的早期阶段，而AI 是一个供给驱动型的市场。

图1: Transformer对算力需求快速上升

数据来源：NVIDIA, 摩崖芯公众号

1.2.世界需要更多算力，廉价的算力永远是稀缺品

我们仍然处于 scaling law 的早期，模型的能力会随着模型参数的增加

而提高。OpenAI、微软与Anthropic等头部公司的产品仍在你追我赶的

过程中

未来市场前景广阔。当前每年大厂capex 超千亿美元，全球国防开支约

为24000亿美元。多模态模型，会进一步解锁更多应用场景，期待

GPT-5的发布。多模态模型也可以进一步地替代人工成本较高的职位，

例如医生出诊、律师咨询、销售等，这些职位以后都将有可能被 AI 所

取代，这样 AI 所带来的经济价值也会越来越高。

大基建需投入大量资金，行业军备竞赛。以 GPT-4 的训练举例，现在

训练出一个 GPT-4 最少也要8000张 H100 的有效算力，接近万卡集

群。万卡集群是一个标配，如果自己买卡，每张 H100 的售价接近3万

美金，加上周边设备，仅硬件成本就需要3亿美金。如果租 H100 一

年，需1.5亿美金。

请务必阅读正文之后的免责条款部分 3 of 23

图2:北美四大云厂商Cape x支出增长 ( 百万美元 )

本

产业深度

研报加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载研报到电脑，查找使用更方便

免费 18人已下载

立即下载

标签： #国泰君安 #算力

摘要：

2024.08.1901期算力时代，关注芯片、软件、网络——算力产业研究系列(一)摘要：以英伟达为例，理解算力时代三大技术优势大模型时代来临，廉价的算力永远是稀缺品√大模型时代来临，加速计算需求突破式增长。大模型是一个新时代的摩尔定律。算力缺口越来越大，目前算力的基建不够。√世界需要更多算力，廉价的算力永远是稀缺品。我们仍然处于scalinglaw的早期，模型的能力会随着模型参数的增加而提高。0penAI、微软与Anthropic等头部公司的产品仍在你追我赶的过程中。未来市场前景广阔。芯片、软件、网络共同构筑算力时代竞争优势芯片、软件、网络共同构筑算力时代竞争优势√以英伟达为例理解算力时代NP...

展开>> 收起<<

国泰君安-产业深度01期：算力产业研究系列（一），算力时代，关注芯片、软件、网络-240819.pdf

共23页,预览7页

还剩页未读，继续阅读