中信建投-人工智能行业：Databricks公司开源1320亿参数DBRX模型，目前性能最领先的MoE架构大模型-240401-17页

VIP专享

3.0 西装暴徒 2024-06-30 109 16 2.49MB 17 页免费

侵权投诉

本报告由中信建投证券股份有限公司在中华人民共和国（仅为本报告目的，不包括香港、澳门、台湾）提供。在遵守适用的法律法规情况下，

本报告亦可能由中信建投（国际）证券有限公司在香港提供。同时请务必阅读正文之后的免责条款和声明。

。

证券研究报告·行业动态

Databricks 公司开源 1320 亿参数 DBRX 模

型，目前性能最领先的 MoE 架构大模型

核心观点

1. 大数据 AI 公司 Databricks 于3月27 日开源了一款拥有

1320 亿参数、使用 MoE（专家混合模型）架构的 Decoder-

Only 大模型 DBRX。

2. DBRX 模型正式开源后，Databricks 官网发布了 DBRX 模型

与其他大模型的功能对比与评价。综合来看，DBRX 模型的

多项性能优于马斯克开源的 Grok-1，DBRX 是目前在所有

开源大模型中性能处于领先位置。

3. Databricks 官网同时也发布了 DBRX 模型与其他大模型的训

练和推理效率的评价对比，在使用新的 MoE 架构与更好的

预训练数据后，DBRX 在模型质量与效率之间达到了一个更

好的平衡。

产业要闻

【微软亚研院新作：让大模型一口气调用数百万个 API】

【英伟达 AI 芯片 H200 开始供货，性能相比 H100 提升

60%-90%】

【小米汽车 SU7 / Pro / Max 正式发布并上市】

【苹果 Vision Pro 头显新专利获批：Light Seal 内嵌触控传

感器，带来更丰富交互方式】

持续关注：

GPU：英伟达、超威半导体、海光信息等；

FPGA：安路科技-U 等；

SoC：高通、全志科技等；

自然语言处理：科大讯飞等；

计算机视觉：格灵深瞳-U 等；

自动驾驶：德赛西威、中科创达、均胜电子、光庭信息；

智慧交通：千方科技、万集科技；

AI+工业：中控技术、华大九天、广立微、概伦电子等。

风险提示：北美经济衰退预期逐步增强，宏观环境存在较大的

不确定性，国际环境变化影响供应链及海外拓展；芯片紧缺可

能影响相关公司的正常生产和交付，公司出货不及预期。

维持

强于大市

于芳博

yufangbo@csc.com.cn

010-86451607

SAC 编号:S1440522030001

发布日期： 2024 年04 月01 日

市场表现

相关研究报告

-6%

14%

24%

34%

44%

2022/11/11

2022/12/11

2023/1/11

2023/2/11

2023/3/11

2023/4/11

2023/5/11

2023/6/11

2023/7/11

2023/8/11

2023/9/11

2023/10/11

计算机上证指数

人工智能

行业动态报告

请务必阅读正文之后的免责条款和声明。

一、行业变化 ...............................................................................................................................................1

1.1 大数据人工智能公司 Databricks 开源通用大模型 DBRX ......................................................................1

1.2 Databricks 发布的 DBRX 模型与其他公司大模型的功能性对比 ...............................................................1

1.3 Databricks 发布的 DBRX 模型的训练与推理效率 .....................................................................................5

二、持续关注标的 ........................................................................................................................................6

三、行情回顾 ...............................................................................................................................................7

四、产业要闻 ............................................................................................................................................. 10

五、重要公告 ............................................................................................................................................. 12

六、风险提示 ............................................................................................................................................. 13

图表目录

图表 1： Databricks 官网的开源 DBRX 模型用户注册界面 ......................................................................... 1

图表 2： DBRX 模型与其他开源 AI 大模型在语言理解、编程、数学三个方面的能力对比 ................... 2

图表 3： DBRX 在不同基准下与其他开源大模型的能力对比 .................................................................... 3

图表 4： DBRX 与其他闭源大模型的性能基准对比 .................................................................................... 4

图表 5： DBRX 与其他模型的长上下文基准测试比较 ................................................................................ 4

图表 6： DBRX 在两个 RAG 基准（Natural Questions 和 HotPotQA）上的质量对比 ........................... 5

图表 7： Gemini 1.5 Pro 上下文窗口方面与其他模型对比 ........................................................................ 5

图表 8： DBRX 推理效率对比 ....................................................................................................................... 6

图表 10：人工智能（中证）个股周涨幅前十名（%） ............................................................................. 7

图表 11：人工智能（中证）个股周涨幅后十名（%） ............................................................................. 7

图表 12：重点公司股票涨跌详情（盈利预测均为 Wind 一致预测） ..................................................... 8

人工智能

行业动态报告

请务必阅读正文之后的免责条款和声明。

一、行业变化

1.1 大数据人工智能公司 Databricks 开源通用大模型 DBRX

3月27 日，Databricks 公司宣布开源通用大模型 DBRX（图表 1），在综合所有的大模型评价标准后，

DBRX 无疑是目前表现质量最高的开源大模型之一，Databricks 公司树立了一个新的开源大模型行业标杆。同

时，DBRX 模型还开放了 API 的使用，开源社区与企业们可以自己去运行和调用 DBRX。根据 Databricks 公司

自身公布的测评结果，DBRX 模型超越了 Open AI 的GPT-3.5，可以和 Gemini 1.0 Pro 相竞争。除此之外，

DBRX 还是一个在代码生成领域表现尤其优秀的模型，它在编程方面的能力超过了例如 CodeLLaMA-70B 此类

的一些专注于编程领域的大模型。

图表1： Databricks 官网的开源 DBRX 模型用户注册界面

资料来源：Databricks 官网，中信建投

根据 Databricks 官网，DBRX 是一个基于 transformer 的Decoder-Only 大语言模型。DBRX 共有 1320 亿参

数，其中 360 亿参数在面临输入时时刻保持活跃状态，剩余的 980 亿参数则为专家混合层。DBRX 模型采用了

专家混合模型（MoE）架构，由 12T 文本和代码数据预训练而成。

更细粒度的 MoE:对比其他开源的 MoE 架构大模型，例如 Mixtral 和 Grok-1，DBRX 更加具有细粒度，这

代表它使用了更多的小型专家模型。DBRX 从16 个专家模型中选择 4个，而类似 Mixtral 和 Grok-1 则从 8个

专家模型中选择两个。这额外提供了 65 倍可能的专家模型组合，Databricks 公司表示这种变化提升了模型的质

量。此外，DBRX 还使用了 tiktoken 存储库中提供的 GPT-4 分词器。

1.2 Databricks 发布的 DBRX 模型与其他公司大模型的功能性对比

在本周三 DBRX 模型正式开源后，Databricks 公司官网也可查询到公司发布的 DBRX 模型与其他公司

研报加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载研报到电脑，查找使用更方便

免费 16人已下载

立即下载

标签： #人工智能 #大模型

摘要：

本报告由中信建投证券股份有限公司在中华人民共和国（仅为本报告目的，不包括香港、澳门、台湾）提供。在遵守适用的法律法规情况下，本报告亦可能由中信建投（国际）证券有限公司在香港提供。同时请务必阅读正文之后的免责条款和声明。。证券研究报告·行业动态Databricks公司开源1320亿参数DBRX模型，目前性能最领先的MoE架构大模型核心观点1.大数据AI公司Databricks于3月27日开源了一款拥有1320亿参数、使用MoE（专家混合模型）架构的Decoder-Only大模型DBRX。2.DBRX模型正式开源后，Databricks官网发布了DBRX模型与其他大模型的功能对比与评价。综合来看，...

展开>> 收起<<

中信建投-人工智能行业：Databricks公司开源1320亿参数DBRX模型，目前性能最领先的MoE架构大模型-240401-17页.pdf

共17页,预览6页

还剩页未读，继续阅读