AI大模型技术层行业分析（三）万字解析

从AI大模型架构映射到产业链，本文是技术层的详细分析，从宏观角度，实现较为全面的分析拆解，但未对行业头部公司和产品做产品分析和竞品分析，后续将单开文章做产品分析。

一、现状分析

1.1 组成部分与市场参与者

在当今快速发展的人工智能领域，AI大模型技术层的市场参与者构成了一个多元化且相互依存的生态系统。这包括了提供底层通用大模型的算法基础供应商，他们开发开源和闭源模型，为AI技术的发展奠定基础。同时，专注于算法和模型研究的机构不断推动技术边界，为行业带来创新。创作者生态中的框架供应商、AI开发平台供应商和开源社区则为开发者提供了强大的工具和资源，促进了AI技术的广泛应用和快速迭代。

综上，市场参与者包括算法基础方向，即底层通用大模型、相关算法/模型研究机构，以及创作者生态，即框架供应商、AI开发平台供应商、开源社区。

1.1.1 组成部分与市场参与者：

1）底层通用大模型：开源模型+闭源模型

AIGC底层通用大模型可分为开源和闭源，闭源模型一般通付费的API或者有限的试用接口来访问。闭源模型的优势在于前期投入成本低、运行稳定。国外闭源模型包括OPENAI的GPT模型、谷歌的PALM-E模型等。国内闭源模型厂商起步较晚。

开源模型采用公开模型的源码与数据集，任何人都可以查看或者修改源代码。开源模型基于私有化部署拥有较高的数据隐私安全保障，并且迭代更新速度快。目前国内互联网大厂致力于开发跨模态大模型，如腾讯的混元AI和百度的文心大模型，都可进行跨模态生成，但整体尚未普遍形成开源生态，国外的开源模型开源大模型厂商中，Meta AI（Llama）、欧洲Mistral AI（Mistral）、 Google（Gemma）等厂商的大模型性能保持前列。

2）相关算法/模型研究机构

定义

相关算法 / 模型研究机构主要是从事人工智能、机器学习、自然语言处理等相关算法和模型架构研究的组织。它们由学术界和产业界的专家组成，通过开展基础研究和应用研究，探索新的技术和方法，为 AIGC 领域的发展提供理论支持和创新思路。

头部知名领先厂商介绍

• 斯坦福大学人工智能实验室：在人工智能基础研究方面处于世界领先地位。在算法创新、模型架构探索等领域成果丰硕，其研究成果经常被应用于自然语言处理、计算机视觉等 AIGC 相关领域，对全球 AIGC 技术的发展方向有重要的引领作用。
• 麻省理工学院计算机科学与人工智能实验室：汇聚了顶尖的科研人才，在机器学习算法优化、复杂模型架构开发等方面有突出贡献。与众多科技企业有紧密合作，推动了学术成果的商业化应用，为 AIGC 技术的工程化提供了关键支持。
• 清华大学人工智能研究院：国内顶尖的人工智能研究机构，在自然语言理解、计算机视觉等多个 AIGC 细分领域开展深入研究。与国内企业合作紧密，促进了产学研结合，在推动中国 AIGC 技术的自主研发和应用方面发挥了重要作用。

3）框架供应商

定义

机器学习框架是为 AI 开发提供工具和库的软件，它们帮助开发人员更方便地构建、训练和部署机器学习模型。简化了原始算法的核心细节，并提供了一种端到端的机器学习开发流程，还包括数据分析、模型评估、性能优化以及对复杂硬件的运行支持。

头部知名领先厂商介绍

• PyTorch（Meta 开发）：在全球拥有较高的使用率，约 34%。其以动态计算图等特点受到开发者欢迎，在学术研究和工业界都有广泛应用，尤其是在自然语言处理和计算机视觉领域，许多先进的模型都是基于 PyTorch 开发的。
• Tensorflow（谷歌开发）：使用率约 30%，是一个成熟的机器学习框架。具有高度的灵活性和可扩展性，支持多种硬件平台，被广泛应用于大规模数据处理和复杂模型训练，在分布式训练等场景表现出色。
• 百度飞桨：国内使用率为 12%，是百度推出的深度学习平台。为开发者提供了丰富的工具和模型库，在自然语言处理和图像识别等领域有良好的性能表现，同时积极推动本地化服务，促进国内 AIGC 产业的发展。
• 华为昇思：使用率 12%，是华为自主研发的深度学习框架。在模型并行和分布式训练等方面有技术优势，与华为的硬件生态紧密结合，为企业级用户提供了高效、安全的开发解决方案，尤其在工业物联网等领域有广阔的应用前景。

4）AI开发平台供应商

定义

AI 开发平台为各行各业提供一站式的 AI 全流程开发服务，通过集成数据标注、模型匹配搭建、模型训练评估、在线模型等多个技术能力点，为开发者提供便捷、灵活、稳定和高效的开发环境，并降低 AI 应用开发的门槛。

头部知名领先厂商介绍

• 国内大型科技企业开发平台：像百度、阿里等国内大型科技企业推出的 AI 开发平台，凭借其强大的技术实力和数据资源，为企业用户提供全面的服务。这些平台在大数据处理、模型训练效率等方面有优势，并且可以与企业自身的其他业务系统集成，提供端到端的解决方案。
• 专业 AI 开发平台厂商：有一些专注于 AI 开发平台的厂商，它们通过不断优化平台功能，如提供更好的自动化机器学习（AutoML）工具、更友好的用户界面等，吸引了众多开发者。这些厂商在特定领域，如中小企业市场或者特定行业的开发者群体中有较高的知名度。

从开发模式来看，国内大学、科研机构、企业等不同创新主体积极参与大模型研发。我国参数规模在10亿以上的79个大模型中，企业、高校/科研机构、校企联合研发的数量分别为36个、29个、14个，分别占比45.57%、36.71%、17.72%，学术界与产业界之间的联合开发仍有较大发展空间。

5）开源社区

定义

开源社区是一个开放的、由开发者自愿参与的社区，为 AIGC 开发者提供了一个交流和合作的平台。在这里，开发者可以分享代码、经验和见解，也可以获取开源的 AIGC 项目和工具，如开源的大模型、机器学习框架、数据标注工具等。

头部知名领先厂商介绍

• GitHub：是全球最大的开源代码托管平台，几乎涵盖了所有的 AIGC 相关开源项目。众多知名的开源模型和框架都在 GitHub 上发布和维护，吸引了全球开发者参与贡献。通过提供代码管理、协作开发等功能，为 AIGC 开源生态的发展提供了基础设施。
• 国内开源社区（如 Gitee 等）：在国内也有一定的影响力，为国内开发者提供了本地化的开源交流平台。虽然在规模和国际影响力上可能不如 GitHub，但在推动国内 AIGC 开源项目的发展、促进国内开发者之间的交流等方面发挥了重要作用。

1.2 商业模式

1.2.1 算法基础商业模式

• 付费API服务：提供闭源模型API，按使用量收费，如OpenAI的GPT模型。
• 试用与增值服务：提供有限免费试用，后续推出付费高级版本，如图像识别模型。
• 开源服务收费：基于开源软件提供专业服务，如TensorFlow的模型优化服务。
• 企业发行版：基于开源软件提供差异化的企业版，如Red Hat的Linux发行版。
• 云服务：在云上部署开源软件，用户按使用付费，如阿里云的AI服务。
• 生态流量变现：通过开源系统吸引用户，再通过广告等方式变现，如谷歌的安卓系统。

1.2.2 相关算法 / 模型研究机构商业模式

• 项目合作：与企业合作开发特定算法，收取研发费用。
• 技术转让：将算法知识产权转让给企业，获取一次性费用或分成。
• 咨询服务：为企业提供算法和模型方面的咨询服务。

1.2.3 框架供应商商业模式

• 授权收费：将框架授权给企业使用，按授权范围收费，如百度飞桨框架。
• 定制开发：根据客户需求定制框架，收取定制费用。
• 技术支持与维护：提供技术支持和维护服务，收取服务费用。

1.2.4 AI 开发平台供应商商业模式

• 平台订阅：提供平台订阅服务，用户按订阅时长付费。
• 资源付费：用户按使用的计算和存储资源付费，如Azure Machine Learning平台。

1.2.5 开源社区商业模式

• 增值服务：提供高级技术支持、培训等付费服务。
• 广告：通过项目受众向广告商推销，获取广告收入。

1.3. 主流算法

1.3.1 人工智能&机器学习&深度学习&强化学习：包含关系

1）人工智能&机器学习&深度学习&强化学习的特征与关系

 人工智能（Artificial Intelligence，AI）：人工智能是一门研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的综合性学科。它旨在让计算机系统能够像人类一样进行感知、理解、学习、推理和决策等智能行为。

 机器学习（Machine Learning，ML）：机器学习是人工智能的一个重要分支，它是一门让计算机系统通过数据和经验自动学习和改进性能的学科。机器学习方法包括但不限于线性回归、逻辑回归、决策树、支持向量机、贝叶斯模型等，其核心是通过优化算法从数据中挖掘规律，以实现对未知数据的预测和决策。

 深度学习（Deep Learning，DL）：深度学习是机器学习的一个子集，它主要运用深度神经网络（如深度神经网络 DNN、卷积神经网络 CNN、递归神经网络 RNN、长短期记忆网络 LSTM、生成对抗网络 GAN、迁移学习、注意力模型等）作为参数结构进行优化的一类机器学习算法。深度学习在图像处理、自然语言处理、语音识别等领域取得了巨大的成功。深度学习通常需要大量有标签的数据进行训练，以学习数据中的特征和模式，从而实现对新数据的准确预测和分类。

 强化学习（Reinforcement Learning，RL）：强化学习也是机器学习的一个重要分支，它是一种通过智能体与环境不断交互，以获得最大累积奖励为目标的学习方法。与深度学习不同，强化学习通常不需要大量有标签的数据，而是通过智能体在环境中的探索和实践来学习最优策略。强化学习在动态环境中的决策问题上具有独特的优势，例如机器人控制、游戏智能体、自动驾驶等领域。强化学习的过程是智能体根据当前环境状态选择动作，环境反馈奖励信号，智能体根据奖励信号调整策略，不断循环以提高性能。

 深度强化学习（Deep Reinforcement Learning，DRL）：深度强化学习是将深度学习和强化学习相结合的一种机器学习方法。它利用深度神经网络强大的函数逼近能力来处理强化学习中的复杂问题，例如高维状态空间和动作空间的表示和学习。深度强化学习在一些具有挑战性的任务中取得了显著的成果，如复杂游戏的通关、机器人的自主学习和控制等。

2）机器学习的分类

机器学习按照任务目标、训练方法、学习算法维度，可以分为如下几类。

1.3.1.2.1 任务目标维度

1.3.1.2.2 训练方法维度

1.3.1.2.3 学习算法维度

3）深度学习相关算法

4）强化学习相关算法

深度强化学习（Deep Reinforcement Learning）：

将深度学习与强化学习相结合。

通过智能体与环境的交互，学习最优的决策策略。

在大模型中，可以用于游戏、机器人控制等领域。例如在围棋游戏中，通过自我对弈和不断学习，能够达到超人类的水平。

策略梯度算法（Policy Gradient）：

一种常用的深度强化学习算法。

通过优化策略网络，使智能体能够获得更高的累计奖励。

在大模型中，可用于优化复杂系统的控制策略。例如在自动驾驶中，通过学习最优的驾驶策略，提高行驶的安全性和效率。

1.3.2 监督学习VS无监督学习：互斥关系

监督学习特征：监督学习的特点是训练数据需要进行标注，特征识别人工辅助识别。就像学生在学校里上课，老师会明确给出每个问题的正确答案。在监督学习中，训练数据带有标注，相当于老师给出的答案，特征识别人工辅助识别就如同老师引导学生认识不同问题的关键特征。

比如，你想训练一个能分辨苹果和橘子的模型。那你就得先准备好多张苹果和橘子的照片，然后把苹果的照片都放在一个标着 “苹果” 的盒子里，橘子的照片放在标着 “橘子” 的盒子里。这里，“苹果” 和 “橘子” 这两个盒子的名字就相当于数据的标注或者标签，而里面的照片就是训练数据。这个过程就像老师告诉你哪些题的答案是对的，哪些是错的。然后模型就会根据这些标签去仔细观察照片里水果的特征，比如苹果是红红的、圆圆的，橘子是橙色的、有点扁圆形的。慢慢地，模型就学会了怎么分辨苹果和橘子啦。

监督学习训练流程：

 首先，收集大量带有标注的训练数据。这些数据可以来自各种来源，如人工标注的数据集、历史记录等。

 然后，选择合适的监督学习算法，如决策树、支持向量机、神经网络等。

 将标注好的训练数据输入到算法中，算法通过学习数据的特征和对应的标签之间的关系，调整模型的参数，以最小化预测误差。

 在训练过程中，通常会将数据集分为训练集和验证集。训练集用于训练模型，验证集用于评估模型在未见过的数据上的性能，以便调整超参数和防止过拟合。

 经过多次迭代训练，当模型在验证集上的性能达到满意程度时，训练过程结束。

无监督特征：无监督学习的特点是不需要给数据进行标注，特征识别机器自主识别。好比一个人在图书馆自由探索书籍，没有特定的任务或答案。无监督学习不需要数据标注，特征由机器自主识别就像这个人自己在书籍中发现不同的主题和模式。

比如，无监督学习就像你走进一个杂乱的图书馆，里面有各种各样的书，但是没有任何分类标签。有人给你一大堆不同主题的书混在一起，没有告诉你哪些是小说、哪些是传记、哪些是科普书籍等。这时候，模型就得像你在图书馆整理书籍一样自己想办法去分类。模型可能会发现有些书文字很生动、有很多虚构的情节，于是把它们归为一类，虽然一开始不知道这具体是啥类。接着，模型又可能发现有些书有很多专业术语和图表，就把它们分成另一类。但模型还是不知道这些类别具体叫啥名字。没有明确的目标，全靠自己去发现规律和特点进行分类。

无监督学习训练流程：

 收集大量无标注的原始数据。这些数据可以是各种类型的，如文本、图像、音频等。

 选择合适的无监督学习算法，如 K-Means 聚类、主成分分析（PCA）、自编码器等。

 将无标注的数据输入到算法中，算法根据数据的内在特征进行学习。例如，K-Means 聚类算法会自动将数据分成不同的簇，使得同一个簇内的数据具有较高的相似性，不同簇之间的数据具有较大的差异。

 在训练过程中，通常不需要划分训练集和验证集，而是通过评估算法在数据上的内部一致性或其他指标来判断模型的性能。

 经过多次迭代，当算法达到稳定状态或满足一定的停止条件时，训练过程结束。

1.4. AI大模型的相关算法

在此不是想单列出ai大模型涉及哪些算法，而是想从ai大模型的开发流程和应用，识别在开发流程和应用中，ai大模型分别涉及什么算法，且明确哪些算法在开发流程和应用中是主流。

1.4.1 开发流程

1. 数据收集与预处理：数据清洗算法（去除噪声、异常值等）、数据采样算法（平衡数据集）。

2. 模型选择与构建：Transformer 架构相关算法（自注意力机制、多头注意力机制等）、卷积神经网络（CNN）用于计算机视觉任务、循环神经网络（RNN）及其变体（LSTM、GRU）用于序列数据处理。

3. 模型训练与测试：

• 预训练阶段：无监督学习算法如掩码语言模型（BERT、RoBERTa 等）
• 微调阶段：监督学习算法，包括最小二乘法、随机梯度下降法等优化算法在预训练模型基础上针对特定任务进行微调，还可能涉及到迁移学习相关算法，如特征提取后进行特定任务层的训练。
• 奖励建模阶段：基于规则的奖励分配、基于价值函数的奖励估计（如深度 Q 网络等强化学习算法可用于估计价值函数从而辅助奖励建模）、基于机器学习的奖励模型（如使用神经网络构建奖励预测模型）。
• 强化学习微调阶段：策略梯度算法（如 REINFORCE 算法）、近端策略优化算法（PPO）、深度确定性策略梯度算法（DDPG）、软 actor-critic（SAC）算法等。

4. 上线与部署：模型压缩算法（剪枝、量化等）、模型优化算法（针对特定硬件平台进行优化）。

1.4.2 应用

1. 计算机视觉：CNN、生成对抗网络（GAN）用于图像生成、目标检测算法等。

2. 语音识别：RNN 及其变体（LSTM、GRU）、卷积神经网络与循环神经网络结合的架构。

3. 语音合成：算法：WaveNet、Tacotron 等。主流算法：Tacotron 及其改进版本在语音合成中较为常用。

4. 认证能力:知识图谱构建算法（如基于规则的抽取、基于机器学习的抽取等）、自然语言推理算法（如 Transformer 架构在文本推理中的应用等）等。

5. 创造能力：生成对抗网络（GAN）、变分自编码器（VAE）等生成模型。

二、趋势分析（技术趋势、商业趋势）

2.1 技术趋势

2.1.1 算法方面

1. 注意力机制：

o 自注意力机制成功应用于 Transformer 架构，未来会有更复杂高效的变体，探索多模态跨模态注意力以融合不同信息。多头注意力机制将继续发展，出现更多组合方式和更精细子空间划分，增强模型表达能力和适应性。

2. 预训练与微调：

o 预训练方法不断改进，利用大规模未标注数据，出现新自监督学习任务和预训练目标。微调更智能化高效化，自动选择策略和优化超参数，提高特定任务性能和泛化能力。

3. 网络结构：

o 残差连接在深层网络中持续发挥作用，可能出现新连接方式和架构设计，解决深层网络训练问题，提高学习效率。归一化技术不断发展，出现新方法适应不同数据和任务，稳定训练过程，改善模型性能。

4. 位置编码：

o 对语言模型理解序列位置信息至关重要，未来会有更灵活有效的方式，适应不同长度和类型序列数据，并可能与其他技术结合，提高模型对位置信息的利用能力。

5. 优化算法：

o 自适应学习率算法如 Adam、RMSprop 等继续优化，适应不同模型和任务，可能出现新优化算法，提高收敛速度和训练效率。还可能与其他技术结合，提高模型性能和稳定性。

6. 正则化技术：

o Dropout 和权重衰减等正则化技术继续防止过拟合，可能出现新方法适应大规模模型训练，与其他技术结合提高模型泛化能力和效率。

7. 无监督学习：

o 降噪自编码器和生成对抗网络等无监督学习技术在大模型训练中更广泛应用，利用未标注数据学习有用特征和表示，与监督学习结合形成半监督学习方法，提高有限标注数据下性能。

8. 动态掩码：

o 语言模型训练中提高上下文信息学习能力，未来会有更智能高效的动态掩码策略，适应不同任务和数据。

2.1.2 开发框架方面

1. 易用集成：

o 注重提供高度集成工具和接口，如预训练模型库、自动化微调工具、可视化调试界面等，简化配置和调参过程，通过自动化工具和智能推荐系统提高开发效率。

2. 分布式支持：

o 支持分布式训练，提供高效并行计算能力和通信机制，包括分布式数据加载、模型并行和数据并行等技术，满足大模型训练需求。在部署方面支持不同平台和环境，提供优化方案和工具。

3. 多语言跨平台：

o 支持更多编程语言，在不同操作系统和硬件平台上运行，提供跨平台兼容性和可移植性，方便开发者在不同环境中开发和部署，提高开发效率和模型可用性。

4. 可解释性工具：

o 随着大模型在关键领域应用增加，提供更多工具和技术帮助理解模型决策过程和内部工作机制，如可视化工具展示注意力分布和中间层特征表示，提高模型可信度和可靠性。

2.2 商业化趋势

2.2.1 算法基础商业化模式

趋势说明：

• 专业化和细分化：随着各行业对人工智能应用的需求不断深入，创业者专注于特定领域开发应用软件，能更好地满足行业特定需求，提高市场竞争力。
• 多技术融合：结合多种技术可以为用户提供更全面、高效的解决方案，拓展应用场景和提升用户体验。
• 持续创新：人工智能技术发展迅速，不断推出新功能和服务能保持产品的竞争力，吸引用户并满足不断变化的市场需求。

案例：

• 以医疗领域的人工智能创业公司为例，据统计，专注于医学影像诊断的人工智能软件市场规模在过去几年中以每年超过 30% 的速度增长。这些软件通过深度学习算法对医学影像进行分析，为医生提供辅助诊断，提高诊断准确性和效率。
• 某智能家居应用软件结合了人工智能、物联网和语音识别技术，用户可以通过语音指令控制家中的各种设备，如灯光、电器等。该软件推出后，受到了消费者的广泛欢迎，市场占有率不断提高。

2.2.2 相关算法 / 模型研究机构商业化模式

趋势说明：

• 深度定制服务：企业通常有独特的业务需求和数据特点，研究机构提供定制化的算法和模型解决方案，能更好地满足企业需求，提高应用效果。
• 技术引领：持续进行前沿技术研究可以为企业提供最新的技术支持，帮助企业在竞争中占据优势。
• 跨领域合作：不同领域的知识和技术融合可以创造新的应用场景和商业机会。

案例：

• 一家知名的算法研究机构为某大型金融企业定制了一套风险评估模型，根据企业的历史数据和业务特点进行优化，帮助企业降低了风险评估的误差率，提高了决策的准确性。该项目为研究机构带来了可观的收入。
• 某人工智能研究机构与汽车制造企业合作，将人工智能算法应用于自动驾驶技术的研发。通过跨领域合作，双方共同攻克了多项技术难题，推动了自动驾驶技术的发展。

2.2.3 框架供应商商业化模式

趋势说明：

• 生态协同发展：吸引更多的开发者、供应商和合作伙伴加入生态系统，可以丰富框架的功能和应用场景，提高框架的竞争力。
• 智能化升级：不断提升框架的智能化水平，提供更高效、便捷的开发工具和服务，可以吸引更多的开发者使用框架，促进框架的发展。
• 行业拓展：将框架应用拓展到更多的行业领域，可以扩大市场份额，提高框架的影响力。

案例：

• 某人工智能框架供应商建立了开放的生态系统，吸引了数千名开发者和数十家合作伙伴参与。通过生态系统的协同发展，该框架的功能不断丰富，应用场景不断拓展，市场占有率不断提高。
• 一家框架供应商推出了智能化的开发工具，能够自动优化算法模型的性能，提高开发效率。该工具受到了开发者的广泛欢迎，推动了框架的应用和发展。

2.2.4 AI 开发平台供应商商业化模式

趋势说明：

• 增值服务多元化：提供丰富多样的增值服务可以满足不同用户的需求，增加收入来源，提高用户粘性。
• 数据驱动决策：利用平台数据为用户提供数据分析和洞察服务，可以帮助用户更好地了解市场和用户需求，做出更明智的决策。
• 合作共赢：与第三方开发者和供应商深度合作，可以共同打造优质的人工智能生态，提高平台的竞争力。

案例：

• 某 AI 开发平台供应商提供了高级算法库、定制化开发服务和数据分析服务等多种增值服务。这些服务为平台带来了额外的收入，同时提高了用户的满意度和粘性。
• 一家 AI 开发平台与数据标注公司合作，为用户提供高质量的数据标注服务。通过合作，双方共同拓展了市场，实现了共赢。

2.2.5 开源社区商业化模式

趋势说明：

• 社区驱动创新：依靠社区力量推动技术创新和软件发展，可以提高软件的质量和竞争力，吸引更多的用户和开发者参与。
• 企业服务优化：不断完善企业级服务，满足企业用户的专业需求，可以提高用户满意度，增加商业收入。
• 合作生态拓展：与各类合作伙伴共同推广开源软件，可以扩大软件的影响力和用户群体，促进软件的发展。

案例：

• 某开源人工智能软件社区通过社区成员的贡献，不断推出新的功能和改进。该软件在全球范围内拥有数百万用户和开发者，成为了人工智能领域的重要开源项目。
• 一家开源社区为企业用户提供专业的技术支持和培训服务。这些服务受到了企业用户的欢迎，为社区带来了稳定的商业收入。同时，社区与硬件厂商、软件开发商等合作伙伴共同推广开源软件，扩大了软件的影响力和用户群体。