2024年，AI落地的真实情况是什么？
投资过Anthropic、Uber、Roku、Siri等公司的美国老牌VC「Menlo Ventures」的调查显示：
2024年，企业的AI支出达到了138亿美金，是去年23亿美金的6倍。而且，AI Coding相关产品的采用率达到了51%。
这份报告的数据，来自Menlo Ventures近期对600名企业IT决策者进行的调查。这些样本企业的规模不算小，每家最少拥有50名员工。
Menlo，是成立于1976年的风险投资与私募股权公司，总部位于旧金山，创造了超过100亿美元的回报。
值得关注的数据
2024年企业在 AI 的支出达到了 138 亿美金，是去年 23 亿美金的 6 倍。 72% 的决策者预计在不久的将来，生成式人工智能工具将会被更广泛地使用。 超过三分之一的受访者对如何在组织内实施生成式AI并没有没有清晰的愿景。 企业买家在 2024 年向生成式 AI 应用投入了 46 亿美元，几乎比去年报告的 6 亿美元增长了 8 倍。 闭源解决方案占据了绝大多数市场份额，达到 81%，而开源替代方案（以 Meta 的 Llama 3 为首）则稳定在 19%，与 2023 年相比仅下降了一个百分点。 OpenAI 企业市场份额从 50% 降至 34%。Anthropic 的企业市场份额从 12% 倍增到 24%。 企业对生成式 AI 的投资有 60% 来自创新预算，这反映出生成式 AI 的应用尚处于早期阶段。但仍有40% 的生成式 AI 支出来自更长期的预算（其中 58% 是从现有拨款中重新分配的），企业对 AI 转型的承诺日益坚定。
AI 最有价值的4个应用场景排名
Top 1： Code Copilots，采用率 51% ，它使开发人员成为 AI 最早的高级用户。 GitHub Copilot 迅速攀升至 3 亿美元的营业收入说明了Code Copilots的迅速发展， Codeium 和 Cursor 等新兴工具同样也在快速增长。 除了通用的编码助手之外，企业还会购买特定任务的 Copilot，比如Harness，这类用于管道生成和测试自动化的 AI DevOps Engineer 和 QA Assistant工具，以及 All Hands，这类能够执行更多端到端软件开发的AI 代理。
Top 2: 支持性AI 对话机器人（Support chatbots ），采用率31%。 这些应用程序为企业内部员工和外部客户提供可靠的、全天候的、知识型内容的支持。Aisera、Decagon 和 Sierra 的代理直接与终端客户互动，而 Observe AI 则在通话期间为联络中心的坐席人员提供实时指导。
Top 3: 企业搜索及检索&数据提取和转换（Enterprise search + retrieval and data extraction + transformation)，采用率分别是28% and 27%。这反映出企业有强烈的渴望，希望可以挖掘和利用分散在组织中各类数据孤岛中隐藏的宝贵知识。这里面代表的AI 应用有Glean 和 Sana，它们的解决方案可连接到电子邮件、即时通讯和文档存储，从而实现跨不同系统的统一语义搜索，并提供由 AI 驱动的知识管理。
Top 4: 会议总结（Meeting summarization ），采用率25%。 通过AI驱动的软件自动记录笔记和总结摘要，可以节省时间并提高工作效率。比如，Fireflies.ai 、Otter.a i和 Sana 等工具可以捕获和总结在线会议； Fathom 可以从视频中提取要点；Eleos Health 则主要应用于于医疗保健，它可以自动完成数小时的文档记录并与 EHR 直接集成，让医疗保健提供者可以更专注于患者护理。
三个预测
Agents 代理将推动下一波人工智能转型。 未来，人工智能需要解决复杂、多步骤的任务，这些任务超出了当前专注于内容生成和知识检索的系统的能力。Clay 和 Forge 等平台已经让人们看到高级代理将如何颠覆价值 4000 亿美元的软件市场，并蚕食价值 10 万亿美元的美国服务经济。这种转变将需要新的基础设施：代理身份验证、工具集成平台、人工智能浏览器框架以及人工智能生成代码的专用运行环境。 更多现有老牌企业将倒下。 ChatGPT 今年对 Chegg 和 Stack Overflow 的颠覆给老玩家们敲响了警钟：Chegg 85% 的市值消失了，而 Stack Overflow 的网络流量则减少了一半。其他类别的AI产品颠覆老玩家的时机也已成熟，比如 Cognizant 这样的 IT 外包公司和 UiPath 这样的传统自动化企业应该做好准备，迎接原生人工智能挑战者进入他们的市场。随着时间的推移，甚至像 Salesforce 和 Autodesk 这样的软件巨头也将面临原生人工智能的挑战。 人工智能人才荒愈演愈烈，暂时看不到缓解的迹象。 现在我们正处于大规模人才荒的边缘，随着人工智能系统的激增，产品日益复杂，科技行业将面临严重的人才匮乏问题。短缺的不仅仅是数据科学家，还有能够将先进的人工智能与特定领域专业知识相结合的专家。人才储备已经少得可怜，竞争将急剧加剧，已经高薪聘请的人工智能企业架构师的薪酬将提高 2-3 倍，也将成为一种常态。尽管企业对培训计划和人工智能卓越中心进行了投资，但人才缺口将超过这些努力带来的人才供给，从而加剧对推动下一波人工智能创新所需的有限人才的激烈竞争。
企业采用现状
代理和自动化：人工智能掌控一切 。 当前的情况表明，人们更倾向于使用AI增强人工工作流程，而不是完全自动化，但也正在向更自主的解决方案过渡。能够独立管理复杂端到端流程的人工智能Agents的早期案例正在各个行业涌现。比如金融后台工作流程中的 Forge 和Sema4 等以及 Clay 。
自行开发还是购买？具体问题具体分析 。 在决定自建还是购买时，企业发现两者的比例几乎持平的，有47% 的解决方案是内部开发的，另 53% 的解决方案来自供应商。这与 2023 年相比发生了明显变化，当时Menlo的报告称 80% 的企业依赖第三方生成式 AI 软件，这表明许多企业越来越有信心和能力建立自己的内部 AI 工具，而不是主要依赖外部供应商。 企业在采用生成式人工智能时优先考虑价值而非短期利益。 在选择生成式 AI 应用程序时，企业有明确表示投资回报率和行业特定定制，在选择新工具时最为重要。价格并不是主要问题；只有 1% 的人提到价格是选择时需要考虑的问题。买家正在打持久战：与提供最低价格（1%）的工具相比，他们更关注能够提供可衡量价值（30%）和能为其工作进行个性化 （26%）的工具。 而在失败案例的分析中，26% 的失败案例提到实施成本，21%提及了数据隐私障碍，18%则提到了令人失望的投资回报率 (ROI)（18%）。技术上，幻觉（15%）是失败的主要原因。在规划和选择阶段主动解决这些潜在陷阱可以增加成功实施的可能性。
现有企业更容易受到初创企业的干扰。 去年，现有企业通过“附加”战略主导了企业市场，即将生成式 AI 功能附加到现有产品上。当时，Menlo曾预测初创公司将日益占据优势，今年的数据证实了这一想法：虽然 64% 的客户仍然喜欢从现有供应商处购买产品，理由是信任和开箱即用的功能，但现有企业的主导地位开始出现变化。18% 的决策者对现有产品表示失望；而 40% 的人质疑他们目前的解决方案是否真正满足他们的需求，这表明创新型初创公司有机会介入并占据一席之地。
AI转型在各个部门进行。 今年，生成式人工智能的预算流向了每个部门。技术部门占仍据了最大的支出份额，其中 IT（22%）、产品 + 工程（19%）和数据科学（8%）合计占企业生成式 AI 投资的近一半。剩余预算分布在面向客户的职能部门，例如支持（9%）、销售（8%）和营销（7%）、包括人力资源和财务在内的后台团队（各占 7%）以及设计（6%）和法律（3%）等较小的部门。
垂直人工智能应用正兴起。 第一批生成式 AI 应用是用于文本和图像生成的横向解决方案，但到 2024 年，越来越多的应用开始将 LLM 的新功能应用于高度特定领域的垂直化工作流程。医疗保健（5 亿美元的企业支出）、法律（企业在 AI 上的支出达 3.5 亿美元））、金融服务（企业在 AI 上的支出达 1 亿美元））、媒体和娱乐（企业在人工智能方面的支出达 1 亿美元）行业中都有优秀企业进入，发展也较为迅速。
基础设施和人工智能堆栈在 2024 年趋于稳定。 企业围绕构成大多数生产 AI 系统运行时架构的核心构建块进行凝聚。础模型仍占主导地位。LLM 层吸引了 65 亿美元的企业投资。然而，通过反复试验，企业越来越认识到数据支架和集成在构建复杂的复合 AI 架构方面的重要性，这些架构可以在生产中可靠地运行，而不仅仅是一次性的演示。
趋势
LLM 趋势：多模型战略占上风，OpenAI 让位于 Anthropic 企业不再依赖单一的供应商，而是采用了务实的多模型方法。研究表明，企业通常会在其人工智能堆栈中部署三种或三种以上的基础模型，并根据用例或结果选择不同的模型。 这种策略延伸到了开放源代码与封闭源代码的争论中，尽管行业讨论激烈，但人们对开放源代码与封闭源代码的偏好一直保持稳定。闭源解决方案占据了绝大多数市场份额，达到 81%，而开源方案（以 Meta 的 Llama 3 为首）则稳定在 19%，与 2023 年相比仅下降了一个百分点。 在闭源模型中，OpenAI 的先发优势有所削弱，企业市场份额从 50% 降至 34%。Anthropic 是主要受益者，它的企业市场份额从 12% 倍增到 24%，因为一些企业在 Claude 3.5 Sonnet 成为最先进模型后，从 GPT-4 转向了 Claude 3.5 Sonnet。 在转向新的 LLM 时，企业最常见的动机是安全考虑（46%）、价格（44%）、性能（42%）和扩展功能（41%）。
设计模式趋势：RAG 增势迅猛，微调采用率下降，Agent异军突起 RAG（检索增强生成）目前占主导地位，采用率为 51%，比去年的 31% 大幅上升。而经常被吹捧的微调，仍然少得令人吃惊，只有 9% 的生产模型进行了微调。代理架构首次亮相，已经为 12% 的应用提供了动力。
向量数据库、ETL 和数据管道：人工智能优先的解决方案仍在不断壮大 要为 RAG 提供动力，企业必须高效地存储和访问相关的查询知识。尽管 Postgres（15%）和 MongoDB（14%）等传统数据库仍很常见，但人工智能优先的解决方案仍在不断壮大。比如Pinecone ，这款人工智能原生向量数据库，已经占据了 18% 的市场份额。 传统的 ETL平台（如Azure Document Intelligence）仍然占据了28%的部署份额，但 Unstructured 等旨在处理 PDF 和 HTML 等文档中的非结构化数据的细微差别的专业工具，正在开辟自己的空间，占据了16%的市场份额。