亚马逊云科技首席执行官Matt Garman在re:Invent年度大会上向拉斯维加斯的60000名与会者和另外400000名在线观看者发表了长达三小时的主题演讲，让他们从这位新领导人那里听到了很多消息。Garman是在2006年加入AWS的，今年早些时候开始担任首席执行官。
这次大会专门面向构建者和开发者，有1900场现场会议，3500名演讲者，很多会议环节是由客户、合作伙伴和AWS专家主持的。Garman在他的主题演讲中宣布了一系列旨在让开发者工作更轻松、更高效的进展。
亚马逊云科技首席执行官Matt Garman
以下是他分享的九项关键创新：
AWS将在AI领域发挥重要作用
Garman在演讲开始时宣布，AWS最新的Trainium2芯片和EC2 Trn-2实例将全面上市。他将这些实例描述为生成式AI最强大的实例，而这要归功于AWS内部开发的定制处理器。
他说，Trainium2的性价比比目前由GPU驱动的实例高出30%到40%。Garman 说：“这些是专为尖端的AI训练和推理等苛刻工作负载设计的。”Trainium2为客户提供了“更多选择，让他们可以考虑那些最适合他们正在处理的工作负载的实例。”
Garman表示，Beta测试显示出“令人印象深刻的早期结果”。他说，进行测试的组织（包括Adobe、Databricks和高通）都预计这些新芯片和实例将提供更好的结果和更低的总拥有成本。他说，一些客户预计这比替代方案要节省30%到40%的成本。“高通将使用这些新的芯片提供可以在云端训练然后在边缘部署的AI系统，”他说。
宣布这一消息的时候，很多媒体将Trainium2视为Amazon想要与Nvidia开战。当在分析师问答环节被问及这个问题的时候，Garman强调说事实并非如此。AWS开发自有芯片的目标是让整个AI芯片市场变得更大，让每个人都能从中获益。这就是Amazon涉足处理器行业的一种方式，没有理由认为它会改变合作伙伴方式，越来越多的Nvidia工作负载运行在AWS云中，这一点不会改变。
新服务器可容纳庞大的模型
如今的模型已经变得非常庞大而且非常快，具有数千亿到数万亿个参数，因此无法放在单个服务器上。为了解决这个问题，AWS宣布推出了EC2 Trainium2 UltraServers。它们连接了4个Trainium2实例（64个Trainium2芯片），所有实例都通过高速的、低延迟的Neuronlink相互连接。
这为客户提供了一个超级节点，这个超级节点的计算能力超过83 petaflops。Garman表示，这将“对延迟和性能产生巨大的影响”，使非常大的模型能够加载到单个节点中，从而提供更好的延迟和性能，而无需将其分散到多个节点上。Garman表示，Trainium3芯片将于2025年上市，它将满足新一代AI不断变化的需求，给客户提供推理所需的环境。
利用Nvidia的Blackwell架构
Garman表示，AWS是客户使用Nvidia Blackwell架构最简单、也是最具成本效益的一种方式。AWS公布了基于Blackwell的全新P6系列实例，这些新实例将于2025年初推出，采用Nvidia最新的GPU，计算速度将比当前一代GPU快2.5倍。
AWS与Nvidia在运行生成式AI工作负载方面的合作取得了重大进展。Bedrock为客户提供了模型选择：它不是一个统治了所有模型的模型，而是各种模型的单一来源，包括AWS新发布的Nova模型。应用和生成式AI应用之间不会有区别，生成式AI将成为每个应用的一部分，利用推理来增强、构建或更改应用。
Garman说，Bedrock之所以能引起客户的共鸣，是因为它提供了把生成式AI集成到生产应用中所需的一切，而不仅仅是概念验证。他说，客户开始看到它带来的真正影响。领先的生物技术和制药公司Genentech希望通过使用科学数据和AI快速识别和定位用于试验的新药物和生物标志物，以加速药物发现和开发。寻找所有这些数据，就需要科学家搜索很多的外部来源和内部来源。
Genentech使用Bedrock设计了一个生成式AI系统，让科学家可以询问有关数据的详细问题，系统会从庞大的库中识别适当的数据库和论文，综合洞察和各种数据源。
它总结了获取信息的来源并引用来源，这对于科学家开展工作非常重要。Genentech的科学家过去需要数周时间才能完成一次查找，而现在只需几分钟即可完成。
据Garman称，Genentech预计将把原来需要5年时间的手动工作实现自动化，加快提供新药。他说：“领先的ISV如Salesforce、SAP和Workday，他们正在把Bedrock深入集成到他们的客户体验中，以提供生成式AI应用。”
Bedrock模型提炼简化了复杂的过程
Garman表示，AWS让企业更容易采用大型的、功能强大的前沿模型，发送他们提出问题的提示。“然后，你收集所有数据和由此得出的答案，并利用这些输出和问题来训练一个较小的模型，使其成为某一特定领域的专家。这样，你就会得到一个更小型的、更快的模型，这个模式知道怎样回答一组特定的问题，这对于提供专家模型是非常有效的，但需要机器学习的参与。你必须管理所有的数据工作流和训练数据，必须调整模型参数，考虑模型权重，这非常有挑战性，这时候Bedrock中的模型提炼就会发挥作用了。”
提炼后的模型可以比提炼它们的模型快500%，成本低75%，这是一个巨大的差异，“Bedrock可以做到这一点，”他说。这种成本差异可以将生成式AI的投资回报率从过于昂贵而无法投入生产，转变为非常有价值。你通过应用发送Bedrock示例提示，它就会完成所有的工作。
但获得正确的模型只是第一步。“生成式AI应用真正的价值在于将企业数据与智能模型结合在一起，这样，你就会获得真正与众不同且有趣的结果，这些结果对你的客户至关重要。你的数据和IP确实发挥了重要的作用，”Garman说道。
AWS扩展了Bedrock对各种格式的支持，添加了新的矢量数据库例如OpenSearch和Pinecone。Bedrock使用户能够获得正确的模型，容纳企业数据，并为应用可以做什么以及响应是什么设定一个界限。
让客户能够部署带有护栏的、负责任的AI
Bedrock Guardrails护栏可以轻松定义应用的安全性并实施负责任的AI检查。Garman说：“这些是你的模型指南，你只希望你的生成式AI应用谈论相关主题。例如，假设你有一个保险应用，客户来询问你拥有的各种保险产品，你很高兴让它回答有关政策的问题，但你不希望它回答有关政治的问题或提供医疗建议，对吗？你想要这些护栏说，‘我只希望你回答这个领域的问题。’”
Garman说，这对于开发生产应用来说是一项重要的能力。他解释说：“这就是Bedrock为何如此受欢迎的原因。去年，很多公司都在为生成式AI应用构建POC，而像Guardrails这样的功能并不那么重要。让模型‘做很酷的事情’是可以的。但是，当你将生成式AI深度集成到你的企业应用时，在转向生产应用时你就必须拥有很多这样的功能。”
让开发者更容易开发
Garman说，AWS希望帮助开发者进行创新，让他们摆脱无差别的繁重工作，这样他们就可以专注于创造性的事情，“让你正在构建的东西变得独一无二”，而生成式AI就是这种能力的一个巨大加速器。它让开发者可以专注于这些部分工作，推迟一些无差别的繁重工作。AWS在2023年首次推出Q Developer，它对开发者来说就是一位“AWS专家”，是“软件开发最强大的生成式AI助手”。
Q Developer帮助Datapel Systems“实现了高达70%的效率提升，缩短了部署新功能所需的时间，更快速地完成了任务，最大限度地减少了重复操作”，Garman说。
但这不仅仅是关于效率。Financial Industry Regulatory Authority (FINRA)通过使用Q Developer帮助创建性能更好的、更安全的软件，代码质量和完整性提高了20%。Garman说，Amazon Q“在市场上所有多行编码助手中，拥有最高的认可率”。
然而，编码助手只是大多数开发者所需功能中的一小部分。AWS的研究表明，开发者每天只花一个小时进行编码，其余时间花在其他端到端的开发任务上。
Amazon Q的三个新自主代理
据Garman介绍，用于生成用户测试、文档和代码审查的自主代理现在已经全面上市。第一个自主代理让Amazon Q能够自动生成端到端的用户测试，利用高级代理和整个项目的知识为开发者提供全面的测试覆盖。
第二个自主代理可以自动创建准确的文档。Garman说：“它不只是为新代码这样做，Q代理也可以应用于遗留代码。因此，如果代码库没有完美记录，Q也可以理解代码在做什么。”
第三个新的Q代理可以执行自动代码审查。它将“扫描漏洞，标记可疑的编码模式，甚至识别潜在的开源软件包风险”，确定它认为部署风险的位置，并提出缓解措施以使部署更安全。
“我们认为这些代理可以大大减少花在真正重要、但可能毫无差别的任务上的时间，让开发者把更多时间花在那些增值活动上，”他说。
Garman还宣布了“Q Developer和GitLab之间的深度集成”。Q Developer功能现在已经深度嵌入GitLab平台，“这将有助于支持很多Duo Assistant的主流方面”，团队可以访问Q Developer功能，这些功能在GitLab工作流程中以原生方式提供。Garman表示，随着时间的推移，未来还会添加更多的功能。
大型机现代化
Q Developer的另一项新功能是执行大型机现代化，Garman称这是“迄今为止最难迁移到云中的功能”。Q Transformation for Mainframe提供了多个代理，可以帮助组织简化这种复杂且往往令人不知所措的工作流程。“它可以进行代码分析、规划和重构应用。大多数大型机代码都没有很好的文档记录。人们有数百万行的COBOL代码，但不知道这些代码是干什么用的。Q可以获取遗留代码并构建实时文档，让你了解它的作用，它可以帮助你了解要现代化哪些应用。”
Garman表示，目前还不可能将大型机迁移变成“一键式的过程”，但使用Q可以将其变成“持续几个季度的过程”，而不是需要好几年的时间。
集成分析
Garman介绍了下一代Amazon SageMaker，称其是“满足你所有数据、分析和AI需求的中心”。他说，AWS将通过添加“最全面的数据、分析和AI工具集”来扩展SageMaker。SageMaker扩展了分析功能，现在提供“快速分析、数据处理、搜索数据准备、AI模型开发和生成式AI所需的一切”，以实现企业数据的单一视图。
他还介绍了SageMaker Unified Studio，“一个单一的数据和AI开发环境，允许你访问组织中所有数据并使用最适合这种工作的工具对其进行操作”。Garman表示，目前处于预览阶段的SageMaker Unified Studio“整合了分析师和数据科学家目前在AWS中各种独立工作室使用的功能”，它提供了独立的查询编辑器和各种可视化工具，例如EMR、Glue、Redshift、Bedrock和所有现有的SageMaker Studio功能。
即使有了所有这些新产品和升级产品、解决方案和功能，Garman仍承诺会推出更多产品。