今日凌晨,Mistral AI 发布了最新开源多模态模型 Pixtral Large,该模型基于 Mistral Large 2 构建,展示出强大的图像理解能力,能够理解文档、图表和自然图像,同时还保持了 Mistral Large 2 优秀的纯文本理解能力。
据介绍,该模型具有强大的多模态性能,在 MathVista、DocVQA、VQAv2 上达到了 SORA,能够在不影响文本性能的前提下对 Mistral Large 2 进行扩展并具有 123B 多模态解码器、1B 参数视觉编码器以及 128K 的上下文窗口。
同时,他们的 AI 聊天助手 le Chat 也新增了网页搜索、画布、文件理解和图像生成等功能。
最新基础模型 Pixtral Large
Mistral AI 通过一套通用测试工具,在一组标准多模态基准上将 Pixtral Large 与前沿模型进行比较。他们使用 MathVista 评估模型在视觉数据的复杂数学推理方面的性能,在这项测试中,Pixtral Large 实现了 69.4% 的准确率,优于所有其他模型。为了评估复杂图表和文档的推理能力,他们使用 ChartQA 和 DocVQA 评估性能,结果显示 Pixtral Large 超越了 GPT-4o 和 Gemini-1.5 Pro。
图|在使用 MathVista、ChartQA 和 DocVQA 评估性能时,Pixtral Large 均优于其他模型。
最后,Pixtral Large 在 MM-MT-Bench 上展示了具有竞争性的能力,表现优于 Claude-3.5 Sonnet(新版)、Gemini-1.5 Pro 和 GPT-4o(最新版)。MM-MT-Bench 是一种开源的、基于评判的评估,旨在反映多模态 LLM 的实际用例。
图|Pixtral Large 在 MM-MT-Bench 上展示了竞争性能力。
以下是 Pixtral Large 的一些能力展示:
多语言 OCR 和推理
提示(Prompt):
我买了咖啡和香肠。我需要付多少钱?加上 18% 的小费。
回复:
要计算出你需支付的总金额(包含 18% 的小费),请按以下步骤操作:
1.计算咖啡和香肠的费用:
2 杯拿铁玛奇朵:2 × 4.50 瑞士法郎 = 9.00 瑞士法郎
1 份炸猪排:22.00 瑞士法郎
咖啡和香肠的总费用:9.00 瑞士法郎 + 22.00 瑞士法郎 = 31.00 瑞士法郎
2.计算 18% 的小费:
小费:31.00 瑞士法郎 × 0.18 = 5.58 瑞士法郎
3.将小费加到总费用上:
应付总金额:31.00 瑞士法郎 + 5.58 瑞士法郎 = 36.58 瑞士法郎
所以,你总共需支付 36.58 瑞士法郎。
图表理解
提示:
dark dragon 项目何时开始出现问题?
回复:
“dark-dragon-50” 模型的训练损失在大约 10,000 步时开始呈现出明显的不稳定状态。此时损失值出现了显著的峰值,并且这种不稳定状态持续,在大约 20,000 步时又出现了一个较大的峰值。这些峰值表明“dark-dragon-50” 模型的训练过程从大约 10,000 步时开始遇到问题。
图像理解
提示:
哪些公司使用由 Mistral AI 制作的模型?
回复:
如图所示,使用由 Mistral AI 制作的模型的公司有:
1.法国巴黎银行(BNP Paribas)
2.Brave
3.Cloudflare
4.CMA CGM
5.Front
进一步对标 ChatGPT
Mistral AI 已开始着力于人工智能交互界面的投入,首先他们对 le Chat 进行了一些重大更新。Le Chat 是 Mistral AI 推出的免费生成式人工智能办公助手。
以下是 le Chat(测试版)新能力的简要概述:
带引文的网页搜索
用于构思、在线编辑和导出的 Canvas
SOTA 文档和图像理解技术,由 Pixtral Large 提供支持
由 Black Forest Labs 的 Flux Pro 提供支持的图像生成功能
从模型到输出的全集成式服务
通过推测性编辑实现更快的响应
以下是 le Chat 与当今市场上领先的聊天和搜索助手的比较:
具体而言:
网页搜索
le Chat 的大部分用户来自学生和专业人士,他们将其用于学习、研究和工作。为了更好地促进这些用例,Mistral AI 通过互联网搜索增强了 le Chat 的训练知识。
Canvas 画布
Canvas 是一个新的界面,当用户需要超越对话并进行构思时,它会弹出到用户的 le Chat 窗口中。它使用户能够与 Mistral LLM 合作完成共享输出,从而实现知识工作的 0-1 创作和构思。
Canvas 不再局限于双向对话,借助 LLM 强大的推理能力,可以直接修改、编辑或转换内容。
用户可以使用 Canvas 创建文档、演示文稿、代码、模型……等等。可以就地修改其内容而无需重新生成响应、版本控制草稿并预览设计。Canvas 可以让任何团队发挥无限的创意。
快速准确的文档理解
Le Chat 现在可以处理大型、复杂的 PDF 文档和图像,进行分析和总结。只需将文档附加到聊天栏,即可了解所有内容——图形、表格、图表、文本、公式、方程式……基本上是整个文档。
这些功能是由新的 Pixtral Large 实现的,与实验模型结合使用比之前的视觉模型 Pixtral 12B 强大得多。
图像生成
Mistral AI 与 Black Forest Labs 合作,将后者领先的图像生成模型引入 le Chat。现在,用户可以直接在 le Chat 中生成高质量的图像。
智能体
如果用户会重复使用某些提示内容,或者已经确定了某些希望能实现自动化的创意工作模式,那么用户可以将这些工作流程编写成智能体(agents)。常见的应用场景包括为费用报销进行收据扫描、为冗长的会议纪要生成摘要,以及发票处理等。
这些智能体可以发布并分享给团队成员。用户可以反复进行构思,构建功能愈发强大的智能体,以帮助自己更高效地完成工作。