日前，Meta方面正式发布其最新的开源大模型Llama 3.1系列。对此Meta创始人兼首席执行官马克・扎克伯格在公开信中表达了他对开源生态系统的愿景，并认为Llama大模型有潜力成为“AI界的Linux”。
据Meta方面透露，此次发布的Llama 3.1共有8B、70B和405B共3种规模。据称，Llama 3.1 405B在常识、可操作性、数学等一系列任务中，可与GPT-4、GPT-4o、Claude 3.5 Sonnet媲美。
根据官方公布的相关信息显示，Llama 3.1 405B适用于构建企业应用程序和研发，可完成长篇文本生成、多语言和机器翻译、编码工具使用、增强的上下文理解，以及高级推理和决策；Llama 3.1 70B适用于内容创建、AI对话、语言理解和研发，例如执行文本摘要、文本分类、语言建模、代码生成等任务；而规模最小的Llama 3.1 8B，则适用于计算能力和资源有限的情况以及移动设备。
据悉，得益于大幅增加的训练数据和规模，Llama 3.1相较Llama 3增加了12万个Token、模型容量是上一版本的16倍。其中，Llama 3.1 405B支持上下文长度为128K Tokens，并基于15万亿个Tokens、超1.6万个H100 GPU进行训练，其也是Meta史上首次以如此大规模进行训练的Llama模型。并且Meta方面为确保训练的稳定性，对Llama 3.1只使用了Transformer模型架构进行调整，而不是现在流行的混合专家模型（MoE）架构。
需要注意的是，此次Meta还更新了开源许可，允许开发者使用包括405B在内的Llama模型来改进其他模型。Meta方面表示，Llama 3.1 405B是目前最优秀和最大的开源基础模型（foundation models, FMs）之一，为生成式AI能力设立了新标准。对此扎克伯格称，Llama 3.1 405B开源模型相较闭源模型的成本和性能更优，前者也将成为企业微调和训练较小模型的最佳选择。
同时扎克伯格此次在公开信中，还介绍了为什么开源有利于开发者、Meta，以及对业界有好处。其中针对开源大模型对世界的好处方面，他认为，“开源将确保世界各地更多的人能够获得人工智能的好处和机会、权力不会集中在少数公司手中，且技术可以在社会上更均匀、更安全地部署”。
值得一提的是，Meta此次除了发布Llama 3.1开源模型之外，还基于Llama 3.1对Meta AI功能进行了扩充。例如在“Imagine Me”中，用户上传自拍照、并使用“Imagine me as xxx”文字提示词，就可以生成各种个性化照片。
【本文图片来自网络】