Llama 3简介
Llama 3 是 Meta 发布的最新大型语言模型,旨在让个人、创作者、研究人员和各种规模的企业能够负责任地试验、创新和扩展他们的想法。
Llama 3 开源地址:https://github.com/meta-llama/llama3
Llama 3功能特点
相比于之前发布的开源模型, Llama 3 的特性是:
数据量:训练的数据是 Llama 2数据集的 7 倍多
能力增强:推理和代码能力增强
训练效率:比 Llama2 高 3 倍;
模型大小:提供从 8B 到 70B 参数的不同大小的预训练和指令调整的 Llama 3语言模型
下载和使用:提供了模型权重和分词器的下载指南,以及如何在本地运行模型的快速入门步骤
支持模型并行:不同大小的模型需要不同的模型并行(MP)值
许可证: 模型和权重对研究人员和商业实体开放,旨在促进发现和道德的AI进步