LLaMA系列大模型调研与整理

一、LLaMA模型参数与训练时间
LLaMA系列大模型的参数数量从7B到65B不等，训练数据集大小为1.4T tokens。其中，LLaMA-7B在1万亿个token上训练，LLaMA-33B和LLaMA-65B在1.4万亿个token上训练。训练时间最长的是最大的模型，需要2048块A100 GPU和80G内存，训练耗时21天。
二、LLaMA模型性能
与其他大模型相比，LLaMA在零样本常识推理任务上的性能表现优异。具体来说，具有130亿参数的LLaMA模型在大多数基准上可以胜过GPT-3（参数量达1750亿），而且可以在单块V100 GPU上运行。最大的650亿参数的LLaMA模型可以媲美谷歌的Chinchilla-70B和PaLM-540B。
三、LLaMA系列大模型的优化
相对于之前的大模型，LLaMA做了三点改进：

1. GPT3在每层transformer之后做正则化，调整为在每层transformer之前做正则化，正则化采用RMSNorm；
2. 相比PaLM，在激活函数上，使用SwiGLU替换ReLU非线性激活函数；
3. 相比GPTNeo，在位置编码上，使用RoPE替代绝对位置编码。
   四、结论
   LLaMA系列大模型是一种高性能的大型语言模型，其参数数量、训练时间和推理预算等方面进行了优化，以适应不同规模和预算的需求。与其他大模型相比，LLaMA在零样本常识推理任务上的性能表现优异。具体来说，具有130亿参数的LLaMA模型在大多数基准上可以胜过GPT-3（参数量达1750亿），而且可以在单块V100 GPU上运行。最大的650亿参数的LLaMA模型可以媲美谷歌的Chinchilla-70B和PaLM-540B。
   需要注意的是，LLaMA系列大模型的训练时间和推理预算都比较高，需要大规模的计算资源和预算支持。此外，LLaMA系列大模型的优化和创新点还有很多，例如在数据集、训练算法、模型结构等方面还有很大的提升空间。因此，未来需要更多的研究和探索，以推动大型语言模型的发展和应用。