知乎：紫气东来 https://zhuanlan.zhihu.com/p/618695885 一、从LLaMA到Alpaca：大模型的小训练 1.1LLaMA概要与实践 LLaMA（LargeLanguageModelMetaAI）是由MetaAI发布的一款全新的大语言模型，共有7B、13B、33B、65B四种版本，其模型参数如下表所示： 与原始的transformerDecoder相比，LLaMA主要有以下三点改进： 预归一化（Pre-normalization）【GPT3】 为了提高训练的稳定性，LLaMA对每个transformer子层的输入进行归一化，而不是对输出进行归一化。...