深入理解LLaMA、Alpaca、ColossalChat系列模型-摩杜云开发者社区

知乎：紫气东来
https://zhuanlan.zhihu.com/p/618695885

一、从LLaMA到Alpaca：大模型的小训练

1.1 LLaMA概要与实践

LLaMA（Large Language Model Meta AI）是由Meta AI发布的一款全新的大语言模型，共有7B、13B、33B、65B四种版本，其模型参数如下表所示：

深入理解LLaMA、Alpaca、ColossalChat系列模型_LLaMA

与原始的transformer Decoder相比，LLaMA主要有以下三点改进：

预归一化（Pre-normalization）【GPT3】

为了提高训练的稳定性，LLaMA对每个transformer子层的输入进行归一化，而不是对输出进行归一化。同时使用RMSNorm归一化函数。

SwiGLU激活函数【PaLM】

LLaMA用SwiGLU激活函数取代ReLU非线性，以提高性能。SwiGLU激活函数的实现如下：

$深入理解LLaMA、Alpaca、ColossalChat系列模型_大语言模型_02$

其中， $深入理解LLaMA、Alpaca、ColossalChat系列模型_Alpaca_03$ ， $深入理解LLaMA、Alpaca、ColossalChat系列模型_LLaMA_04$ ，具体参考文献[1]。

旋转嵌入（Rotary pos）【GPTNeo】

LLaMA删除了绝对位置嵌入，取而代之的是在网络的每一层添加旋转位置嵌入（RoPE），RoPE的实现参见这里^[2]。当前 HuggingFace 已经实现了LLaMA 模型代码，可通过以下方式直接调用：

from transformers import LlamaForCausalLM
USE_8BIT = True # use 8-bit quantization; otherwise, use fp16
model = LlamaForCausalLM.from_pretrained(
            "pretrained/path",
            load_in_8bit=USE_8BIT,
            torch_dtype=torch.float16,
            device_map="auto",
        )
if not USE_8BIT:
    model.half()  # use fp16
model.eval（)

1.2 Alpaca如何使用小成本训练大模型

如下图所示，Stanford的研究者使用52K个intruction-following examples 来微调LLaMA 7B模型，从而生成了Alpaca 7B。

Alpaca团队使用self-instruct提供的175个prompts，调用 OpenAI 的text-davinci-003模型，利用 OpenAI 的模型来产生有价值的 instructions。

深入理解LLaMA、Alpaca、ColossalChat系列模型_大语言模型_05

将 OpenAI 性能完备的模型作为 Teacher，来指导参数更少的 Alpaca 模型进行训练，大幅降低了训练成本。其中调用 OpenAI API 的成本不到 500 美元，另外微调 7B 参数的 LLaMA 模型，使用云服务商提供的 8 块 80GB A100 显卡，训练 3 小时，消费不到 100 美元，因此整体成本是小于 600 美元。

二、Alpaca的优化、训练及应用

2.1 Alpaca-lora的优化

alpaca-lora是在alpaca的基础上把训练方式改成用lora训练，仅需要在消费级的GPU上经过数小时的训练，就可以达到和alpaca差不多的效果。

LoRA（Low-Rank Adaptation）技术

LoRA 的思想很简单，即在原始 Pretrained Weights 旁边增加一个旁路，做一个降维再升维的操作，来模拟所谓的 intrinsic rank 。训练的时候固定 Pretrained Weights 的参数，只训练降维矩阵与升维矩阵。而模型的输入输出维度不变，输出时将与 Pretrained Weights 的参数叠加。用随机高斯分布初始化，用0矩阵初始化，保证训练的开始此旁路矩阵依然是 0 矩阵。

具体来看，假设预训练的矩阵为深入理解LLaMA、Alpaca、ColossalChat系列模型_大语言模型_06 ,它的更新可表示为：

深入理解LLaMA、Alpaca、ColossalChat系列模型_ColossalChat_07

其中秩 $深入理解LLaMA、Alpaca、ColossalChat系列模型_LLaMA_08$ 。

深入理解LLaMA、Alpaca、ColossalChat系列模型_LLaMA_09

LoRA与Transformer的结合也很简单，仅在QKV attention的计算中增加一个旁路，而不动MLP模块。基于大模型的内在低秩特性，增加旁路矩阵来模拟全模型参数微调，LoRA通过简单有效的方案来达成轻量微调的目的，可以将现在的各种大模型通过轻量微调变成各个不同领域的专业模型。

2.2 PEFT(Parameter-Efficient Fine-Tuning) 方法

随着模型变得越来越大，在消费级硬件上对模型进行全部参数的微调变得不可行。此外，为每个下游任务独立存储和部署微调模型变得非常昂贵，因为微调模型与原始预训练模型的大小相同。PEFT 方法旨在解决这两个问题，PEFT 方法仅微调少量 (额外) 模型参数，同时冻结预训练 LLM 的大部分参数，从而大大降低了计算和存储成本。

HuggingFace 开源的一个高效微调大模型的 PEFT 库，目前包含LoRA，Prefix Tuning，Prompt Tuning，P-Tuning 四种算法，下面简要介绍后三种：

Prefix Tuning

Prefix Tuning 算法是根据下游任务 "前缀指令文本" 的所有层的embeding表示，学习到的前缀指令文本向量可以挖掘大模型的潜力去引导模型完成特定任务。

深入理解LLaMA、Alpaca、ColossalChat系列模型_大语言模型_10

P-Tuning v2实际上就是Prefix-tuning，在Prefix部分，每一层transformer的embedding输入embedding输入，而P-Tuning v1只有transformer第一层的embedding输入embedding输入。此外，P-Tuning v2还包括以下改进：

移除了Reparamerization加速训练方式；
采用了多任务学习优化：基于多任务数据集的Prompt进行预训练，然后再适配的下游任务。
舍弃了词汇Mapping的Verbalizer的使用，重新利用[CLS]和字符标签，跟传统finetune一样利用cls或者token的输出做NLU，以增强通用性，可以适配到序列标注任务。

深入理解LLaMA、Alpaca、ColossalChat系列模型_ColossalChat_11

P-Tuning

P-Tuning 算法和 Prefix Tuning 的想法很相似，想通过微调"指令文本",让指令文本去挖掘大模型的潜力去完成特定的任务。但是 P-Tuning 只学习 "指令文本" 输入层embeding的的表示。为了增强 "指令文本"的连续性，采用了一个 MLP(LSTM) 的结果去encoding "指令文本"。从微调参数量来看只有 0.65% 比 Prefix Tuning 和 LoRA 这些在所有层都增加参数的方法要少。

深入理解LLaMA、Alpaca、ColossalChat系列模型_LLaMA_12

Prompt Tuning

Prompt Tuning 算法和 P-Tuning 很像，且更简单，就是是根据下游任务 "指令文本" 输入层embeding的的表示。Prompt Tuning 没有增加任何的层，直接使用微调指令文本(prompt) 的embeding向量。

深入理解LLaMA、Alpaca、ColossalChat系列模型_LLaMA_13

2.3 使用PEFT训练

以下仅说明过程，完整代码见这里。

step 1. 模块的加载及初始化

import torch
import transformers
from datasets import load_dataset
from peft import LoraConfig, get_peft_model, get_peft_model_state_dict, prepare_model_for_int8_training, set_peft_model_state_dict,
from transformers import LlamaForCausalLM, LlamaTokenizer 

model = LlamaForCausalLM.from_pretrained(base_model, load_in_8bit=True, torch_dtype=torch.float16, device_map=device_map,)
tokenizer = LlamaTokenizer.from_pretrained(base_model)
model = prepare_model_for_int8_training(model)

config = LoraConfig(
    r=lora_r,
    lora_alpha=lora_alpha,
    target_modules=lora_target_modules,
    lora_dropout=lora_dropout,
    bias="none",
    task_type="CAUSAL_LM",
)
model = get_peft_model(model, config)

step 2. 准备data 和 trainer 并进行训练

data = load_dataset(data_path)
trainer = transformers.Trainer(
    model=model,
    train_dataset=train_data,
    eval_dataset=val_data,
    args=transformers.TrainingArguments(
        per_device_train_batch_size=micro_batch_size,
        gradient_accumulation_steps=gradient_accumulation_steps,
        warmup_steps=100,
        num_train_epochs=num_epochs,
        learning_rate=learning_rate,
        fp16=True,
        logging_steps=10,
        optim="adamw_torch",
        evaluation_strategy="steps" if val_set_size > 0 else "no",
        save_strategy="steps",
        eval_steps=200 if val_set_size > 0 else None,
        save_steps=200,
        output_dir=output_dir,
        save_total_limit=3,
        load_best_model_at_end=True if val_set_size > 0 else False,
        ddp_find_unused_parameters=False if ddp else None,
        group_by_length=group_by_length,
        report_to="wandb" if use_wandb else None,
        run_name=wandb_run_name if use_wandb else None,
    ),
    data_collator=transformers.DataCollatorForSeq2Seq(
        tokenizer, pad_to_multiple_of=8, return_tensors="pt", padding=True
    ),
)

trainer.train(resume_from_checkpoint=resume_from_checkpoint)

2.4 更多类似模型

深入理解LLaMA、Alpaca、ColossalChat系列模型_LLaMA_14

三、ColossalChat：深入体验RLHF在大模型中的功能

ColossalChat 是第一个基于LLaMA预训练模型开源完整RLHF pipline实现，包括有监督数据收集、有监督微调、奖励模型训练和强化学习微调。只需要不到100亿个参数，就可以在大型语言模型的基础上通过RLHF微调达到中英文双语水平，达到与ChatGPT和GPT-3.5相当的效果，并可以进行Demo测试。

ColossalChat使用InstructionWild双语数据集，包含约52K的英语和52K的汉语问答，数据集通过OpenAI API接口获得。该数据集适用于微调和RLHF训练。通过提供高质量的数据，ColossalChat可以实现更好的对话互动，也可以支持中文。

深入理解LLaMA、Alpaca、ColossalChat系列模型_LLaMA_15

3.1 监督指令微调

使用前面提到的数据集执行有监督指令微调，以微调模型。运行examples/train_sft.sh来启动有监督的指令微调。

torchrun --standalone --nproc_per_node=4 train_sft.py \
    --pretrain "/path/to/LLaMa-7B/" \
    --model 'llama' \
    --strategy colossalai_zero2 \
    --log_interval 10 \
    --save_path  /path/to/Coati-7B \
    --dataset /path/to/data.json \
    --batch_size 4 \
    --accimulation_steps 8 \
    --lr 2e-5 \
    --max_datasets_size 512 \
    --max_epochs 1 \

3.2 训练奖励模型

训练奖励模型，通过手动对同一提示的不同输出进行排序来分配相应的分数，然后有监督奖励模型的训练。

运行examples/train_rm.sh开始奖励模型训练。

torchrun --standalone --nproc_per_node=4 train_reward_model.py
    --pretrain "/path/to/LLaMa-7B/" \
    --model 'llama' \
    --strategy colossalai_zero2 \
    --loss_fn 'log_exp'\
    --save_path 'rmstatic.pt' \

3.3 人类反馈强化学习

在第一阶段的监督微调模型和第二阶段的奖励模型的基础上，使用强化学习算法进一步训练大型语言模型。该阶段是RLHF训练的核心部分，在强化学习中使用近端策略优化（PPO）算法来引入奖励信号，并生成更符合人类偏好的内容。

深入理解LLaMA、Alpaca、ColossalChat系列模型_LLaMA_16

运行examples/train_prompts.sh，开始使用人类反馈训练PPO。

torchrun --standalone --nproc_per_node=4 train_prompts.py \
         --pretrain "/path/to/LLaMa-7B/" \
         --model 'llama' \
         --strategy colossalai_zero2 \
         --prompt_path /path/to/your/prompt_dataset \
         --pretrain_dataset /path/to/your/pretrain_dataset \
         --rm_pretrain /your/pretrain/rm/defination \
         --rm_path /your/rm/model/path

参考

[1] LLaMA: Open and Efficient Foundation Language Models.

[2] Alpaca: A Strong, Replicable Instruction-Following Model

[3] https://github.com/tatsu-lab/stanford_alpaca

[4] Stanford CRFM

[5] tloen/alpaca-lora: Instruct-tune LLaMA on consumer hardware (github.com)

[6] LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS

[7] ColossalAI/applications/Chat at main · hpcaitech/ColossalAI (github.com)