Llama的训练方法有哪些

Llama的训练方法主要包括以下三个阶段：

预训练（Pre-training）

• 使用来自公开来源的超过15万亿个Token的数据进行预训练。
• 预训练数据集包括公开可用的指令数据集和超过1000万个人工注释的示例。
• 使用有监督微调（SFT）、拒绝采样、近端策略优化（PPO）和直接策略优化（DPO）的组合微调算法。

监督微调（Supervised Fine-tuning, SFT）

• 在预训练后，使用有监督微调（SFT）来进一步提高模型在特定任务上的性能。
• SFT中使用的提示（Prompt）质量和PPO和DPO中使用的偏好排名对模型性能有巨大影响。

偏好纠正（Reinforcement Learning with Human Feedback, RLHF）

• 使用人类反馈的强化学习（RLHF）来优化模型的行为，使其生成的回答更加符合人类的偏好和标准。
• 通过拒绝采样和近端策略优化（PPO）等方法来训练模型，使其在回答的helpful和safety等方面达到人类水平。

此外，Llama的训练还涉及以下方面：

模型架构

• Llama仍然使用Decoder-only的Transformer架构。
• 具有128K词汇量大小的Tokenizer，使用分组查询注意力（GQA）机制提高Inference速度。

训练算力和数据集

• 在H100-80GB的GPGPU上训练，使用数据并行、模型并行和管道并行三种并行加速方法。
• 训练数据集比Llama 2使用的数据集大7倍，并且包含4倍多的代码。

这些训练方法共同作用，使得Llama能够在推理、代码生成和指令跟踪等方面取得优异的性能。