---desc: Llama 2 是一组由Meta AI发布的模型，经过预训练和微调的生成文本模型，参数规模从 70 亿到 700 亿不等。该系列模型提供了多种参数大小（7B、13B、70B）等预训练和微调的变体。support_training: 0license: Apache License 2.0tasks:- LLMpublisher: Meta AI---# **Llama 2**Llama 2 是一组由Meta AI发布的模型，经过预训练和微调的生成文本模型，参数规模从 70 亿到 700 亿不等。该系列模型提供了多种参数大小（7B、13B、70B）等预训练和微调的变体。本模型为7B的预训练版本Llama 2是一种自回归语言模型，使用优化的变压器架构。微调版本使用SFT和RLHF来对齐人类对有用性和安全性的偏好。Llama 2在来自公开可用源的2万亿token的数据上进行了预训练。微调数据包括公开的指令数据集，以及超过一百万个新的人类注释示例。预训练和微调数据都不包含Meta用户数据。预训练数据的截止日期为2022年9月，微调数据更新，最新数据为2023年7月。**License** : [https://ai.meta.com/resources/models-and-libraries/llama-downloads/](https://ai.meta.com/resources/models-and-libraries/llama-downloads/)### 快速上手```pythonfrom paddlenlp.transformers import AutoModelForCausalLM, AutoTokenizermodel = AutoModelForCausalLM.from_pretrained( "aistudio/Llama-2-7b", from_aistudio=True)tokenizer = AutoTokenizer.from_pretrained( "aistudio/Llama-2-7b", from_aistudio=True)query = "Hello!"inputs = tokenizer(query, return_tensors="pd")generate_ids = model.generate( **inputs, do_sample=True, max_new_tokens=2048, top_k=10, top_p=0.85, temperature=1, repetition_penalty=1.15, eos_token_id=2, bos_token_id=1, pad_token_id=0,)[0]print(generate_ids)response = tokenizer.batch_decode(generate_ids)[0]print(response)```### 训压推全流程请参考[飞桨大语言模型工具链](https://github.com/PaddlePaddle/PaddleNLP/tree/develop/llm)以及其中中的[类LLaMA模型文档](https://github.com/PaddlePaddle/PaddleNLP/tree/develop/llm/llama)