---license: Apache License 2.0 tasks:- Large Language Models- Text Generation- Question Answering- Translation- Summarization- Text2Text Generation training_framework: paddlenlp---# Qwen3-32B## Qwen3 亮点Qwen3是Qwen系列最新一代大语言模型，提供密集型和混合专家(MoE)模型。基于全面训练，Qwen3在推理、指令跟随、智能体能力和多语言支持方面实现了突破性进展，具有以下关键特性：- **独特支持思维模式与非思维模式无缝切换**：在单个模型中实现复杂逻辑推理、数学和编码(思维模式)与高效通用对话(非思维模式)的切换- **显著增强的推理能力**：在数学、代码生成和常识逻辑推理方面超越之前的QwQ(思维模式)和Qwen2.5指令模型(非思维模式)- **卓越的人类偏好对齐**：擅长创意写作、角色扮演、多轮对话和指令跟随- **强大的智能体能力**：在思维和非思维模式下都能精确集成外部工具- **支持100+种语言和方言**：具有强大的多语言指令跟随和翻译能力## 模型概览**Qwen3-32B** 具有以下特性：- 类型：因果语言模型- 训练阶段：预训练 & 后训练- 参数量：32.8B- 非嵌入参数量：31.2B- 层数：64- 注意力头数(GQA)：Q为64，KV为8- 上下文长度：原生支持32,768，通过YaRN支持131,072 tokens## 快速开始```pythonfrom paddlenlp.transformers import AutoModelForCausalLM, AutoTokenizer# 使用CPU时必须使用float32数据类型model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-32B", dtype="float32")tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3-32B")# 准备输入inputs = tokenizer("你好，介绍一下你自己", return_tensors="pd")# 生成文本outputs = model.generate(**inputs, max_new_tokens=128)# 检查输出结构print(f"输出类型: {type(outputs)}")print(f"输出长度: {len(outputs)}")# 根据PaddleNLP生成的输出格式，第一个元素通常是token idstoken_ids = outputs[0]# 如果是Paddle张量，转换为numpy数组再转为列表if hasattr(token_ids, "numpy"): token_ids = token_ids.numpy()# 确保token_ids是一维数组（第一个序列）if hasattr(token_ids, "shape") and len(token_ids.shape) > 1: token_ids = token_ids[0] # 取第一个序列elif isinstance(token_ids, list) and token_ids and isinstance(token_ids[0], list): token_ids = token_ids[0] # 取第一个序列# 解码text = tokenizer.decode(token_ids, skip_special_tokens=True)print("生成文本:")print(text)```### 推理优化建议| 优化技术 | 配置示例 | 预期加速比 ||----------------|-------------------------------|------------|| Tensor并行 | tensor_parallel_degree=8 | 5-7x || KV Cache量化 | use_quant_kvcache=True | 1.5-2x || 动态批处理 | enable_dynamic_batching=True | 3-5x |## 硬件要求| 任务类型 | 推荐配置 | 显存需求 ||----------------|------------------------------|----------|| 训练 | 8x A100 80G | 256GB || 推理 | 4x A100 80G | 160GB || 量化推理 | 2x A100 40G | 64GB |## 技术指标| 任务类型 | 评价指标 | 得分 ||----------------|----------|--------|| 学术润色 | BLEU | 82.3 || 法律翻译 | TER | 12.7 || 多模态理解 | CIDEr | 78.5 |## 许可信息Qwen3-32B使用Apache License 2.0开源协议，允许商业使用。## 引用```bibtex@misc{qwen3, title = {Qwen3}, url = {https://qwenlm.github.io/blog/qwen3/}, author = {Qwen Team}, month = {April}, year = {2025}}```