使用场景
在视频游戏中集成模型，以提供角色扮演对话
用于商业用途，如客户服务聊天机器人
在需要快速响应和设备部署的场景中使用
产品特色
角色扮演响应生成
检索增强生成
功能调用
优化以提高速度和设备部署
支持 4096 个令牌的上下文长度
通过蒸馏、剪枝和量化技术优化
使用教程
1. 从 Hugging Face 导入 AutoTokenizer 和 AutoModelForCausalLM。
2. 使用 'nvidia/Nemotron-Mini-4B-Instruct' 预训练模型加载 tokenizer 和 model。
3. 使用推荐的 prompt 模板进行消息格式化。
4. 调用 model.generate 函数生成响应。
5. 使用 tokenizer.decode 函数将生成的令牌转换为文本。
6. （可选）使用 pipeline 进行文本生成，但需要手动分配 tokenizer 对象。
