使用场景

用于创建一个能够理解和生成多语言文本的聊天机器人。

开发一个能够自动总结长篇文章的摘要工具。

构建一个能够根据用户查询提供精确信息的问答系统。

产品特色

支持多语言生成，训练覆盖23种语言，评估涵盖10种语言。

具备对话工具使用能力，能够根据提供的可用工具生成JSON格式的操作列表。

支持基于提供的文档片段生成基于引用的响应，实现检索增强生成（RAG）。

优化了与代码的交互，能够请求代码片段、代码解释或代码重写。

支持Hugging Face的工具使用API。

使用优化的Transformer架构，通过监督式微调和偏好训练进行训练。

支持128K的上下文长度，适合处理长文本。

使用教程

安装transformers库，版本需为4.39.1或更高。

从Hugging Face加载模型和分词器。

使用特定的提示模板格式化消息。

调用模型生成函数，设置最大新令牌数和其他参数。

解码生成的令牌以获取文本输出。

对于工具使用功能，定义对话输入和可用工具。

渲染工具使用提示，并调用模型生成函数。

对于基于引用的生成，定义对话输入和相关文档。

渲染基于引用的生成提示，并调用模型生成函数。