使用场景

用于构建一个多语言的客服聊天机器人，提高客户服务效率。

集成到企业的知识管理系统中，实现自动化的文档检索和信息总结。

用于教育领域，辅助语言学习，提供多语种的对话练习。

产品特色

支持多语言对话，覆盖23种语言，优化10种语言的对话生成。

具备检索增强生成（RAG）能力，能够基于提供的文档片段生成响应。

工具使用功能，能够执行多步工具使用以完成复杂任务。

支持代码交互，优化了代码片段请求、代码解释和代码重写。

支持基于特定提示模板的grounded generation，能够生成基于文档片段的响应。

支持Hugging Face的工具使用API。

使用教程

安装transformers库，确保版本为4.39.1或更高。

使用AutoTokenizer和AutoModelForCausalLM从Hugging Face加载模型。

定义对话输入，并根据需要选择可用的工具。

使用模型的generate方法生成响应。

解码生成的token以获取文本响应。

对于工具使用功能，定义工具使用提示并渲染为字符串。

对于grounded generation，定义文档片段并渲染提示。