使用场景

用于生成特定主题的长篇文章或报告。

作为多语言聊天机器人的底层模型，提供实时语言翻译和对话生成。

集成到企业的知识管理系统中，用于自动回答员工的查询和提供决策支持。

产品特色

支持9种语言的文本生成，包括英语、西班牙语、法语、葡萄牙语、意大利语、荷兰语、德语、阿拉伯语和希伯来语。

具备长文本处理能力，上下文长度可达256K。

优化的商业使用案例，包括函数调用和结构化输出。

支持工具使用功能，能够根据Huggingface的工具使用API插入用户定义的工具。

支持基于文档的grounded generation，可以基于给定文档或文档片段回答问题或遵循指令。

支持JSON模式，能够根据请求输出有效的JSON格式数据。

提供了LoRA和QLoRA等微调示例，以适应不同的训练需求。

使用教程

安装必要的依赖库，如mamba-ssm和causal-conv1d。

使用vLLM或transformers库加载并运行模型。

根据需要调整模型参数，如温度、top_p等，以控制生成文本的多样性和相关性。

利用模型的工具使用功能，插入自定义的工具以扩展模型能力。

准备输入数据，可以是文本、JSON格式或其他结构化数据。

将输入数据传递给模型，获取模型生成的输出结果。

根据输出结果进行后处理，如解析JSON、提取特定信息等。