使用场景

利用EXAONE-3.5-32B-Instruct模型开发一个多语言聊天机器人，提供流畅的对话体验。

在机器翻译项目中使用该模型，实现英语到韩语的高效翻译。

作为内容创作者的辅助工具，使用该模型生成创意文案和文章草稿。

产品特色

支持长达32,768令牌的长上下文处理能力。

在多种真实世界用例中展现出最先进的性能。

提供2.4B、7.8B和32B三种不同参数规模的模型以适应不同部署需求。

模型经过指令调优，特别适合对话和文本生成任务。

支持双语（英语和韩语），拓宽了模型的应用范围。

模型在多个评估基准上表现优异，如MT-Bench、LiveBench等。

提供预量化模型，支持不同的量化类型，以优化推理性能。

使用教程

1. 安装必要的库，如`transformers`和`torch`。

2. 使用`AutoModelForCausalLM`和`AutoTokenizer`从Hugging Face加载模型和分词器。

3. 准备输入提示（prompt），可以是英文或韩文。

4. 使用模型提供的系统提示来构建对话消息模板。

5. 将消息模板传递给分词器，获取输入ID。

6. 使用模型的`generate`方法生成文本。

7. 使用分词器的`decode`方法将生成的令牌转换回文本。