使用场景
使用EXAONE-3.5-7.8B-Instruct-AWQ模型进行长文本的机器翻译。
利用模型进行多轮对话系统的开发，以提供更加自然和流畅的对话体验。
在处理大量文本数据时，使用模型进行文本摘要和关键信息提取。
产品特色
支持长上下文处理，最多32K令牌。
在真实世界用例和长上下文理解方面展现出最先进的性能。
与最近发布的类似大小模型相比，在一般领域中保持竞争力。
支持双语（英语和韩语）生成。
提供AWQ量化权重，实现4位组内权重量化（W4A16g128）。
支持多种部署框架，如TensorRT-LLM、vLLM、SGLang等。
提供预量化的EXAONE 3.5模型，以GGUF格式提供。
使用教程
1. 安装必要的库，如transformers和autoawq。
2. 从Hugging Face加载EXAONE-3.5-7.8B-Instruct-AWQ模型和分词器。
3. 准备输入文本，可以是英文或韩文。
4. 使用分词器对输入文本进行编码。
5. 将编码后的输入传递给模型进行生成。
6. 根据需要调整模型参数，如最大新令牌数、是否采样等。
7. 输出生成的文本，并使用分词器进行解码。
8. 分析和利用生成的文本进行进一步的应用开发。
