使用场景
在自然语言处理任务中，使用该解决方案可大幅提升模型的推理速度。
在文本生成任务中，使用该解决方案可降低延迟，提高生成效率。
在对话系统中，使用该解决方案可实现更快的响应速度和更高的并发处理能力。
产品特色
简化 LLM 解码器层
使用分段 KV 缓存策略
自定义的 Scaled-Dot-Product-Attention 内核
-
Efficient LLM
类别：AI模型推理训练,AI模型,LLM,推理,Intel GPU,普通产品,开源, -
