使用场景
长文本生成:利用Infini-attention技术生成长篇文章。
密钥检索:在处理长序列密钥上下文块检索任务中应用。
文本摘要:处理长篇文本生成精炼的文本摘要。
产品特色
压缩记忆机制
局部与长期注意力结合
流式处理能力
支持快速流式推理
模型扩展性
使用场景
长文本生成:利用Infini-attention技术生成长篇文章。
密钥检索:在处理长序列密钥上下文块检索任务中应用。
文本摘要:处理长篇文本生成精炼的文本摘要。
产品特色
压缩记忆机制
局部与长期注意力结合
流式处理能力
支持快速流式推理
模型扩展性