Infini Attention

使用场景长文本生成:利用Infini-attention技术生成长篇文章。密钥检索:在处理长序列密钥上下文块检索任务中应用。文本摘要:处理长篇文本生成精炼的文本...

  • Infini Attention

    类别:AI模型,Transformer,大语言模型,序列处理,长序列任务,压缩记忆,普通产品
    官网:https://arxiv.org/abs/2404.07143 更新时间:2025-08-01 17:42:07
  • 使用场景

    长文本生成:利用Infini-attention技术生成长篇文章。

    密钥检索:在处理长序列密钥上下文块检索任务中应用。

    文本摘要:处理长篇文本生成精炼的文本摘要。

    产品特色

    压缩记忆机制

    局部与长期注意力结合

    流式处理能力

    支持快速流式推理

    模型扩展性