Streamingllm

使用场景使用StreamingLLM进行多轮对话使用StreamingLLM进行文本生成使用StreamingLLM进行文本分类产品特色处理无限长度的输入保留最...

  • Streamingllm

    类别:AI模型,AI语言模型,语言模型,自然语言处理,流式应用,普通产品,开源,
    官网:https://github.com/mit-han-lab/streaming-llm 更新时间:2025-08-01 15:16:53
  • 使用场景

    使用StreamingLLM进行多轮对话

    使用StreamingLLM进行文本生成

    使用StreamingLLM进行文本分类

    产品特色

    处理无限长度的输入

    保留最近的令牌和注意力池,丢弃中间令牌

    从最近的令牌生成连贯的文本

    不需要缓存重置

    适用于流式应用,如多轮对话