使用场景
使用StreamingLLM进行多轮对话
使用StreamingLLM进行文本生成
使用StreamingLLM进行文本分类
产品特色
处理无限长度的输入
保留最近的令牌和注意力池,丢弃中间令牌
从最近的令牌生成连贯的文本
不需要缓存重置
适用于流式应用,如多轮对话
使用场景
使用StreamingLLM进行多轮对话
使用StreamingLLM进行文本生成
使用StreamingLLM进行文本分类
产品特色
处理无限长度的输入
保留最近的令牌和注意力池,丢弃中间令牌
从最近的令牌生成连贯的文本
不需要缓存重置
适用于流式应用,如多轮对话