使用场景

作为PygmalionAI网站的后端推理引擎，提供快速响应的聊天机器人服务

在科研领域，用于大规模语言模型的实验和推理任务

企业级应用，为需要高并发访问的智能客服系统提供支持

产品特色

连续批处理，提高模型推理效率

使用vLLM的分页注意力技术，优化键值管理

为不同GPU优化的CUDA内核，提升推理速度

支持多种量化方案，如AQLM、AWQ等，以适应不同硬件

分布式推理能力，支持大规模用户访问

提供多种采样方法，如Mirostat、Locally Typical Sampling等

8位KV缓存，支持更长的上下文长度和吞吐量

使用教程

1. 安装Aphrodite引擎，可以通过pip或从源代码构建

2. 根据需要配置环境变量和参数

3. 启动模型，创建一个与OpenAI兼容的API服务器

4. 通过API与UI（如SillyTavern）集成，实现模型推理

5. 根据wiki页面提供的详细指令，调整和优化引擎配置

6. 利用Docker部署，简化安装和配置过程

7. 监控性能，根据需要调整批处理大小和内存使用率

8. 通过命令行工具查看和运行不同的功能和选项