使用场景

使用Arch构建一个个性化的聊天机器人，通过用户提示调用后端API进行个性化响应。

利用Arch的流量管理功能，实现LLMs的智能重试和灾难恢复，保证AI应用的高可用性。

通过Arch的前端网关功能，实现TLS终止和基于提示的路由，提高AI应用的安全性和效率。

产品特色

基于Envoy的进程外架构：Arch依赖于Envoy，是一个自包含的过程，设计为与您的应用服务器一起运行。

与快速LLMs集成：Arch使用专为快速、成本效益高和准确处理提示而设计的专门（亚十亿）LLMs。

流量管理：提供LLM调用的多种能力，包括智能重试和自动切换到其他LLMs以保证连续可用性和灾难恢复。

前端/边缘网关：Arch非常适合作为AI应用的边缘网关，包括TLS终止、速率限制和基于提示的路由。

最佳监控：提供多个监控指标，帮助您了解应用的延迟、令牌使用情况和上游LLM提供商的错误率。

端到端追踪：Arch使用W3C Trace Context标准，通过兼容OpenTelemetry的traceparent头部进行追踪上下文的传播。

使用教程

1. 访问Arch的GitHub页面，了解项目详情和快速开始指南。

2. 阅读Arch的文档，了解如何部署和配置Arch网关。

3. 根据文档指导，将Arch集成到您的应用中，设置提示处理和LLMs调用。

4. 利用Arch的监控和追踪功能，优化应用性能和用户体验。

5. 通过Arch的前端网关功能，实现TLS终止和基于提示的路由。

6. 根据需要，配置Arch的流量管理功能，包括智能重试和灾难恢复。