使用场景

使用Llama-agentic-system构建一个能够自动规划旅行的聊天机器人。

集成到现有的开发流程中，以自动化代码审查和问题解答。

作为教育工具，帮助学生理解复杂的概念和问题解决策略。

产品特色

支持多步骤推理和任务分解

内置和零样本学习调用工具的能力

系统级安全评估，使用Llama Guard进行输入输出过滤

支持自定义虚拟环境和依赖安装

支持实时fp8量化以提高性能

提供命令行界面(CLI)帮助用户下载模型、配置推理服务器和运行代理系统应用

提供示例脚本和UI界面，方便用户快速开始

使用教程

1. 创建并激活Conda环境，安装所需的Python版本。

2. 安装Llama-agentic-system包及其依赖。

3. 如果需要，安装并配置实时fp8量化所需的fbgemm-gpu包。

4. 下载所需的Llama 3.1模型检查点。

5. 配置推理服务器，填写检查点、模型并行大小等信息。

6. 启动推理服务器，使其在本地运行。

7. 配置代理系统，包括模型检查点目录和安全配置。

8. 启动代理应用，并通过UI或脚本与服务器进行交互。