使用场景

生成关于AI中数据重要性的诗歌。

使用Curator Viewer实时检查和优化数据生成策略。

在多阶段管道中使用缓存和故障恢复功能来迭代合成数据生成。

产品特色

程序性和结构化输出：能够设计复杂的数据生成管道，将结构化输出作为一等公民。

内置性能优化：无需担心多线程等性能问题，已内置性能优化。

智能缓存和故障恢复：缓存LLM请求和响应，便于从故障中恢复，多阶段管道的缓存使得迭代更加容易。

原生HuggingFace Dataset集成：可以直接在管道中使用HuggingFace Dataset对象，合成数据立即可用于微调。

交互式Curator Viewer：内置的查看器可以实时检查LLM请求和响应，允许迭代和完善数据生成策略。

支持LiteLLM后端：可以使用LiteLLM后端调用其他模型。

易于安装和使用：通过pip安装，提供丰富的使用示例和文档。

使用教程

1. 安装Bespoke Curator：在终端运行`pip install bespokelabs-curator`。

2. 设置OpenAI API密钥：在终端运行`export OPENAI_API_KEY=sk-...`。

3. 使用SimpleLLM接口生成数据：从`bespokelabs`导入`curator`并使用`SimpleLLM`类。

4. 利用Curator Viewer查看数据：在命令行运行`curator-viewer`查看数据集。

5. 使用LLM接口生成结构化数据：定义`LLM`对象并将其应用于数据集。

6. 查看文档和示例：访问GitHub仓库中的`examples`目录和`docs`网站获取更多信息和示例。