使用场景

- 在构建聊天机器人时，使用Chonkie进行文本分块，以优化对话管理和响应速度。

- 在进行大规模文本分析时，利用Chonkie的分块功能来提高处理速度和减少内存占用。

- 在机器学习模型训练中，使用Chonkie对长文本进行分块，以适应模型的输入要求。

产品特色

- 支持多种分块方法：TokenChunker、WordChunker、SentenceChunker、SemanticChunker和SDPMChunker。

- 轻量级设计：安装包体积小，与其他库相比具有显著优势。

- 快速处理：在各种分块方法中，Chonkie的速度远超其他替代品。

- 广泛的分词器支持：兼容多种流行的分词器，包括AutoTokenizers、TikToken和AutoTikTokenizer。

- 易于安装和使用：通过pip安装，简单导入后即可开始使用。

- 详细的文档和示例：提供DOCS.md文档和README.md，方便用户快速上手。

- 性能基准测试：提供详细的性能测试结果，展示Chonkie在不同场景下的表现。

使用教程

1. 安装Chonkie：在命令行中运行`pip install chonkie`来安装库。

2. 导入Chonkie：在Python代码中导入所需的分块器，例如`from chonkie import TokenChunker`。

3. 选择分词器：导入并初始化你喜欢的分词器，例如使用`tokenizers`库的`Tokenizer`。

4. 初始化分块器：创建分块器的实例，例如`chunker = TokenChunker(tokenizer)`。

5. 分块文本：使用分块器处理文本，例如`chunks = chunker(“要分块的文本”)`。

6. 访问分块结果：遍历`chunks`，使用`chunk.text`和`chunk.token_count`等属性访问分块结果。

7. 查看文档和示例：参考`DOCS.md`和`README.md`了解更多使用方法和示例。